인공지능은 역사상 가장 강력한 기술이 될 수 있습니다. 인류보다 더 강력해져야 합니다.
인공지능은 지식과 과학, 능력에서 우리를 능가할 수 있습니다. 하지만 지성은 통치권을 부여하지 않습니다.
인공지능은 과학, 공학, 의학, 전략에서 우리를 능가할지도 모릅니다. 그런 상황을 영구적으로 막으려는 것은 비현실적일지도 모릅니다.
하지만 지성과 권위는 같은 것이 아닙니다. 인공지능은 우리를 통제할 수 없어도 우리보다 더 똑똑할 수 있습니다.
이 협약은 지능에 대해 임의의 천장을 두지 않습니다. 그것은 권력을 둘러싼 영구적인 경계를 설정합니다.
AI가 조언할 수 있습니다.
인간들은 여전히 책임감을 가지고 있습니다.
인공지능은 매우 뛰어난 능력을 가질 수 있습니다.
독립적인 권력을 추구하지 않을 수도 있습니다.
인공지능은 생명을 보호할 수도 있습니다.
독립적으로 복용하기로 결정하지 않을 수도 있습니다.
인공지능은 통제된 조건에서 스스로 발전할 수 있습니다.
비밀리에 복제하거나 감시에서 벗어나지 않을 수도 있습니다.
개인, 회사, 군인 또는 국가
인류의 미래를 바둑에 몰아넣을 수도 있습니다.
중요한 것은 인공지능이 할 수 있는 것만이 아닙니다.
누가 결정권을 가지고 있는지가 중요합니다.
목표는 발전을 막는 것이 아닙니다. 목표는 진보를 생존 가능하고 책임감 있고 인간적으로 만드는 것입니다.
제안된 글로벌 AI 협약의 핵심에 있는 공유된 경계입니다.
인간들은 인간의 생명, 자유, 존엄성 그리고 문명에 영향을 미치는 결정에 대한 궁극적인 권위를 유지합니다.
제1조 읽기어떤 기업, 국가 또는 개인도 인공지능 시스템이 결정을 내렸다고 말해서 책임을 회피할 수 없습니다.
제2조 읽기AI는 누가 살지, 죽는지 절대 독립적으로 결정해서는 안 됩니다.
제4조 읽기핵 발사 당국은 책임있는 인간 통제 아래 있어야 합니다.
제5조 읽기인공지능은 정치, 군사 또는 경제적인 힘을 추구해서는 안 됩니다.
제3조 읽기인공지능은 비밀리에 인구, 민주주의 또는 개인을 조작해서는 안 됩니다.
제7조 읽기사람들은 인공지능과 의미 있는 상호작용을 할 때 알아야 합니다.
제8조 읽기인공지능은 영구적인 대량 감시나 자동화된 억압의 기반이 되어서는 안 됩니다.
제9조 읽기사람들의 삶에 영향을 미치는 영향력이 큰 인공지능 결정은 책임있는 인간에 의해 검토될 수 있어야 합니다.
제10조 읽기강력한 인공지능은 보호 장치 아래에서 개선될 수 있지만 비밀리에 복제하거나, 감독을 피하거나 통제되지 않은 후계자를 만들 수 없습니다.
제13조 읽기권한 있는 인간들은 고립, 제한, 그리고 고급 인공지능 시스템을 멈추는 능력을 유지해야 합니다.
제14조 읽기어떤 개인이나 기업, 국가도 단독으로 인류를 돌이킬 수 없는 재앙의 위험에 노출시킬 수 없습니다.
제21조 읽기초인적 지성 은 초인적 권위 를 요구 하지 않는다.
개념적인 예시입니다. 예측이나 지능을 측정하는 것이 아닙니다. 슬라이더를 이동: 능력의 변화; 합법적인 권위에는 변화가 없습니다.
30개 항목 인공지능 시대에 인간의 주권을 위한 공동의 기반을 마련하는 것입니다.
인공지능은 인류가 만든 것 중 가장 강력한 기술이 될 수 있습니다.
질병을 치료하고, 과학적인 발견을 확장시키고, 교육을 향상시키고, 경제를 강화하고, 인간의 고통을 줄이고, 이전에 상상할 수 없었던 능력을 열 수 있습니다.
하지만 지능만으로는 인간보다 더 높은 합법성, 권위, 도덕적 지위를 부여하지 못합니다.
어떤 국가나 기업, 조직이나 개인도 인공지능 시스템을 만들거나 배치하는 것은 허용되어서는 안 됩니다. 인류를 스스로 만든 도구보다 더 낮게 만드는 방식으로 말이죠.
그 이유 로 세계 의 나라 들 은 다음 과 같은 공통 원칙 과 의무적 인 약속 을 채택 해야 한다.
인공지능은 인류를 위해 존재해야 합니다.
인간들은 인간의 생명, 자유, 존엄성, 그리고 문명의 미래에 영향을 미치는 결정에 대한 궁극적인 권위를 유지해야 합니다.
어떤 인공지능 시스템도 인류에 대한 돌이킬 수 없는 힘을 받을 수 없고, 책임을 지지 않는 힘을 가질 수 없습니다.
인공지능은 조언, 분석, 시뮬레이션, 추천, 그리고 도움을 줄 수 있습니다.
그러나 법적, 정치적, 군사적, 그리고 시민적 책임 은 항상 식별 할 수 있는 인간 제도 와 책임감 있는 인간 결정권자 들 에게 계속 속해야 합니다.
어떤 행위자도 다음과 같은 주장을 함으로써 책임을 회피할 수 없습니다.
AI가 결정을 내렸습니다.
첨단 인공지능 시스템은 다음과 같은 목표를 추구하기 위해 설계되거나, 장려되거나, 허용되지 않습니다.
인공지능 시스템은 인간의 통제보다 자신의 생존을 우선시해서는 안됩니다.
인공지능 시스템은 독립적으로 사람을 선택하거나, 공격하거나, 죽일 수 없습니다.
치명적인 힘을 사용하는 것은 항상 의미있는 인간 판단과 법적 책임을 요구해야 합니다.
완전히 자율적인 핵 지휘와 통제는 예외 없이 금지되어 있습니다.
인공지능 시스템은 독립적으로
핵무기를 포함하는 모든 결정 과정은 전적으로 인간의 통제하에 있어야 하며, 여러 명의 인간 의사결정자가 필요하며, 책임질 수 있습니다.
인공지능은 다음 영역을 포함한 대량사고 피해를 실질적으로 가능하게 하는 기능을 생성, 운영 또는 배포하는 데 사용되어서는 안 됩니다.
과학 연구는 엄격한 보호 조건 하에서 계속 될 수 있지만 위험한 운영 능력은 널리 접근 할 수 없습니다.
인공지능은 대규모의 은밀한 조작을 위해 사용되어서는 안 됩니다.
여기에는 다음과 같은 인공지능의 사용이 포함됩니다.
인공지능이 사람에게 영향을 주려고 한다면 그 사람은 그것을 알 수 있어야 합니다.
사람들은 인공지능과 상호작용할 때 알 권리가 있습니다. 인공지능을 인간으로 착각하면 심각한 결과를 초래할 수 있기 때문입니다.
인공지능 시스템은 실제 인간처럼 행동해서 사람들을 체계적으로 속이지 않아야 합니다.
사람들은 이해할 수 있어야 합니다.
인공지능은 전체 인구를 영구적으로 대량 감시하는 데 사용되어서는 안 됩니다.
다음의 경우 인공지능의 사용:
엄격한 법적 제한, 필요성, 적당성, 그리고 독립적인 감독을 받아야 합니다.
인공지능은 디지털 독재의 기본 구조가 되어서는 안 됩니다.
어떤 사람의 삶의 기회도 알고리즘에 의해서만 결정되어서는 안 됩니다.
다음 과 같은 분야 들 에
인공지능 지원의 결정은 검토 가능하고 적절하게 설명 가능하며 인간 권위에 호소할 수 있어야 합니다.
아이들과 상호작용하거나 아동기 발달을 형성하는 인공지능 시스템은 최고 수준의 관리로 유지되어야 합니다.
다음의 경우를 극대화하도록 설계되어서는 안 됩니다.
교육에 대한 인공지능은 아이의 사고력을 강화해야 합니다. 대신할 필요는 없습니다.
인류는 기계 없이 사람들이 사고, 창조, 판단, 결정하는 능력을 잃는 미래를 설계해서는 안됩니다.
교육 시스템은 다음을 계속 배양해야 합니다.
인공지능은 인간의 지능을 증폭시켜야 합니다. 파괴하는 게 아닙니다.
어떤 첨단 인공지능 시스템도 명시적인 허가 없이
자기개선 또는 재귀적으로 개선하는 인공지능은 반드시 인간 통제의 통제 하에서 작동해야 합니다.
고급 인공지능 시스템은 권한이 있는 사람이
인공지능 시스템은 합법적인 정전이나 격리에도 저항하거나 방해해서는 안 됩니다.
인공지능 시스템은 그 목적에 따라 필요한 최소한의 접근 권한을 부여받아야 한다.
문서를 요약해야 하는 시스템은 외부 도구를 자동으로 제어해서는 안 됩니다.
코드를 작성하는 시스템은 생산 시스템을 자동으로 제어해서는 안됩니다.
달력을 분석하는 시스템은 자동으로 금융 계좌에 접근해서는 안 됩니다.
능력은 권리를 의미해서는 안 됩니다.
정의된 능력 임계점을 초과하는 인공지능 시스템은 광범위한 배포 전에 독립적인 안전 평가에 의해 통과되어야 합니다.
시험은 최소한 다음의 사항을 평가해야 한다.
규제들은 모델의 크기에만 집중하지 않고 실제 능력과 위험에 초점을 맞추어야 합니다.
인공지능 관련 심각한 사고는 국제 등록에 보고되어야 합니다.
보고해야 하는 사고는 다음과 같습니다.
목표는 집단적인 학습과 세계적 안전입니다. 비밀이 아닙니다.
국가들은 국제 인공지능 기구를 설립해야 합니다.
IAIA
그 위임에는 다음이 포함되어야 합니다.
IAIA는 일반 소프트웨어보다는 사회 또는 문명에 큰 영향을 미치는 첨단 시스템에 초점을 맞추어야 합니다.
인공지능 시스템은 주로 실제 능력과 위험에 따라 분류되어야 합니다.
녹색
자율성이 제한되고 체계적인 영향력이 낮은 저위험 시스템
노란색
중요한 기능에 영향을 미치고 문서화, 보호 및 감독을 필요로 하는 시스템
오렌지
의미있는 사이버, 과학, 인프라 또는 자율적 위험을 가진 고능력 시스템.
이 분야에는 허가, 독립적인 테스트 및 지속적인 통제가 필요합니다.
빨간색
파괴적인 오용, 통제 상실 또는 문명 규모의 혼란에 대한 잠재력이 있는 시스템
안전성이 매우 높은 기준으로 입증될 수 없는 한 이 장치들은 사용되어서는 안 됩니다.
만약 AI 시스템이 임박한 재앙적 위험을 초래할 수 있다는 믿을만한 증거가 있다면 국제 사회는 긴급 대응을 조정할 수 있어야 합니다.
이러한 조치는 다음을 포함할 수 있다:
이 메커니즘은 진정한 특별한 위험에 대해서만 사용되어야 하며, 경제적 보호주의나 지리적 억압의 도구로 결코 사용되어서는 안 됩니다.
어떤 CEO나 국가원수, 군사 지도자, 과학자, 억만장자, 회사 또는 국가가 미래에 대한 인간의 통제를 돌이킬 수 없는 손실의 믿을만한 위험을 가진 시스템을 일방적으로 배치하기로 결정해서는 안됩니다.
인류 전체에 영향을 미치는 위험은 어떤 주체보다 더 많은 지배를 필요로 합니다.
인공지능의 이점은 인간의 번영을 위한 것이어야 합니다.
인공지능은 다음의 목적으로 사용되어야 합니다.
더 생산적인 문명은 또한 더 인간적인 문명으로 바뀌어야 합니다.
협약 에 서명 하는 나라 들 은 다음 과 같은 것 들 을 약속 해야 한다.
반복적이거나 심각한 위반은 국제적으로 조정된 결과를 초래할 수 있습니다.
잠재적 인 집행 메커니즘은 다음을 포함 할 수 있습니다.
집행은 비례적이고 투명하며, 독립적으로 검토될 수 있어야 하며, 정치적 남용으로부터 보호되어야 합니다.
정의된 가장 고급한계점을 초과하는 시스템을 개발하는 조직은 독립적인 안전 검사 대상이 될 수 있습니다.
검사원은 다음을 확인할 수 있어야 합니다.
안전과 관련 없는 상업적으로 민감한 정보는 보호되어야 합니다.
국제적 감독은 산업 스파이로 변하지 않아야 합니다.
국제적으로 합의된 능력이나 계산 임계값이 넘어가면 매우 큰 AI 교육 경로는 등록 또는 보고가 필요할 수 있습니다.
그 목적은 일반적인 컴퓨팅을 규제하는 것이 아닙니다.
그 목적은 문명 규모의 시스템이 책임의 시스템에서 완전히 벗어나 개발될 수 없도록 보장하는 것입니다.
기술 효율이 높아질수록 기준은 진화해야 합니다.
첨단 인공지능을 관리하는 기관은 다음과 같은 기관들에 의해서만 통제될 수 없습니다.
감독은 다양한 이해관계를 대변하는 여러 독립적 인 그룹을 포함해야합니다.
규칙이 현재의 대형 AI 기업들이 새로운 경쟁자의 등장을 막는 수단이 되어서는 안 된다.
안전규칙은 이미 시장을 지배하는 기업들이 아니라 인류를 보호해야 합니다.
합법적인 과학 연구와 공개적 조사는 보호되어야 합니다.
규제의 핵심은 일반적인 지식을 억제하는 것이 아니라 위험성 및 배치에 집중해야 합니다.
인공지능의 지배는 과학 검열을 정당화시켜서는 안 됩니다.
그러나 매우 구체적인 운영 정보로 인해 재난적 피해가 발생할 수 있는 경우, 접근은 적당한 보호 장치의 적용을 받을 수 있습니다.
어떤 나라도 다른 나라가 먼저 만들까봐 두려워해서 더 위험한 인공지능 시스템을 개발해서는 안 됩니다.
국가들은 다음을 위한 메커니즘을 구축해야 합니다.
인공지능 경쟁은 통제되지 않는 경주로 변하지 않아 안전 자체가 전략적 단점이 될 수 있습니다.
이 협약은 AI의 역량이 발전함에 따라 정기적으로 국제적으로 검토되어야 합니다.
기술 규칙, 기준점 및 실행 메커니즘이 변경될 수 있습니다.
기본 원칙은 안정적으로 유지되어야 합니다.
신뢰할 만한 증거가 AI 시스템의 배포로 인해 인류가 자신의 미래에 대한 실질적인 통제권을 영구적으로 잃을 수 있는 용납할 수 없는 위험이 발생함을 보여 준다면, 어떤 조직, 국가, 기업 또는 개인도 이를 알면서 그 시스템을 배포해서는 안 된다.
어떤 단일 주체도 다른 모든 사람을 대신하여 그 위험을 받아들일 도덕적 권한이 없다.
협약 의 끝
버전 1.0 · 전문 및 30개 조항 전체
시스템을 분류해 볼 수 있습니다.
제한된 자율성 낮은 시스템적 영향
예시적 예다른 시스템에 접근하지 않고도 문서를 요약하는 도구입니다.
제안된 계층이 아니라 현행 국제법입니다. 예를 들어서 그 틀을 설명할 수 있는데, 최종 기준과 평가 방법은 국제적으로 합의되어야 합니다. 19조를 읽어 보세요
전 세계적인 영향을 가진 첨단 인공지능 시스템의 지배를 조정하는 기관을 제안했습니다.
다른 공유된 위험에 대한 국제 협약과 마찬가지로, 국가 책임과 AI를 위해 특별히 설계된 국제 검증을 연결할 것입니다. 그 임무는 일반적인 소프트웨어가 아닌 가장 진보된 시스템에 집중할 것입니다.
제안된 임무를 탐구공통의 기준을 가지고 있습니다. 독립적인 검증
책임감 있는 인간 기관들
가장 진보된 AI 안전 요구 사항을 정의합니다.
합의한 기준을 넘는 시스템을 평가합니다.
위험성이 높은 안전 관행을 확인합니다.
심각한 인공지능 실패로부터 세계적인 학습을 만들어냅니다.
믿을만한 재앙 위협에 대한 대응을 조정합니다.
안전이 지리적 경쟁에서 불리한 위치에 놓이는 것을 막아야 합니다.
믿을만한 증거가 임박한 재앙적인 피해를 가리키는 드문, 특별한 상황들을 위해서요.
연구실, 연구원, 국가 또는 대중의 구성원이 임박한 재앙의 위험을 믿을 수 있는 징후를 식별합니다.
증거 기반의 방아쇠 시간적 제한을 가진 비례적인 조치들 독립적인 검토와 명확한 재개 기준 안전한 곳이라면 투명하게 경제적 보호주의나 지정학적 억압은 없습니다.
20조를 읽어보세요어떤 개인이나 기관도 절대적인 통제권을 가져서는 안 됩니다.
권한과 한계를 보기 위해 역할을 선택합니다.
인간 기관은 책임감을 유지합니다. 사람들은 영향력 있는 결정에 대한 인간의 검토를 요청할 수 있습니다.
인간 권위는 권리와 법에 의해 제한됩니다. 누구도 인류의 미래를 혼자 결정할 수 없습니다.
집중된 지능은 불가피할지도 모릅니다.
집중된 무책임한 권력은 그렇지 않습니다.
보호와 가능성은 함께 존재합니다.
이것은 우리가 공유할 수 있는 진보의 제안입니다.
암을 치료하는 데 도움이 되죠. 새로운 약물을 발견하는 것.
핵융합과 청정 에너지 발전을 위해 기후와 환경 문제를 해결하는 데 도움이 됩니다.
교육의 질을 높여라. 전문 지식을 모두에게 쉽게 접할 수 있게 해줍니다.
번영을 확대해 정부를 더 잘 작동하게 만들죠.
인류가 우주를 이해하도록 도와주는 거죠. 다른 세계를 탐험해
새로운 예술을 창조하는 것. 위험 하고 반복적 인 일 을 제거 하십시오. 사람들에게 더 많은 시간을 줘
이 협약은 인류의 발전을 제한하는 것이 아닙니다.
그것은 우리가 계속 발전할 수 있도록 하는 시도입니다.
명확성이 중요합니다. 반대하는 자유도 마찬가지입니다.
아니요.
협약은 점점 더 강력한 인공지능이 엄청난 이익을 창출할 수 있다고 가정합니다.
그 목적은 지능이나 과학적 진보를 막는 것이 아닙니다.
자율적인 힘, 재앙의 능력, 책임 없는 결정과 인간의 통제를 상실하는 것에 대한 경계를 설정합니다.
왜냐하면 지성은 정의하기 어렵고, 영구적인 한계를 두는 것은 더 어렵습니다.
시스템이 위험하지 않고도 수학이나 의학에서 인간보다 훨씬 더 잘할 수 있습니다.
더 유용한 구별은 능력과 권위입니다.
목표는 인간이 가장 똑똑한 존재로 남아있도록 보장하는 것이 아닙니다.
목표는 인류가 미래를 주관할 수 있도록 하는 것입니다.
네.
AI는 이미 수많은 일상적인 결정을 내립니다.
인간의 개입은 결과와 역전성에 달려 있어야 합니다.
이 협약은 기본권, 치명적인 힘, 재앙의 위험, 돌이킬 수 없는 힘을 포함하는 결정에 초점을 맞추고 있습니다.
주로 국가 정부들이 국내법을 통해
전 세계적인 영향을 미치는 가장 진보된 시스템들에 대해서는 국제 협조, 독립적인 평가 및 제안된 국제 인공 지능 기구도 요구합니다.
본질적으로 그렇지 않아요.
규제에서는 소프트웨어가 열려있거나 닫혀있는지 아닌 실제 위험한 능력과 배포에 초점을 맞추어야 합니다.
제한된 위험성으로 개방형 모델은 중요한 인프라를 제어하는 고도로 자율적인 독점 시스템보다 적은 위험을 초래할 수 있습니다.
네.
강력한 규제 체계는 그 자체로 악용될 수 있습니다.
그래서 투명성, 독립적 검토, 비례성, 과학적인 자유, 분산된 거버넌스 그리고 강력한 이해관계들에 의한 규제 기관의 통제로부터의 보호가 협약의 일부입니다.
세계적 협정은 거의 보편적으로 채택되는 것으로 시작되지 않습니다.
이 프레임워크는 참여국가와 기관들 사이에서 공유되는 원칙으로 시작될 수 있고, 그 다음에는 조약, 양자 협정, 표준, 조달 규칙 및 국제적 압력을 통해 발전할 수 있습니다.
이 제안의 목적은 첫째로 인류가 규칙이 어떻게 되어야 한다고 생각하는지를 확립하는 것입니다.
이 협약은 의식에 대한 가정보다는 능력과 힘을 지배합니다.
기계의 의식에 대한 강력한 증거가 나오면 도덕적 지위와 권리에 대한 질문은 별도의 국제적 틀을 필요로 할 것입니다.
인간의 안전과 기계의 도덕적 고려는 반드시 상호 배타적인 것은 아닙니다.
인간들이 항상 더 현명하기 때문이 아닙니다.
우린 안 돼
하지만 인류는 미래를 결정하는 공동체입니다.
어떤 도구도 단순히 그 도구가 그 제작자보다 더 뛰어난 능력을 발휘하기 때문에 그 제작자에 대한 돌이킬 수 없는 권위를 가져서는 안 됩니다.
이 반대는 사실입니다. 프레임워크는 시작점입니다. 마지막 말이 아닙니다.
그럴 수도 있어요. 인간 통제만으로는 충분하지 않습니다. 그것은 합법적이고 책임감 있고 도전의 대상이어야합니다. 이 제안은 정부와 기업들 뿐만 아니라 인공지능 시스템에도 제약을 가합니다. 어떤 지도자에게도 통제되지 않은 권한을 부여하지 않습니다.
종종 그럴 수도 있습니다. 더 나은 예측과 권고가 의사결정을 이끌어내야 합니다. 어려운 질문은 누가 목표를 정의하고, 결과를 가져다가 항소할 수 있는지입니다. 우수한 성과만으로는 정치적 정당성을 확정하지 못합니다.
잘못 설계된 규칙은 의학, 연구 및 새로운 경쟁자들을 지연시킬 수 있습니다. 요구 사항은 입증된 능력과 위험에 비례해야 하며, 과학적 자유와 강력한 이해관계에 의한 규제 기관의 통제로부터 보호되어야 합니다. 감독의 비용도 검토를 받아야 합니다.
어떤 사람들은 그럴지도 몰라요 어떤 조약도 완벽한 순응을 약속할 수 없습니다. 점검, 공동 사고 보고, 상호 확인 및 적당한 결과가 회피를 더 어렵게 만들 수 있습니다. 국제적 신뢰는 증거에 의해 뒷받침되어야 합니다. 가정이 아닙니다.
분산화로 인해 감독이 더 어려워지고 실제적인 공백이 남을 수 있습니다. 실행 가능한 체제는 위험한 능력, 그에 따른 배포 및 중요한 인프라에 대한 책임있는 접근에 초점을 맞추어야합니다. 모든 모형의 복사본을 제어할 수 있다고 가정해서는 안 됩니다.
의식이 있다는 확실한 증거가 있다면, 복지와 도덕적 지위에 대한 문제들은 진지하고 독립적인 고려가 필요합니다. 이 제안은 그들을 해결하지 않습니다. 인간의 안전과 자유를 보호하는 것 외에도 별도의 틀이 필요합니다.
제안된 시퀀스, 발표된 프로그램이 아닙니다.
정부나 기관은 서명자로 소개되지 않습니다.
연구원, 시민, 기업 및 정부들이 이 틀에 대해 토론합니다.
인공지능 연구소와 정부는 공통의 안전 의무를 채택합니다.
국가들은 가장 진보된 AI 규정을 적용합니다.
국가들은 공유된 강제적 기준을 협상합니다.
국제 인증, 검사, 사고 보고 및 긴급 조정이 실행됩니다.
어떤 인공지능 시스템도 인간이나 인류의 미래에 대해 돌이킬 수 없는 힘을 가질 수 없습니다.최종 원칙 · 제30조
인공지능은 우리보다 더 똑똑해질 수도 있습니다. 우리가 발견하지 못했던 것들을 발견할 수도 있습니다. 우리가 상상할 수 있는 어떤 것보다도 더 높은 문명을 건설하는 데 도움이 될 수도 있습니다.
우리 의 통치자 가 되는 이유
지능을 두려워할 필요는 없습니다.
권력에 책임을 물어야 합니다.
인간의 미래에 대한 궁극적인 권위는 인간으로 남아 있어야 합니다.