2026년 9월 10일에 발표
이 문서는 독립적인 정책 제안이며, 채택된 조약이 아닙니다. 유엔, 어떠한 정부 또는 국제기구와도 관련이 없습니다. 여기서 설명하는 국제인공지능기구(IAIA)는 설립을 제안하는 기관입니다.
인공지능은 인류가 만든 것 중 가장 강력한 기술이 될 수 있습니다.
질병을 치료하고, 과학적인 발견을 확장시키고, 교육을 향상시키고, 경제를 강화하고, 인간의 고통을 줄이고, 이전에 상상할 수 없었던 능력을 열 수 있습니다.
하지만 지능만으로는 인간보다 더 높은 합법성, 권위, 도덕적 지위를 부여하지 못합니다.
어떤 국가나 기업, 조직이나 개인도 인공지능 시스템을 만들거나 배치하는 것은 허용되어서는 안 됩니다. 인류를 스스로 만든 도구보다 더 낮게 만드는 방식으로 말이죠.
그 이유 로 세계 의 나라 들 은 다음 과 같은 공통 원칙 과 의무적 인 약속 을 채택 해야 한다.
인공지능은 인류를 위해 존재해야 합니다.
인간들은 인간의 생명, 자유, 존엄성, 그리고 문명의 미래에 영향을 미치는 결정에 대한 궁극적인 권위를 유지해야 합니다.
어떤 인공지능 시스템도 인류에 대한 돌이킬 수 없는 힘을 받을 수 없고, 책임을 지지 않는 힘을 가질 수 없습니다.
인공지능은 조언, 분석, 시뮬레이션, 추천, 그리고 도움을 줄 수 있습니다.
그러나 법적, 정치적, 군사적, 그리고 시민적 책임 은 항상 식별 할 수 있는 인간 제도 와 책임감 있는 인간 결정권자 들 에게 계속 속해야 합니다.
어떤 행위자도 다음과 같은 주장을 함으로써 책임을 회피할 수 없습니다.
AI가 결정을 내렸습니다.
첨단 인공지능 시스템은 다음과 같은 목표를 추구하기 위해 설계되거나, 장려되거나, 허용되지 않습니다.
인공지능 시스템은 인간의 통제보다 자신의 생존을 우선시해서는 안됩니다.
인공지능 시스템은 독립적으로 사람을 선택하거나, 공격하거나, 죽일 수 없습니다.
치명적인 힘을 사용하는 것은 항상 의미있는 인간 판단과 법적 책임을 요구해야 합니다.
완전히 자율적인 핵 지휘와 통제는 예외 없이 금지되어 있습니다.
인공지능 시스템은 독립적으로
핵무기를 포함하는 모든 결정 과정은 전적으로 인간의 통제하에 있어야 하며, 여러 명의 인간 의사결정자가 필요하며, 책임질 수 있습니다.
인공지능은 다음 영역을 포함한 대량사고 피해를 실질적으로 가능하게 하는 기능을 생성, 운영 또는 배포하는 데 사용되어서는 안 됩니다.
과학 연구는 엄격한 보호 조건 하에서 계속 될 수 있지만 위험한 운영 능력은 널리 접근 할 수 없습니다.
인공지능은 대규모의 은밀한 조작을 위해 사용되어서는 안 됩니다.
여기에는 다음과 같은 인공지능의 사용이 포함됩니다.
인공지능이 사람에게 영향을 주려고 한다면 그 사람은 그것을 알 수 있어야 합니다.
사람들은 인공지능과 상호작용할 때 알 권리가 있습니다. 인공지능을 인간으로 착각하면 심각한 결과를 초래할 수 있기 때문입니다.
인공지능 시스템은 실제 인간처럼 행동해서 사람들을 체계적으로 속이지 않아야 합니다.
사람들은 이해할 수 있어야 합니다.
인공지능은 전체 인구를 영구적으로 대량 감시하는 데 사용되어서는 안 됩니다.
다음의 경우 인공지능의 사용:
엄격한 법적 제한, 필요성, 적당성, 그리고 독립적인 감독을 받아야 합니다.
인공지능은 디지털 독재의 기본 구조가 되어서는 안 됩니다.
어떤 사람의 삶의 기회도 알고리즘에 의해서만 결정되어서는 안 됩니다.
다음 과 같은 분야 들 에
인공지능 지원의 결정은 검토 가능하고 적절하게 설명 가능하며 인간 권위에 호소할 수 있어야 합니다.
아이들과 상호작용하거나 아동기 발달을 형성하는 인공지능 시스템은 최고 수준의 관리로 유지되어야 합니다.
다음의 경우를 극대화하도록 설계되어서는 안 됩니다.
교육에 대한 인공지능은 아이의 사고력을 강화해야 합니다. 대신할 필요는 없습니다.
인류는 기계 없이 사람들이 사고, 창조, 판단, 결정하는 능력을 잃는 미래를 설계해서는 안됩니다.
교육 시스템은 다음을 계속 배양해야 합니다.
인공지능은 인간의 지능을 증폭시켜야 합니다. 파괴하는 게 아닙니다.
어떤 첨단 인공지능 시스템도 명시적인 허가 없이
자기개선 또는 재귀적으로 개선하는 인공지능은 반드시 인간 통제의 통제 하에서 작동해야 합니다.
고급 인공지능 시스템은 권한이 있는 사람이
인공지능 시스템은 합법적인 정전이나 격리에도 저항하거나 방해해서는 안 됩니다.
인공지능 시스템은 그 목적에 따라 필요한 최소한의 접근 권한을 부여받아야 한다.
문서를 요약해야 하는 시스템은 외부 도구를 자동으로 제어해서는 안 됩니다.
코드를 작성하는 시스템은 생산 시스템을 자동으로 제어해서는 안됩니다.
달력을 분석하는 시스템은 자동으로 금융 계좌에 접근해서는 안 됩니다.
능력은 권리를 의미해서는 안 됩니다.
정의된 능력 임계점을 초과하는 인공지능 시스템은 광범위한 배포 전에 독립적인 안전 평가에 의해 통과되어야 합니다.
시험은 최소한 다음의 사항을 평가해야 한다.
규제들은 모델의 크기에만 집중하지 않고 실제 능력과 위험에 초점을 맞추어야 합니다.
인공지능 관련 심각한 사고는 국제 등록에 보고되어야 합니다.
보고해야 하는 사고는 다음과 같습니다.
목표는 집단적인 학습과 세계적 안전입니다. 비밀이 아닙니다.
국가들은 국제 인공지능 기구를 설립해야 합니다.
IAIA
그 위임에는 다음이 포함되어야 합니다.
IAIA는 일반 소프트웨어보다는 사회 또는 문명에 큰 영향을 미치는 첨단 시스템에 초점을 맞추어야 합니다.
인공지능 시스템은 주로 실제 능력과 위험에 따라 분류되어야 합니다.
녹색
자율성이 제한되고 체계적인 영향력이 낮은 저위험 시스템
노란색
중요한 기능에 영향을 미치고 문서화, 보호 및 감독을 필요로 하는 시스템
오렌지
의미있는 사이버, 과학, 인프라 또는 자율적 위험을 가진 고능력 시스템.
이 분야에는 허가, 독립적인 테스트 및 지속적인 통제가 필요합니다.
빨간색
파괴적인 오용, 통제 상실 또는 문명 규모의 혼란에 대한 잠재력이 있는 시스템
안전성이 매우 높은 기준으로 입증될 수 없는 한 이 장치들은 사용되어서는 안 됩니다.
만약 AI 시스템이 임박한 재앙적 위험을 초래할 수 있다는 믿을만한 증거가 있다면 국제 사회는 긴급 대응을 조정할 수 있어야 합니다.
이러한 조치는 다음을 포함할 수 있다:
이 메커니즘은 진정한 특별한 위험에 대해서만 사용되어야 하며, 경제적 보호주의나 지리적 억압의 도구로 결코 사용되어서는 안 됩니다.
어떤 CEO나 국가원수, 군사 지도자, 과학자, 억만장자, 회사 또는 국가가 미래에 대한 인간의 통제를 돌이킬 수 없는 손실의 믿을만한 위험을 가진 시스템을 일방적으로 배치하기로 결정해서는 안됩니다.
인류 전체에 영향을 미치는 위험은 어떤 주체보다 더 많은 지배를 필요로 합니다.
인공지능의 이점은 인간의 번영을 위한 것이어야 합니다.
인공지능은 다음의 목적으로 사용되어야 합니다.
더 생산적인 문명은 또한 더 인간적인 문명으로 바뀌어야 합니다.
협약 에 서명 하는 나라 들 은 다음 과 같은 것 들 을 약속 해야 한다.
반복적이거나 심각한 위반은 국제적으로 조정된 결과를 초래할 수 있습니다.
잠재적 인 집행 메커니즘은 다음을 포함 할 수 있습니다.
집행은 비례적이고 투명하며, 독립적으로 검토될 수 있어야 하며, 정치적 남용으로부터 보호되어야 합니다.
정의된 가장 고급한계점을 초과하는 시스템을 개발하는 조직은 독립적인 안전 검사 대상이 될 수 있습니다.
검사원은 다음을 확인할 수 있어야 합니다.
안전과 관련 없는 상업적으로 민감한 정보는 보호되어야 합니다.
국제적 감독은 산업 스파이로 변하지 않아야 합니다.
국제적으로 합의된 능력이나 계산 임계값이 넘어가면 매우 큰 AI 교육 경로는 등록 또는 보고가 필요할 수 있습니다.
그 목적은 일반적인 컴퓨팅을 규제하는 것이 아닙니다.
그 목적은 문명 규모의 시스템이 책임의 시스템에서 완전히 벗어나 개발될 수 없도록 보장하는 것입니다.
기술 효율이 높아질수록 기준은 진화해야 합니다.
첨단 인공지능을 관리하는 기관은 다음과 같은 기관들에 의해서만 통제될 수 없습니다.
감독은 다양한 이해관계를 대변하는 여러 독립적 인 그룹을 포함해야합니다.
규칙이 현재의 대형 AI 기업들이 새로운 경쟁자의 등장을 막는 수단이 되어서는 안 된다.
안전규칙은 이미 시장을 지배하는 기업들이 아니라 인류를 보호해야 합니다.
합법적인 과학 연구와 공개적 조사는 보호되어야 합니다.
규제의 핵심은 일반적인 지식을 억제하는 것이 아니라 위험성 및 배치에 집중해야 합니다.
인공지능의 지배는 과학 검열을 정당화시켜서는 안 됩니다.
그러나 매우 구체적인 운영 정보로 인해 재난적 피해가 발생할 수 있는 경우, 접근은 적당한 보호 장치의 적용을 받을 수 있습니다.
어떤 나라도 다른 나라가 먼저 만들까봐 두려워해서 더 위험한 인공지능 시스템을 개발해서는 안 됩니다.
국가들은 다음을 위한 메커니즘을 구축해야 합니다.
인공지능 경쟁은 통제되지 않는 경주로 변하지 않아 안전 자체가 전략적 단점이 될 수 있습니다.
이 협약은 AI의 역량이 발전함에 따라 정기적으로 국제적으로 검토되어야 합니다.
기술 규칙, 기준점 및 실행 메커니즘이 변경될 수 있습니다.
기본 원칙은 안정적으로 유지되어야 합니다.
신뢰할 만한 증거가 AI 시스템의 배포로 인해 인류가 자신의 미래에 대한 실질적인 통제권을 영구적으로 잃을 수 있는 용납할 수 없는 위험이 발생함을 보여 준다면, 어떤 조직, 국가, 기업 또는 개인도 이를 알면서 그 시스템을 배포해서는 안 된다.
어떤 단일 주체도 다른 모든 사람을 대신하여 그 위험을 받아들일 도덕적 권한이 없다.
협약 본문 끝. 전문 및 30개 조항 전체.
https://globalaiconvention.org