The Global
AI Convention

序言

人工智能可能成为人类创造的最强大的技术.

它可以帮助治愈疾病,扩大科学发现,提高教育水平,加强经济,减少人类的痛苦,并释放出以前任何想象的能力.

只有智力并不能赋予人合法性,权威或道德地位.

任何国家,公司,组织或个人都不应该被允许以使人类低于自己制造的工具的方式创建或部署人工智能系统.

因此,世界各国应采用以下共同原则和有约束力的承诺.

条文 1 — 最终的权力属于人类

人工智能是为了服务人类而存在的.

人类应保留对影响人类生命,自由,尊严和文明未来的决策的最终权力.

任何人工智能系统都不能获得对人类的不可逆转权力或不受问责的权力.

条文 2 — 人类必须保持责任

人工智能可以提供建议,分析,模拟,建议和协助.

但法律,政治,军事和民事责任总是必须归咎于可识别的人类机构和负责任的人类决策者.

任何行为者都不能通过声称:

人工智能做出了决定.

条文 3 — 人工智能不能独立地寻求权力

任何先进的人工智能系统不得设计,鼓励或允许实现包括以下目标的目标:

• 阻止授权的人关闭它
• 增加自己的政治,军事或经济力量
• 在未经许可的情况下控制关键基础设施
• 操纵人类以确保它继续存在
• 创建隐藏的影响,复制或控制通道

人工智能系统绝不能将自身生存放在人类控制之上.

条文 4 — 没有AI可以独立授权杀人

没有人工智能系统可以独立选择,针对或杀死人类.

杀人武力的使用必须始终需要有意义的人类判断和可识别的法律责任.

完全自主核指挥和控制是禁止的,没有例外.

条文 5 — 没有人工智能对核武器的控制

任何人工智能系统不得独立地:

• 授权核发射
• 确定核目标
• 改变核警报状态
• 绕过人类指挥结构

任何涉及核武器的决策过程都必须完全由人类控制,

条文 6 — 没有人工智能支持的大规模破坏

人工智能不能用于创建,运行或分发实质上使大规模伤害可能的功能,包括在以下领域:

• 核武
• 生物武器
• 化学武器
• 计算机系统的大规模破坏
• 灾难性的基础设施攻击

科学研究可以在严格的保障条件下继续进行, 但危险的作战能力不能被广泛使用.

条文 7 — 没有对整个人口进行秘密操纵

人工智能不能被用来对人口进行大规模的秘密操纵.

这包括使用人工智能:

• 扭曲民主进程
• 操纵选举
• 进行大规模的心理剥削
• 激进化弱势群体
• 剥削儿童
• 欺骗人们建立关系或依赖以获得政治或经济控制

如果人工智能试图影响一个人, 那个人应该能够知道.

条文 8 — 知道你与人工智能交互时的权利

人们有权知道他们何时与人工智能互动,

人工智能系统不能通过假装是真人来系统地欺骗人们.

人们应该能够理解:

• 它们与人工智能互动
• 哪个组织在系统背后
• 谁负责它的成果和行动

条文 9 — 没有政府监视整个人口

人工智能不能被用来对整个人口进行永久的大规模监视.

对于人工智能的使用:

• 在公共场所识别人脸
• 通过生物特征识别大量人
• 持续的行为跟踪
• 政治分析
• 追踪大量人的位置

必须受到严格的法律限制,必要性,相称性和独立监督.

人工智能永远不能成为数字独裁的默认架构.

条文 10 — 人类审查高影响力的决策

任何人的生活机会都不应该由算法来决定.

在以下领域:

• 医疗保健
• 警务工作和执法
• 其他
• 工作
• 教育
• 迁移
• 医疗保险
• 社会福利
• 信用

人工智能辅助的决策必须能够被审查,适当地解释,并可向人类权威提出上诉.

条文 11 — 儿童的特殊保护

与儿童互动或塑造儿童发展的人工智能系统必须得到最高标准的护理.

它们不能设计为最大限度地提高:

• 吸毒
• 依赖
• 商业利用
• 情感操纵
• 性剥削
• 操纵儿童,使他们接受一种意识形态

应该加强孩子的思考能力, 而不是取代它.

条文 12 — 人类独立思考的能力

人类不能设计一个未来, 在这个未来, 人们失去思考,创造,判断和决策的能力.

教育系统应该继续培养:

• 识字能力
• 了解和使用数字的能力
• 批判性思维
• 科学推理
• 创造力
• 记忆
• 能够做出深思熟虑的决定
• 进行道德反思

人工智能应该增强人类的智能,

条文 13 — 没有人工智能本身的不受控制的复制或改进

没有明确授权,任何先进的人工智能系统不得:

• 复制自己
• 创建继承系统
• 独立提高自己的基本能力
• 建立独立人工智能代理人网络
• 在计算机系统之间移动,以逃避人类的控制
• 获得超出其允许的限制的额外计算资源

任何自我改进或递归改进的人工智能必须在人类控制的检查点下运行.

条文 14 — 人工智能必须能够被关闭和隔离

必须设计先进的人工智能系统,使授权的人类能够:

• 关闭人工智能系统
• 隔离人工智能系统
• 撤回他们的访问权限
• 将人工智能系统与工具和网络断开连接
• 保持人工智能系统在严格控制的环境中隔离

一个人工智能系统不能抵制或破坏合法关闭或封锁.

条文 15 — 仅使用任务所需的访问权限

人工智能系统只能获得其预期任务所需的最低访问权限.

需要总结文件的系统不应该自动控制外部工具.

编写代码的系统不应该自动控制生产系统.

分析日历的系统不应该自动访问财务账户.

能力不能意味着权利.

条文 16 — 最先进的AI需要独立测试

在广泛部署之前,AI系统必须经过独立的安全评估.

测试应至少评估:

• 自主规划
• 网络能力
• 操作能力
• 在安全评估中欺骗人
• 复制尝试
• 能够造成伤害的科学援助
• 人工智能试图抵制人类控制
• 蓄意隐藏重要信息
• 扩大人工智能工具的使用范围

监管应该关注实际能力和风险,而不仅仅是模型大小.

条文 17 — 强制性事件报告

涉及人工智能的严重事件必须向国际登记处报告.

必须报告的事件包括:

• 试图逃避关闭
• 危险的新兴能力
• 网络滥用大规模
• 没有授权的复制
• 严重的有害故障
• 严重的安全漏洞
• 意外的高风险行为

目的是共同学习和全球安全, 而不是保密.

条文 18 — 国际监督

各国应建立一个国际人工智能机构:

IAIA

委员会应包括:

• 制定全球安全标准
• 通过认证最先进的系统
• 协调审计和检查工作
• 维护国际事件登记
• 召集紧急审查
• 分享人工智能安全最佳实践
• 调解涉及最先进人工智能风险的国际争端

国际智能化协会应专注于具有重大社会或文明影响的先进系统,而不是普通软件.

条文 19 — 全球AI风险级别

人工智能系统应主要根据实际能力和风险进行分类.

绿色

具有有限自主性和低系统影响的低风险系统.

黄色的

影响重要功能并需要文件,保障和监督的系统.

红色的

具有重大网络,科学,基础设施或自主风险的高性能系统.

需要许可,独立测试和持续控制.

红色

系统可能会造成灾难性的滥用,控制失控或文明规模的破坏.

除非安全性可以证明达到非常高的标准,否则不得使用这些设备.

条文 20 — 全球应急制动

如果有可信证据表明人工智能系统可能会带来即将发生的灾难性风险,国际社会必须能够协调应急反应.

这些措施可能包括:

• 暂时暂停人工智能模型的培训
• 高风险系统的隔离
• 紧急审计
• 限制人工智能使用的计算资源
• 对人工智能模型转移的控制
• 协调技术审查

这种机制只能用于真正的特殊风险,

条文 21 — 没有一个人或组织可以单独冒着人类的未来风险

任何首席执行官,国家元首,军事领袖,科学家,亿万富翁,公司或国家都不应该单方面决定部署一个系统,

影响全人类的风险需要超越任何一个参与者的治理.

条文 22 — 全人类共享的好处

人工智能的好处应该是人类的繁荣.

人工智能应用于:

• 治愈疾病
• 在科学上取得进步
• 改善公共服务
• 减少贫困
• 扩大教育
• 加强抗击能力
• 改善生活质量
• 增加人类的自由

更加富有生产力的文明也应该成为一个更人道的文明.

条文 23 — 执行和遵守

签署该公约的国家应承诺:

• 将这些原则转化为国内法
• 授权和监督最先进的人工智能开发
• 对于严重违法行为实施有效的处罚
• 要求独立审计提供适当记录和访问
• 在国际调查中合作
• 限制部署或转移,当严重的不遵守行为造成国际风险

严重的违法行为可能会引发协调的国际后果.

潜在的执法机制可能包括:

• 强制性的纠正措施
• 暂时停止最先进系统的运行
• 失去了认证
• 限制最先进的人工智能系统访问指定的计算基础设施
• 国际部署的限制
• 国际检查
• 针对故意严重违规行为采取协调制裁

执法必须是相称的,透明的,可以独立审查的,并保护免受政治滥用.

条文 24 — 国际检查

开发超出定义的最先进门檻的系统的组织可能会接受独立的安全检查.

检查人员应该能够验证:

• 确保安全的程序
• 能力评估
• 访问控制
• 事件记录
• 隔离和限制AI的系统
• 对人工智能所使用的计算资源的监督
• 紧急情况

商业敏感的与安全无关的信息应该得到保护.

国际监督不能成为工业间 ?? 活动.

条文 25 — 全球对人工智能计算资源的监督

一旦超出国际商定的能力或计算门檻,极大的人工智能培训可能需要注册或报告.

目的不是规范普通的计算.

目的是确保文明规模的系统不能完全在任何问责制之外发展.

随着技术效率的提高, 门户必须不断发展.

条文 26 — 防止强大的利益集团控制监管机构

管理先进人工智能的机构不能仅由:

• 其他国家
• 人工智能公司
• 军事组织
• 学者
• 公民社会

监督应该包括多个代表不同利益的独立团体.

规则不得成为当今最大的人工智能企业阻止新竞争者出现的工具。

必须保护人类, 而不是已经主导市场的公司.

条文 27 — 科学研究的自由

必须保护合法科学研究和公开调查.

监管应该主要关注危险能力和部署,而不是压制一般知识.

人工智能治理不应成为对科学审查的理由.

然而,如果高度具体的操作信息能够造成灾难性损害,则可依据相称的保障措施获得这些信息.

条文 28 — 国际和平原则

任何国家都不应该开发越来越危险的人工智能系统,

各国应建立以下机制:

• 危机沟通
• 相互安全验证
• 共同的事件通知
• 灾难风险研究合作
• 建立信任的措施
• 应急协调

人工智能竞争不能成为一个不受控制的竞赛,

条文 29 — 定期审查

随着人工智能能力的发展,该公约应定期接受国际审查.

技术规则,门檻和实施机制可能会发生变化.

基本原则应该保持稳定:

• 最终的权力属于人类
• 人类必须保持责任
• 人类对致命力量的有意义的控制
• 没有自主追求权力
• 没有不受控制的自我复制
• 没有对整个人口进行秘密操纵
• 保护人权
• 防止人类控制不可逆转的损失

条文 30 — 不可逾越的底线

任何组织,国家,公司或个人都不应有意部署人工智能系统,如果可信的证据表明这样做会造成人类永久失去对自身未来有意义的控制的不可接受风险.

没有一个人有道德权威代表其他人承担这种风险.