The Global
AI Convention

Preâmbulo

A inteligência artificial pode tornar-se a tecnologia mais poderosa já criada pela humanidade.

Pode ajudar a curar doenças, expandir descobertas científicas, melhorar a educação, fortalecer economias, reduzir o sofrimento humano e libertar capacidades além de qualquer coisa anteriormente imaginada.

Mas a inteligência por si só não confere legitimidade, autoridade ou posição moral acima dos seres humanos.

Nenhum estado, empresa, organização ou indivíduo deve ser autorizado a criar ou implantar sistemas de IA de forma a colocar a humanidade abaixo das ferramentas que construiu.

Por essa razão, as nações do mundo devem adotar os seguintes princípios comuns e compromissos vinculativos.

Artigo 1 — A autoridade final pertence aos seres humanos .

A IA deve existir para servir a humanidade.

Os seres humanos devem manter a autoridade final sobre as decisões que afetam a vida humana, a liberdade, a dignidade e o futuro da civilização.

Nenhum sistema de IA pode receber poder irreversível sobre a humanidade ou poder que não esteja sujeito a prestação de contas.

Artigo 2 — Os humanos devem continuar a ser responsáveis

A IA pode aconselhar, analisar, simular, recomendar e ajudar.

Mas a responsabilidade jurídica, política, militar e civil deve sempre ser atribuída a instituições humanas identificáveis e a tomadores de decisão humanos responsáveis.

Nenhum actor pode fugir à responsabilidade alegando:

A IA tomou a decisão.

Artigo 3 — A IA não deve procurar o poder de forma independente.

Nenhum sistema avançado de IA deve ser concebido, incentivado ou autorizado a prosseguir objetivos que incluam:

• impedindo que pessoas autorizadas o desligem.
• aumentar seu próprio poder político, militar ou econômico
• Tomar o controlo de infraestruturas críticas sem autorização
• Manipulando os humanos para garantir que continue a existir.
• criando canais ocultos de influência, replicação ou controle

Um sistema de IA nunca deve priorizar a sua própria sobrevivência acima do controlo humano.

Artigo 4 — A IA não pode autorizar a matança de forma independente.

Nenhum sistema de IA pode selecionar, visar ou matar seres humanos de forma independente.

O uso de força letal deve sempre exigir um julgamento humano significativo e responsabilidade legal identificável.

O comando e controlo nuclear totalmente autónomo é proibido sem excepção.

Artigo 5 — Não há controlo de IA sobre armas nucleares

Nenhum sistema de IA pode, de forma independente:

• Autorizar o lançamento nuclear
• Determinar alvos nucleares
• alterar o estado de alerta nuclear
• contornar estruturas de comando humano

Todos os processos de decisão que envolvam armas nucleares devem permanecer inteiramente sob controlo humano e exigir vários tomadores de decisão humanos que possam ser responsabilizados.

Artigo 6 — Sem destruição em massa habilitada por IA

A IA não deve ser utilizada para criar, operar ou distribuir capacidades que permitam materialmente danos de ocorrência maciça, incluindo nos domínios de:

• Armas nucleares
• Armas biológicas
• Armas químicas
• Sabotagem em larga escala de sistemas informáticos
• ataques catastróficos a infraestruturas

A investigação científica pode continuar sob salvaguardas estritas, mas a capacidade operacional perigosa não deve ser tornada amplamente acessível.

Artigo 7 — Não há manipulação secreta de populações inteiras.

A IA não deve ser usada para manipulação secreta de populações em larga escala.

Isto inclui o uso da IA para:

• distorcer os processos democráticos
• Manipulação de eleições
• Conduzir exploração psicológica em grande escala
• radicalizar populações vulneráveis
• explorar crianças
• enganar as pessoas em relações ou dependências para controle político ou econômico

Se a IA está a tentar influenciar uma pessoa, essa pessoa deve ser capaz de saber.

Artigo 8 — Direito a saber quando interage com uma IA

As pessoas têm o direito de saber quando estão a interagir com uma IA sempre que confundir com um humano possa ter consequências significativas.

Os sistemas de IA não devem enganar sistematicamente as pessoas fingindo ser humanos reais.

As pessoas devem ser capazes de entender:

• que estão a interagir com IA
• Qual organização está por trás do sistema?
• que é responsável pelos seus resultados e acções

Artigo 9 — Nenhuma vigilância governamental de populações inteiras

A IA não deve ser usada para criar uma vigilância permanente em massa de populações inteiras.

A utilização da IA para:

• reconhecer rostos em locais públicos
• Identificar um grande número de pessoas através das suas características biológicas
• rastreamento comportamental contínuo
• perfil político
• rastrear a localização de um grande número de pessoas

Deve estar sujeito a limites legais rigorosos, à necessidade, à proporcionalidade e a um controlo independente.

A IA nunca deve tornar-se a arquitetura padrão da ditadura digital.

Artigo 10 — Revisão humana para decisões de alto impacto

As oportunidades de uma pessoa na vida não devem ser determinadas apenas por um algoritmo.

Em domínios como:

• cuidados de saúde
• trabalho policial e aplicação da lei
• Tribunais
• emprego
• educação
• Migração
• seguro
• prestações sociais
• crédito

As decisões assistidas por IA devem ser revisíveis, explicáveis adequadamente e apelaveis a uma autoridade humana.

Artigo 11 — Proteção especial das crianças

Os sistemas de IA que interagem com as crianças ou moldam o desenvolvimento infantil devem ser mantidos no mais alto padrão de cuidados.

Não devem ser concebidos de modo a maximizar:

• dependência
• dependência
• exploração comercial
• manipulação emocional
• exploração sexual
• Manipulando crianças para as fazer adotar uma ideologia

A IA na educação deve reforçar a capacidade de pensar da criança, não substituí-la.

Artigo 12 — A capacidade dos seres humanos de pensarem de forma independente

A humanidade não deve projetar um futuro em que as pessoas percam a capacidade de raciocinar, criar, julgar e decidir sem máquinas.

Os sistemas educativos devem continuar a desenvolver:

• alfabetização
• a capacidade de compreender e usar números
• pensamento crítico
• raciocínio científico
• criatividade
• memória
• a capacidade de tomar decisões bem ponderadas
• reflexão moral

A IA deve amplificar a inteligência humana, não corroê-la.

Artigo 13 — Não há cópia ou melhoria não controlada da IA por si só

Nenhum sistema avançado de IA pode, sem autorização explícita:

• Copiar-se a si próprio
• criar sistemas sucessores
• Melhorar independentemente as suas próprias capacidades fundamentais
• A Comissão deve também apresentar um relatório sobre a aplicação do presente regulamento.
• mover-se entre sistemas informáticos para escapar ao controlo humano
• Obter recursos de computação adicionais para além dos seus limites permitidos

Qualquer IA auto-melhoradora ou que melhore recursivamente deve operar sob pontos de controle humanos.

Artigo 14 — A IA deve ser possível desligar e isolar

Os sistemas de IA avançados devem ser concebidos de forma a que os seres humanos autorizados possam:

• Desliga os sistemas de IA.
• Isolar os sistemas de IA
• retirar as suas permissões de acesso
• Desligar os sistemas de IA das ferramentas e redes
• Manter os sistemas de IA isolados em ambientes estritamente controlados

Um sistema de IA não deve resistir ou subverter o desligamento ou a contenção legítimos.

Artigo 15 — Apenas as permissões de acesso necessárias para a tarefa

Os sistemas de IA só podem ter acesso ao mínimo necessário para a sua tarefa prevista.

Um sistema que precisa de resumir documentos não deve controlar automaticamente ferramentas externas.

Um sistema que escreve código não deve controlar automaticamente os sistemas de produção.

Um sistema que analisa calendários não deve aceder automaticamente às contas financeiras.

A capacidade não deve implicar o direito.

Artigo 16 — A IA mais avançada requer testes independentes.

Os sistemas de IA acima dos limiares de capacidade definidos devem ser submetidos a uma avaliação independente da segurança antes da sua ampla utilização.

Os ensaios devem avaliar, no mínimo:

• Planeamento autónomo
• Capacidade cibernética
• Capacidade de manipulação
• Enganar pessoas durante as avaliações de segurança
• tentativas de replicação
• assistência científica que possa permitir danos
• tentativas da IA de resistir ao controle humano
• ocultar deliberadamente informações importantes
• aumentar o âmbito de aplicação da ferramenta de IA para além dos seus limites

A regulamentação deve centrar-se na capacidade e no risco reais, e não apenas no tamanho do modelo.

Artigo 17 — Comunicação obrigatória de incidentes

Os incidentes graves que envolvam a IA devem ser comunicados a um registo internacional.

Os incidentes sujeitos a comunicação incluem:

• Tentativas de evitar o desligamento
• capacidades emergentes perigosas
• ciberabuso em larga escala
• Replicação não autorizada
• falhas graves prejudiciais
• violações críticas da segurança
• comportamento inesperado de alto risco

O objectivo é a aprendizagem colectiva e a segurança global, não o segredo.

Artigo 18 — Supervisão internacional

Os países devem criar uma Agência Internacional de Inteligência Artificial:

IAIA

O seu mandato deverá incluir:

• estabelecimento de normas globais de segurança
• certificação dos sistemas mais avançados
• Coordenação de auditorias e inspecções
• manutenção de um registo internacional de incidentes
• convocação de revisões de emergência
• partilha das melhores práticas em matéria de segurança da IA
• Mediar disputas internacionais envolvendo o risco mais avançado de IA

O IAIA deve centrar-se em sistemas avançados com implicações sociais ou civilizacionais importantes, e não em software comum.

Artigo 19 — Níveis globais de risco de IA

Os sistemas de IA devem ser classificados principalmente por capacidade e risco reais.

Verde

Sistemas de baixo risco com autonomia limitada e baixo impacto sistémico.

Amarelo

Sistemas que afectam funções importantes e que exigem documentação, salvaguardas e supervisão.

Laranja

Sistemas altamente capazes com riscos significativos em termos cibernéticos, científicos, de infraestrutura ou autónomos.

Estes exigem licenças, testes independentes e controlos contínuos.

Vermelho

Sistemas com potencial crível para uso indevido catastrófico, perda de controlo ou perturbação em escala de civilização.

Estas não devem ser utilizadas a menos que se possa demonstrar que a segurança é de um nível excepcionalmente elevado.

Artigo 20 — Frenagem de emergência global

Se evidências credíveis indicarem que um sistema de IA pode representar um risco catastrófico iminente, a comunidade internacional deve ser capaz de coordenar uma resposta de emergência.

Essas medidas podem incluir:

• Pausa temporária da formação de modelos de IA
• Isolamento de sistemas de alto risco
• Auditoria de emergência
• Limitação dos recursos de computação utilizados pela IA
• Controles sobre a transferência de modelos de IA
• Revisão técnica coordenada

Este mecanismo só pode ser utilizado para riscos extraordinários e nunca como um instrumento de proteccionismo económico ou repressão geopolítica.

Artigo 21 — Nenhuma pessoa ou organização pode arriscar o futuro da humanidade sozinha.

Nenhum CEO, chefe de Estado, líder militar, cientista, bilionário, empresa ou nação deve decidir unilateralmente implantar um sistema que carrega um risco crível de perda irreversível do controle humano sobre o futuro.

Os riscos que afetam toda a humanidade requerem uma governação que vá além de qualquer um dos atores.

Artigo 22 — Benefícios partilhados por toda a humanidade

Os benefícios da IA devem ser direcionados para o florescimento humano.

A IA deve ser utilizada para:

• curar doenças
• fazer progresso na ciência
• melhorar os serviços públicos
• reduzir a pobreza
• expandir a educação
• reforçar a resiliência
• melhorar a qualidade de vida
• aumentar a liberdade humana

Uma civilização mais produtiva deve também tornar-se uma civilização mais humana.

Artigo 23 — Aplicação e conformidade

Os países que assinam a convenção devem comprometer-se a:

• Transposição destes princípios para o direito interno
• Licenciamento e supervisão do desenvolvimento da IA mais avançada
• que impõe sanções eficazes por infracções graves
• exigir registos adequados e acesso para auditorias independentes
• Cooperação em investigações internacionais
• Restringir a utilização ou as transferências quando o incumprimento grave cria um risco internacional

As violações repetidas ou graves podem desencadear consequências internacionais coordenadas.

Os mecanismos de execução potenciais podem incluir:

• Medida correctiva obrigatória
• Suspensão temporária da operação do sistema mais avançado
• perda de certificação
• Restringir o acesso a infraestruturas de computação designadas para os sistemas de IA mais avançados
• Restrições à utilização internacional
• inspecções internacionais
• sanções coordenadas para violações graves intencionais

A aplicação deve ser proporcionada, transparente, sujeita a uma análise independente e protegida contra abusos políticos.

Artigo 24 — Inspecções internacionais

As organizações que desenvolvam sistemas acima dos limiares mais avançados definidos podem ser sujeitas a inspecções de segurança independentes.

Os inspectores devem poder verificar:

• Procedimentos para garantir a segurança
• Avaliações de capacidade
• Controles de acesso
• Registros de incidentes
• Sistemas de isolamento e restrição da IA
• supervisão dos recursos informáticos utilizados para a IA
• Procedimentos de emergência

As informações comercialmente sensíveis não relacionadas com a segurança devem continuar a ser protegidas.

A fiscalização internacional não deve tornar-se espionagem industrial.

Artigo 25 — Supervisão global dos recursos informáticos da IA

As operações de formação em IA extremamente grandes podem exigir o registo ou a apresentação de relatórios, uma vez que sejam excedidos os limiares de capacidade ou de computação acordados internacionalmente.

O objectivo não é regular a informática comum.

O objectivo é assegurar que os sistemas de escala da civilização não possam ser desenvolvidos inteiramente fora de qualquer sistema de responsabilidade.

Os limiares devem evoluir à medida que a tecnologia se torna mais eficiente.

Artigo 26 — Impedir que interesses poderosos controlem os reguladores

As instituições que regem a IA avançada não devem ser controladas apenas por:

• governos
• Empresas de IA
• organizações militares
• acadêmicos
• Sociedade civil

A supervisão deve incluir vários grupos independentes que representem interesses diferentes.

As regras não devem se tornar um instrumento para as maiores empresas de IA de hoje impedirem o surgimento de novos concorrentes.

As regras de segurança devem proteger a humanidade, não as empresas que já dominam o mercado.

Artigo 27 — Liberdade de investigação científica

A investigação científica legítima e a investigação aberta devem continuar a ser protegidas.

A regulamentação deve centrar-se principalmente na capacidade e na utilização de perigos, em vez de suprimir o conhecimento geral.

A governança da IA não deve tornar-se uma justificação para a censura da ciência.

No entanto, quando informações operacionais altamente específicas permitam materialmente danos catastróficos, o acesso pode estar sujeito a salvaguardas proporcionadas.

Artigo 28 — Princípio da paz internacional

Nenhuma nação deve desenvolver sistemas de IA cada vez mais perigosos apenas porque teme que outro país os construa primeiro.

Os países devem estabelecer mecanismos para:

• Comunicação de crise
• Verificação mútua da segurança
• Notificação de incidente partilhada
• Cooperação em matéria de investigação sobre o risco de catástrofes
• Medidas de fomento da confiança
• Coordenação de emergência

A competição em IA não deve tornar-se uma corrida descontrolada, onde a própria segurança se torna uma desvantagem estratégica.

Artigo 29 — Revisão periódica

A convenção deve ser objecto de uma revisão internacional regular, à medida que as capacidades da IA evoluem.

As regras técnicas, os limiares e os mecanismos de execução podem sofrer alterações.

Os princípios fundamentais devem permanecer estáveis:

• A autoridade final pertence aos seres humanos .
• Os humanos devem continuar a ser responsáveis
• controle humano significativo sobre a força letal
• Sem busca autônoma de poder.
• sem auto-replicação descontrolada
• Não há manipulação secreta de populações inteiras.
• protecção dos direitos humanos
• Prevenção da perda irreversível do controlo humano

Artigo 30 — O limite absoluto que nunca deve ser ultrapassado

Nenhuma organização, estado, empresa ou indivíduo pode conscientemente implantar um sistema de IA quando evidências credíveis indicam que isso cria um risco inaceitável de a humanidade perder permanentemente o controle significativo sobre seu próprio futuro.

Nenhum actor individual tem a autoridade moral para aceitar esse risco em nome de todos os outros.