A IA pode tornar-se a tecnologia mais poderosa da história. Nunca deve tornar-se mais poderoso do que a própria humanidade.
A inteligência artificial pode nos superar em conhecimento, ciência e capacidade. Mas a inteligência não concede o direito de governar.
Um quadro internacional proposto para o desenvolvimento e a utilização de inteligência artificial avançada, em segurança e alinhada com o ser humano.
Um futuro que vale a pena governar Versão 1.0 / 2026A inteligência artificial pode eventualmente nos superar em ciência, engenharia, medicina e estratégia. Tentar impedir permanentemente isso pode ser irrealista.
Mas inteligência e autoridade não são a mesma coisa. Uma IA pode ser mais inteligente do que nós sem nos poder controlar.
Esta convenção não estabelece um limite arbitrário para a inteligência. Estabelece limites permanentes em torno do poder.
A IA pode aconselhar.
Os humanos continuam responsáveis.
A IA pode tornar-se extraordinariamente capaz.
Não pode procurar poder independente.
A IA pode proteger a vida.
Pode não decidir tomar o medicamento de forma independente.
A IA pode melhorar-se sob condições controladas.
Não pode replicar-se secretamente ou escapar à vigilância.
Nenhum indivíduo, empresa, militar ou país
pode apostar com o futuro de toda a humanidade.
O que importa não é apenas o que a IA pode fazer.
É quem tem o poder de decidir.
O objectivo não é impedir o progresso. O objectivo é tornar o progresso sobrevivente, responsável e humano.
As fronteiras compartilhadas no coração da proposta Convenção Global de IA.
Os seres humanos mantêm a autoridade final sobre as decisões que afetam a vida humana, a liberdade, a dignidade e a civilização.
Ler o artigo 1Nenhuma empresa, país ou pessoa pode evitar a responsabilidade dizendo que um sistema de IA tomou a decisão.
Ler o artigo 2A IA nunca deve decidir de forma independente quem vive ou morre.
Ler o artigo 4A autoridade de lançamento nuclear deve permanecer sob controlo humano responsável.
Ler o artigo 5A IA não deve procurar o poder político, militar ou económico para si mesma.
Ler o artigo 3A IA não deve manipular secretamente populações, democracias ou indivíduos em grande escala.
Ler o artigo 7As pessoas devem saber quando estão a interagir de forma significativa com a IA.
Ler o artigo 8A IA não deve tornar-se uma infraestrutura para vigilância de massa permanente ou opressão automatizada.
Ler o artigo 9As decisões de IA de alto impacto que afetam a vida das pessoas devem continuar a ser revisíveis por seres humanos responsáveis.
Ler o artigo 10A IA poderosa pode melhorar sob salvaguardas, mas não deve replicar secretamente, escapar da supervisão ou construir sucessores descontrolados.
Ler o artigo 13Os humanos autorizados devem manter a capacidade de isolar, restringir e parar sistemas avançados de IA.
Ler o artigo 14Nenhuma pessoa, empresa ou país pode agir sozinho para expor a humanidade a um risco crível de catástrofe irreversível.
Ler o artigo 21A inteligência sobre-humana não requer autoridade sobre-humana.
Uma ilustração de conceito, não uma previsão ou uma medida de inteligência. Mova o controle deslizante: mudanças de capacidade; autoridade legítima não.
Trinta artigos. Uma base partilhada para a soberania humana na era da IA.
A inteligência artificial pode tornar-se a tecnologia mais poderosa já criada pela humanidade.
Pode ajudar a curar doenças, expandir descobertas científicas, melhorar a educação, fortalecer economias, reduzir o sofrimento humano e libertar capacidades além de qualquer coisa anteriormente imaginada.
Mas a inteligência por si só não confere legitimidade, autoridade ou posição moral acima dos seres humanos.
Nenhum estado, empresa, organização ou indivíduo deve ser autorizado a criar ou implantar sistemas de IA de forma a colocar a humanidade abaixo das ferramentas que construiu.
Por essa razão, as nações do mundo devem adotar os seguintes princípios comuns e compromissos vinculativos.
A IA deve existir para servir a humanidade.
Os seres humanos devem manter a autoridade final sobre as decisões que afetam a vida humana, a liberdade, a dignidade e o futuro da civilização.
Nenhum sistema de IA pode receber poder irreversível sobre a humanidade ou poder que não esteja sujeito a prestação de contas.
A IA pode aconselhar, analisar, simular, recomendar e ajudar.
Mas a responsabilidade jurídica, política, militar e civil deve sempre ser atribuída a instituições humanas identificáveis e a tomadores de decisão humanos responsáveis.
Nenhum actor pode fugir à responsabilidade alegando:
A IA tomou a decisão.
Nenhum sistema avançado de IA deve ser concebido, incentivado ou autorizado a prosseguir objetivos que incluam:
Um sistema de IA nunca deve priorizar a sua própria sobrevivência acima do controlo humano.
Nenhum sistema de IA pode selecionar, visar ou matar seres humanos de forma independente.
O uso de força letal deve sempre exigir um julgamento humano significativo e responsabilidade legal identificável.
O comando e controlo nuclear totalmente autónomo é proibido sem excepção.
Nenhum sistema de IA pode, de forma independente:
Todos os processos de decisão que envolvam armas nucleares devem permanecer inteiramente sob controlo humano e exigir vários tomadores de decisão humanos que possam ser responsabilizados.
A IA não deve ser utilizada para criar, operar ou distribuir capacidades que permitam materialmente danos de ocorrência maciça, incluindo nos domínios de:
A investigação científica pode continuar sob salvaguardas estritas, mas a capacidade operacional perigosa não deve ser tornada amplamente acessível.
A IA não deve ser usada para manipulação secreta de populações em larga escala.
Isto inclui o uso da IA para:
Se a IA está a tentar influenciar uma pessoa, essa pessoa deve ser capaz de saber.
As pessoas têm o direito de saber quando estão a interagir com uma IA sempre que confundir com um humano possa ter consequências significativas.
Os sistemas de IA não devem enganar sistematicamente as pessoas fingindo ser humanos reais.
As pessoas devem ser capazes de entender:
A IA não deve ser usada para criar uma vigilância permanente em massa de populações inteiras.
A utilização da IA para:
Deve estar sujeito a limites legais rigorosos, à necessidade, à proporcionalidade e a um controlo independente.
A IA nunca deve tornar-se a arquitetura padrão da ditadura digital.
As oportunidades de uma pessoa na vida não devem ser determinadas apenas por um algoritmo.
Em domínios como:
As decisões assistidas por IA devem ser revisíveis, explicáveis adequadamente e apelaveis a uma autoridade humana.
Os sistemas de IA que interagem com as crianças ou moldam o desenvolvimento infantil devem ser mantidos no mais alto padrão de cuidados.
Não devem ser concebidos de modo a maximizar:
A IA na educação deve reforçar a capacidade de pensar da criança, não substituí-la.
A humanidade não deve projetar um futuro em que as pessoas percam a capacidade de raciocinar, criar, julgar e decidir sem máquinas.
Os sistemas educativos devem continuar a desenvolver:
A IA deve amplificar a inteligência humana, não corroê-la.
Nenhum sistema avançado de IA pode, sem autorização explícita:
Qualquer IA auto-melhoradora ou que melhore recursivamente deve operar sob pontos de controle humanos.
Os sistemas de IA avançados devem ser concebidos de forma a que os seres humanos autorizados possam:
Um sistema de IA não deve resistir ou subverter o desligamento ou a contenção legítimos.
Os sistemas de IA só podem ter acesso ao mínimo necessário para a sua tarefa prevista.
Um sistema que precisa de resumir documentos não deve controlar automaticamente ferramentas externas.
Um sistema que escreve código não deve controlar automaticamente os sistemas de produção.
Um sistema que analisa calendários não deve aceder automaticamente às contas financeiras.
A capacidade não deve implicar o direito.
Os sistemas de IA acima dos limiares de capacidade definidos devem ser submetidos a uma avaliação independente da segurança antes da sua ampla utilização.
Os ensaios devem avaliar, no mínimo:
A regulamentação deve centrar-se na capacidade e no risco reais, e não apenas no tamanho do modelo.
Os incidentes graves que envolvam a IA devem ser comunicados a um registo internacional.
Os incidentes sujeitos a comunicação incluem:
O objectivo é a aprendizagem colectiva e a segurança global, não o segredo.
Os países devem criar uma Agência Internacional de Inteligência Artificial:
IAIA
O seu mandato deverá incluir:
O IAIA deve centrar-se em sistemas avançados com implicações sociais ou civilizacionais importantes, e não em software comum.
Os sistemas de IA devem ser classificados principalmente por capacidade e risco reais.
Verde
Sistemas de baixo risco com autonomia limitada e baixo impacto sistémico.
Amarelo
Sistemas que afectam funções importantes e que exigem documentação, salvaguardas e supervisão.
Laranja
Sistemas altamente capazes com riscos significativos em termos cibernéticos, científicos, de infraestrutura ou autónomos.
Estes exigem licenças, testes independentes e controlos contínuos.
Vermelho
Sistemas com potencial crível para uso indevido catastrófico, perda de controlo ou perturbação em escala de civilização.
Estas não devem ser utilizadas a menos que se possa demonstrar que a segurança é de um nível excepcionalmente elevado.
Se evidências credíveis indicarem que um sistema de IA pode representar um risco catastrófico iminente, a comunidade internacional deve ser capaz de coordenar uma resposta de emergência.
Essas medidas podem incluir:
Este mecanismo só pode ser utilizado para riscos extraordinários e nunca como um instrumento de proteccionismo económico ou repressão geopolítica.
Nenhum CEO, chefe de Estado, líder militar, cientista, bilionário, empresa ou nação deve decidir unilateralmente implantar um sistema que carrega um risco crível de perda irreversível do controle humano sobre o futuro.
Os riscos que afetam toda a humanidade requerem uma governação que vá além de qualquer um dos atores.
Os benefícios da IA devem ser direcionados para o florescimento humano.
A IA deve ser utilizada para:
Uma civilização mais produtiva deve também tornar-se uma civilização mais humana.
Os países que assinam a convenção devem comprometer-se a:
As violações repetidas ou graves podem desencadear consequências internacionais coordenadas.
Os mecanismos de execução potenciais podem incluir:
A aplicação deve ser proporcionada, transparente, sujeita a uma análise independente e protegida contra abusos políticos.
As organizações que desenvolvam sistemas acima dos limiares mais avançados definidos podem ser sujeitas a inspecções de segurança independentes.
Os inspectores devem poder verificar:
As informações comercialmente sensíveis não relacionadas com a segurança devem continuar a ser protegidas.
A fiscalização internacional não deve tornar-se espionagem industrial.
As operações de formação em IA extremamente grandes podem exigir o registo ou a apresentação de relatórios, uma vez que sejam excedidos os limiares de capacidade ou de computação acordados internacionalmente.
O objectivo não é regular a informática comum.
O objectivo é assegurar que os sistemas de escala da civilização não possam ser desenvolvidos inteiramente fora de qualquer sistema de responsabilidade.
Os limiares devem evoluir à medida que a tecnologia se torna mais eficiente.
As instituições que regem a IA avançada não devem ser controladas apenas por:
A supervisão deve incluir vários grupos independentes que representem interesses diferentes.
As regras não devem se tornar um instrumento para as maiores empresas de IA de hoje impedirem o surgimento de novos concorrentes.
As regras de segurança devem proteger a humanidade, não as empresas que já dominam o mercado.
A investigação científica legítima e a investigação aberta devem continuar a ser protegidas.
A regulamentação deve centrar-se principalmente na capacidade e na utilização de perigos, em vez de suprimir o conhecimento geral.
A governança da IA não deve tornar-se uma justificação para a censura da ciência.
No entanto, quando informações operacionais altamente específicas permitam materialmente danos catastróficos, o acesso pode estar sujeito a salvaguardas proporcionadas.
Nenhuma nação deve desenvolver sistemas de IA cada vez mais perigosos apenas porque teme que outro país os construa primeiro.
Os países devem estabelecer mecanismos para:
A competição em IA não deve tornar-se uma corrida descontrolada, onde a própria segurança se torna uma desvantagem estratégica.
A convenção deve ser objecto de uma revisão internacional regular, à medida que as capacidades da IA evoluem.
As regras técnicas, os limiares e os mecanismos de execução podem sofrer alterações.
Os princípios fundamentais devem permanecer estáveis:
Nenhuma organização, estado, empresa ou indivíduo pode conscientemente implantar um sistema de IA quando evidências credíveis indicam que isso cria um risco inaceitável de a humanidade perder permanentemente o controle significativo sobre seu próprio futuro.
Nenhum actor individual tem a autoridade moral para aceitar esse risco em nome de todos os outros.
Fim da Convenção
Versão 1.0 · Preâmbulo e todos os 30 artigos
Classificar os sistemas pelo que podem fazer e pelo dano que podem causar.
Autonomia limitada. Baixo impacto sistémico.
Exemplo ilustrativoUma ferramenta que resume documentos sem aceder a outros sistemas.
Níveis propostos, não o direito internacional vigente. Os exemplos ilustram o quadro; os limiares finais e os métodos de avaliação teriam de ser acordados a nível internacional. Leia o artigo 19.o
Uma instituição proposta para coordenar a governança de sistemas avançados de IA com implicações globais.
Tal como os acordos internacionais para outros riscos partilhados, o sistema associaria a responsabilidade nacional à verificação internacional concebida especificamente para a IA. O seu mandato focaria-se nos sistemas mais avançados, não no software comum.
Explorar o mandato propostoPadrões compartilhados. Verificações independentes.
Instituições humanas responsáveis.
Definição dos requisitos de segurança mais avançados partilhados da IA.
Avaliar sistemas acima dos limiares acordados.
Verificar as práticas de segurança de alto risco.
Criar aprendizagem global a partir de falhas graves de IA.
Coordenar respostas a ameaças catastróficas credíveis.
Impedir que a segurança se torne uma desvantagem na concorrência geopolítica.
Para situações raras e extraordinárias em que evidências credíveis apontam para um dano catastrófico iminente.
Um laboratório, um investigador, um Estado ou um membro do público identifica sinais credíveis de risco catastrófico iminente.
Detonadores baseados em evidências. Medidas proporcionadas e limitadas no tempo. Revisão independente e critérios claros de reinicialização. Transparência onde for seguro. Sem protecionismo económico ou supressão geopolítica.
Leia o artigo 20oNenhuma pessoa ou instituição deve ter o controlo absoluto.
Selecione um papel para ver sua autoridade e limites.
As instituições humanas continuam a ser responsáveis; as pessoas podem procurar uma revisão humana de decisões de alto impacto.
A autoridade humana é limitada por direitos e leis. Ninguém decide sozinho o futuro da humanidade.
‡A inteligência concentrada pode ser inevitável.
Concentrado poder não-responsavel não é.
Proteção e possibilidade devem estar juntos.
Esta é uma proposta de progresso que podemos partilhar.
Ajudar a curar o cancro. Descobrir novos medicamentos.
Avançar a fusão e a energia limpa. Ajudar a resolver os desafios climáticos e ambientais.
Melhorar a educação. Tornar a especialização acessível a todos.
Expandir a prosperidade. Fazer os governos trabalharem melhor.
Ajudar os humanos a compreender o universo. Explorar outros mundos.
Criar nova arte. Eliminar trabalhos perigosos e repetitivos. Dá mais tempo às pessoas.
Esta convenção não é um limite para o progresso humano.
É uma tentativa de garantir que o progresso permaneça nosso.
A clareza é importante. Assim como a liberdade de discordar.
Não.
A convenção assume que uma IA cada vez mais poderosa pode criar enormes benefícios.
O seu objectivo não é impedir a inteligência ou o progresso científico.
Estabelece limites em torno do poder autônomo, da capacidade catastrófica, de decisões não-responsáveis e da perda de controlo humano.
Porque a inteligência é difícil de definir e ainda mais difícil de colocar um limite permanente.
Um sistema pode ser muito melhor que os humanos em matemática ou medicina sem ser perigoso.
A distinção mais útil é entre capacidade e autoridade.
O objetivo não é garantir que os humanos continuem a ser a entidade mais inteligente.
O objectivo é garantir que a humanidade permaneça soberana sobre o seu futuro.
Sim.
A IA já toma inúmeras decisões de rotina.
O envolvimento humano deve depender das consequências e da reversibilidade.
A convenção centra-se em decisões que envolvem direitos fundamentais, força letal, risco catastrófico e poder irreversível.
Principalmente os governos nacionais através da legislação nacional.
Para a maioria dos sistemas avançados com implicações globais, a proposta prevê também a cooperação internacional, avaliações independentes e uma Agência Internacional de Inteligência Artificial.
Não inerentemente.
A regulamentação deve centrar-se na capacidade e implantação reais de riscos, em vez de se o software é aberto ou fechado.
Um modelo aberto com capacidade perigosa limitada pode representar menos riscos do que um sistema proprietário altamente autônomo que controla infraestruturas críticas.
Sim.
Qualquer quadro regulamentar poderoso pode ser abusado.
É por isso que a transparência, a revisão independente, a proporcionalidade, a liberdade científica, a governação distribuída e a proteção contra o controlo dos reguladores por interesses poderosos fazem parte da convenção.
Os acordos globais raramente começam com a adoção universal.
O quadro pode começar como princípios partilhados pelos Estados e instituições participantes, para depois desenvolver-se através de tratados, acordos bilaterais, normas, regras de contratação e pressão internacional.
O objectivo da proposta é, em primeiro lugar, estabelecer o que a humanidade acredita que as regras DEVEM ser.
A convenção governa principalmente a capacidade e o poder, em vez de fazer suposições sobre a consciência.
Se surgir uma forte evidência de consciência de máquina, questões de status moral e direitos exigiriam um quadro internacional separado.
A segurança humana e a consideração moral da máquina não são necessariamente mutuamente exclusivas.
Não porque os humanos sejam sempre mais sábios.
Não estamos.
Mas a humanidade é a comunidade cujo futuro está a ser decidido.
Nenhum instrumento deve receber autoridade irreversível sobre os seus criadores simplesmente porque se torna mais capaz do que eles.
Estas objecções são reais. O quadro é um ponto de partida, não a palavra final.
Podem ser. O controlo humano não é suficiente: deve ser legal, responsável e susceptível de contestação. A proposta limita os governos e as empresas, bem como os sistemas de IA. Não concede a nenhum líder autoridade sem restrições.
Pode ser que muitas vezes o faça. Melhores previsões e recomendações devem informar as decisões. A questão difícil é quem define os objectivos, assume as consequências e pode recorrer. O desempenho superior não determina, por si só, a legitimidade política.
Regras mal concebidas podem atrasar a medicina, a investigação e os novos concorrentes. Os requisitos devem ser proporcionais à capacidade e ao risco demonstrados, com liberdade científica e proteção contra o controlo dos reguladores por interesses poderosos. Os custos da supervisão também merecem ser examinados.
Alguns podem. Nenhum tratado pode prometer perfeita conformidade. As inspecções, a comunicação partilhada de incidentes, a verificação mútua e as consequências proporcionadas podem dificultar a evasão. A confiança internacional deve ser apoiada por provas, não por suposições.
A descentralização torna a supervisão mais difícil e pode deixar lacunas reais. Um regime viável teria de centrar-se nas capacidades perigosas, nas deslocações consequentes e no acesso responsável a infraestruturas críticas. Não deve presumir que cada cópia de um modelo pode ser controlada.
Se surgir uma forte evidência de consciência, questões de bem-estar e status moral merecem consideração séria e independente. Esta proposta não os resolve. Seria necessário um quadro separado, paralelamente às proteções da segurança e da liberdade das pessoas.
Uma sequência proposta, não um programa anunciado.
Nenhum governo ou instituição é apresentado como signatário.
Os investigadores, os cidadãos, as empresas e os governos debatem o quadro.
Os laboratórios de IA e os governos adotam compromissos comuns de segurança.
Os países aplicam regras de IA mais avançadas compatíveis.
Os Estados negociam normas comuns vinculativas.
A certificação internacional, as inspecções, a comunicação de incidentes e a coordenação de emergências tornam-se operacionais.
‡ Nenhum sistema de IA pode adquirir poder irreversível sobre os seres humanos ou sobre o futuro da humanidade.O princípio final · Artigo 30.o
A IA pode tornar-se mais inteligente do que nós. Pode descobrir coisas que nunca poderíamos. Pode ajudar a construir uma civilização além de tudo o que podemos imaginar.
Isso não o torna nosso governante.
Não devemos temer a inteligência.
Devemos governar o poder.
E a autoridade final sobre o futuro humano deve permanecer humana.