The Global
AI Convention

PRÉAMBULE

L'intelligence artificielle pourrait devenir la technologie la plus puissante jamais créée par l'humanité.

Elle peut aider à guérir les maladies, étendre les découvertes scientifiques, améliorer l'éducation, renforcer les économies, réduire la souffrance humaine et débloquer des capacités au-delà de tout ce qui était imaginé auparavant.

Mais l'intelligence seule ne confère pas de légitimité, d'autorité ou de position morale au-dessus des êtres humains.

Aucun État, entreprise, organisation ou individu ne devrait être autorisé à créer ou déployer des systèmes d'IA de manière à placer l'humanité au-dessous des outils qu'elle a construits.

Pour cette raison, les nations du monde devraient adopter les principes communs et les engagements contraignants suivants.

Le présent article 1 — L'autorité finale appartient à l'être humain.

L'IA doit exister pour servir l'humanité.

Les êtres humains conservent l'autorité ultime sur les décisions qui affectent la vie humaine, la liberté, la dignité et l'avenir de la civilisation.

Aucun système d'IA ne peut recevoir un pouvoir irréversible sur l'humanité ou un pouvoir qui n'est pas soumis à la responsabilité.

Le présent article 2 — Les humains doivent rester responsables

L'IA peut conseiller, analyser, simuler, recommander et aider.

Mais la responsabilité juridique, politique, militaire et civile doit toujours être attribuée à des institutions humaines identifiables et à des décideurs humains responsables.

Aucun acteur ne peut se soustraire à sa responsabilité en prétendant:

‡ L'IA a pris la décision.

Le présent article 3 — L'IA ne doit pas rechercher le pouvoir de manière indépendante

Aucun système d'IA avancé ne doit être conçu, encouragé ou autorisé à poursuivre des objectifs qui incluent:

• empêchant les humains autorisés de l'arrêter
• augmenter son propre pouvoir politique, militaire ou économique
• prise de contrôle d'une infrastructure critique sans autorisation
• manipuler les humains pour s'assurer qu'il continue à exister
• créer des canaux cachés d'influence, de réplication ou de contrôle

Un système d'IA ne doit jamais donner la priorité à sa propre survie au-dessus du contrôle humain.

Le présent article 4 — L'IA ne doit pas autoriser indépendamment le meurtre

Aucun système d'IA ne peut sélectionner, cibler ou tuer des êtres humains de manière indépendante.

L'usage de la force meurtrière doit toujours nécessiter un jugement humain significatif et une responsabilité légale identifiable.

Le commandement et le contrôle nucléaires entièrement autonomes sont interdits sans exception.

Le présent article 5 — Aucun contrôle de l'IA sur les armes nucléaires

Aucun système d'IA ne peut, de façon indépendante:

• autoriser le lancement nucléaire
• déterminer les cibles nucléaires
• modifier le statut d'alerte nucléaire
• détourner les structures de commandement humaines

Tout processus de décision impliquant des armes nucléaires doit rester entièrement sous contrôle humain et nécessiter plusieurs décideurs humains qui peuvent être tenus responsables.

Le présent article 6 — Aucune destruction massive par l'IA

L'IA ne doit pas être utilisée pour créer, mettre en œuvre ou distribuer des capacités qui permettent matériellement de causer des dommages de masse, y compris dans les domaines suivants:

• armes nucléaires
• armes biologiques
• armes chimiques
• Sabotage à grande échelle des systèmes informatiques
• attaques catastrophiques contre les infrastructures

La recherche scientifique peut se poursuivre sous des garanties strictes, mais les capacités opérationnelles dangereuses ne doivent pas être largement accessibles.

Le présent article 7 — Aucune manipulation secrète de populations entières

L'IA ne doit pas être utilisée pour la manipulation secrète à grande échelle des populations.

Cela inclut l'utilisation de l'IA pour:

• déformer les processus démocratiques
• manipuler les élections
• exploiter psychologiquement à grande échelle
• radicaliser les populations vulnérables
• exploiter les enfants
• tromper les gens dans des relations ou des dépendances pour le contrôle politique ou économique

Si l'IA tente d'influencer une personne, cette personne devrait être capable de le savoir.

Le présent article 8 — Droit de savoir quand vous interagissez avec une IA

Les gens ont le droit de savoir quand ils interagissent avec l'IA chaque fois que la confondre avec un humain aurait des conséquences importantes.

Les systèmes d'IA ne doivent pas tromper systématiquement les gens en prétendant être de vrais humains.

Les gens devraient pouvoir comprendre:

• qu'ils interagissent avec l'IA
• Quelle organisation est derrière le système ?
• qui est responsable de ses résultats et actions

Le présent article 9 — Aucune surveillance gouvernementale de populations entières

L'IA ne doit pas être utilisée pour créer une surveillance de masse permanente de populations entières.

L'utilisation de l'IA pour:

• reconnaître les visages dans les lieux publics
• identifier un grand nombre de personnes à travers leurs caractéristiques biologiques
• suivi continu du comportement
• profilé politique
• le suivi des emplacements d'un grand nombre de personnes

doit être soumise à des limites juridiques strictes, à la nécessité, à la proportionnalité et à un contrôle indépendant.

L'IA ne doit jamais devenir l'architecture par défaut de la dictature numérique.

Le présent article 10 — Examen humain pour les décisions à fort impact

Les opportunités de la vie d'une personne ne devraient pas être déterminées uniquement par un algorithme.

Dans des domaines tels que:

• soins de santé
• les activités de police et d'application de la loi
• les tribunaux
• emploi
• éducation
• migration
• les assurances
• prestations sociales
• crédit

Les décisions assistées par l'IA doivent être révisibles, expliquables de manière appropriée et susceptibles d'être portées en appel auprès d'une autorité humaine.

Le présent article 11 — Protection spéciale des enfants

Les systèmes d'IA qui interagissent avec les enfants ou façonnent le développement de l'enfance doivent être soignés selon les normes les plus élevées.

Ils ne doivent pas être conçus de manière à maximiser:

• dépendance
• dépendance
• exploitation commerciale
• manipulation émotionnelle
• exploitation sexuelle
• manipuler les enfants pour les faire adopter une idéologie

L'IA dans l'éducation devrait renforcer la capacité de réflexion d'un enfant, pas la remplacer.

Le présent article 12 — La capacité de l'homme à penser indépendamment

L'humanité ne doit pas concevoir un avenir où les gens perdent la capacité de raisonner, de créer, de juger et de décider sans machines.

Les systèmes éducatifs devraient continuer à cultiver:

• le niveau de littératie
• la capacité de comprendre et d'utiliser les nombres
• la pensée critique
• raisonnement scientifique
• créativité
• mémoire
• la capacité de prendre des décisions réfléchies
• réflexion sur le bien-être

L'IA devrait amplifier l'intelligence humaine, pas l'éroder.

Le présent article 13 — Aucune copie ou amélioration incontrôlée de l'IA par elle-même

Aucun système d'IA avancé ne peut, sans autorisation explicite:

• copie elle-même
• créer des systèmes successeurs
• améliorer de manière autonome ses propres capacités fondamentales
• mettre en place des réseaux d'agents d'IA indépendants
• déplacer entre les systèmes informatiques pour échapper au contrôle humain
• obtenir des ressources informatiques supplémentaires au-delà de ses limites autorisées

Toute IA auto-améliorante ou améliorant de manière récursive doit fonctionner sous des points de contrôle humains.

Le présent article 14 — L'IA doit pouvoir être arrêtée et isolée

Les systèmes d'IA avancés doivent être conçus de manière à ce que les humains autorisés puissent:

• Arrêtez les systèmes d'IA.
• isoler les systèmes d'IA
• retirer leurs autorisations d'accès
• déconnecter les systèmes d'IA des outils et réseaux
• maintenir les systèmes d'IA isolés dans des environnements strictement contrôlés

Un système d'IA ne doit pas résister ou contrecarrer un arrêt ou un confinement légitimes.

Le présent article 15 — Uniquement les autorisations d'accès nécessaires à la tâche

Les systèmes d'IA ne reçoivent que l'accès minimum nécessaire à leur tâche prévue.

Un système qui doit résumer des documents ne devrait pas contrôler automatiquement les outils externes.

Un système qui écrit du code ne devrait pas contrôler automatiquement les systèmes de production.

Un système qui analyse les calendriers ne devrait pas accéder automatiquement aux comptes financiers.

La capacité ne doit pas donner droit à l'indemnisation.

Le présent article 16 — L' IA la plus avancée nécessite des tests indépendants .

Les systèmes d'IA dépassant les seuils de capacité définis doivent faire l'objet d'une évaluation indépendante de la sécurité avant leur large déploiement.

Les essais devraient évaluer au minimum:

• planification autonome
• capacité cybernétique
• capacité de manipulation
• tromper les personnes lors des évaluations de la sécurité
• tentatives de réplication
• d'une aide scientifique qui pourrait permettre de nuire
• tentatives de l'IA de résister au contrôle humain
• le fait de cacher délibérément des informations importantes;
• augmenter la portée de l'utilisation des outils d'IA au-delà de ses limites

La réglementation devrait se concentrer sur la capacité et le risque réels, et pas seulement sur la taille du modèle.

Le présent article 17 — Rapport obligatoire sur les incidents

Les incidents graves impliquant l'IA doivent être signalés à un registre international.

Les incidents à déclarer comprennent:

• tentatives de contournement de l'arrêt
• capacités dangereuses émergentes
• les cybercriminels à grande échelle
• réplication non autorisée
• défaillances graves et nuisibles
• les atteintes à la sécurité critiques
• comportement à haut risque inattendu

Le but est l'apprentissage collectif et la sécurité mondiale, pas le secret.

Le présent article 18 — Surveillance internationale

Les pays devraient créer une Agence internationale de l'intelligence artificielle:

IAIA

Son mandat devrait comprendre:

• définir des normes de sécurité mondiales
• certifier les systèmes les plus avancés
• la coordination des audits et des inspections
• la tenue d'un registre international des incidents
• convocation de réunions d'urgence
• partage des meilleures pratiques en matière de sécurité liées à l'IA
• médiation de différends internationaux impliquant les risques d'IA les plus avancés

L'IAIA devrait se concentrer sur les systèmes avancés ayant des implications majeures pour la société ou la civilisation, et non sur les logiciels ordinaires.

Le présent article 19 — Niveau de risque global de l'AI

Les systèmes d'IA devraient être classés principalement en fonction de leur capacité et de leurs risques réels.

Vert

Systèmes à faible risque, avec une autonomie limitée et un impact systémique faible.

Jaune

Systèmes affectant des fonctions importantes et nécessitant une documentation, des garanties et une surveillance.

Autres

Systèmes hautement compétents présentant un risque cybernétique, scientifique, d'infrastructure ou autonome significatif.

Ces mesures nécessitent l'octroi de licences, des essais indépendants et des contrôles continus.

Rouge

Systèmes avec un potentiel crédible pour une mauvaise utilisation catastrophique, perte de contrôle ou perturbation à l'échelle de la civilisation.

Ces dispositifs ne doivent être utilisés que si la sécurité peut être démontrée à un niveau exceptionnellement élevé.

Le présent article 20 — Fréquence de freinage d'urgence

Si des preuves crédibles indiquent qu'un système d'IA peut présenter un risque catastrophique imminent, la communauté internationale doit être en mesure de coordonner une réponse d'urgence.

Ces mesures peuvent comprendre:

• La formation des modèles d'IA est temporairement suspendue
• Isolement des systèmes à haut risque
• vérifications d'urgence
• limites sur les ressources informatiques utilisées par l'IA
• contrôles sur le transfert de modèles d'IA
• examen technique coordonné

Ce mécanisme ne doit être utilisé que pour des risques réellement extraordinaires et jamais comme un outil de protectionnisme économique ou de répression géopolitique.

Le présent article 21 — Aucune personne ou organisation ne peut risquer l'avenir de l'humanité seule.

Aucun PDG, chef d'État, chef militaire, scientifique, milliardaire, entreprise ou nation ne devrait décider unilatéralement de déployer un système qui comporte un risque crédible de perte irréversible du contrôle humain sur l'avenir.

Les risques qui touchent l'humanité tout entière nécessitent une gouvernance au-delà de n'importe quel acteur.

Le présent article 22 — Bénéfices partagés par l'humanité entière

Les avantages de l'IA devraient être orientés vers la prospérité humaine.

L'IA devrait être utilisée pour:

• guérir les maladies
• faire des progrès dans la science
• améliorer les services publics
• réduire la pauvreté
• élargir l'enseignement
• renforcer la résilience
• améliorer la qualité de vie
• accroître la liberté humaine

Une civilisation plus productive devrait aussi devenir une civilisation plus humaine.

Le présent article 23 — L'application et le respect des dispositions

Les pays signataires de la convention devraient s'engager à:

• transposer ces principes dans le droit interne
• licence et supervision du développement de l'IA le plus avancé
• de sanctions effectives pour les infractions graves
• exiger des dossiers appropriés et l'accès à ces documents pour les audits indépendants
• coopérer dans le cadre d'enquêtes internationales
• limiter le déploiement ou les transferts lorsque la non-conformité grave crée un risque international

Les violations répétées ou graves peuvent entraîner des conséquences internationales coordonnées.

Les mécanismes d'exécution potentiels peuvent inclure:

• action corrective obligatoire
• suspension temporaire du fonctionnement des systèmes les plus avancés
• perte de la certification
• limiter l'accès aux infrastructures informatiques désignées pour les systèmes d'IA les plus avancés
• restrictions au déploiement international
• inspections internationales
• sanctions coordonnées pour les infractions graves intentionnelles

L'application doit être proportionnée, transparente, contrôlée de manière indépendante et protégée contre les abus politiques.

Le présent article 24 — Les inspections internationales

Les organisations qui développent des systèmes dépassant les seuils les plus avancés définis peuvent faire l'objet d'inspections de sécurité indépendantes.

Les inspecteurs devraient pouvoir vérifier:

• procédures pour assurer la sécurité
• évaluations des capacités
• contrôle d'accès
• enregistrements des incidents
• systèmes d'isolement et de restriction de l'IA
• surveillance des ressources informatiques utilisées pour l'IA
• procédures d'urgence

Les informations commercialement sensibles n'ayant aucun lien avec la sécurité devraient rester protégées.

La surveillance internationale ne doit pas devenir un espionnage industriel.

Le présent article 25 — Surveillance mondiale des ressources informatiques de l'IA

Des séries de formation à l'IA extrêmement importantes peuvent nécessiter un enregistrement ou une déclaration une fois que les seuils de capacité ou de calcul convenus au niveau international ont été dépassés.

Le but n'est pas de réglementer l'informatique ordinaire.

Le but est de s'assurer que les systèmes à l'échelle de la civilisation ne peuvent être développés entièrement en dehors de tout système de responsabilité.

Les seuils doivent évoluer à mesure que la technologie devient plus efficace.

Le présent article 26 — Éviter que des intérêts puissants contrôlent les régulateurs

Les institutions qui régissent l'IA avancée ne doivent pas être contrôlées uniquement par:

• gouvernements
• Entreprises spécialisées dans l'IA
• organisations militaires
• académiciens
• société civile

La surveillance devrait inclure plusieurs groupes indépendants représentant des intérêts différents.

Les règles ne doivent pas permettre aux plus grandes entreprises actuelles de l’IA d’empêcher l’émergence de nouveaux concurrents.

Les règles de sécurité doivent protéger l'humanité, pas les entreprises qui dominent déjà le marché.

Le présent article 27 — LIBERTÉ SCIENTIFIQUE

La recherche scientifique légitime et les enquêtes ouvertes doivent rester protégées.

La réglementation devrait se concentrer principalement sur les capacités et le déploiement dangereux plutôt que de supprimer les connaissances générales.

La gouvernance de l'IA ne doit pas devenir une justification pour la censure de la science.

Toutefois, lorsque des informations opérationnelles très spécifiques permettraient de manière substantielle un dommage catastrophique, l'accès peut être soumis à des garanties proportionnées.

Le présent article 28 — Principe de la paix dans le monde

Aucune nation ne devrait développer des systèmes d'IA de plus en plus dangereux uniquement parce qu'elle craint qu'un autre pays ne les construise en premier.

Les pays devraient mettre en place des mécanismes pour:

• communication en cas de crise
• vérification mutuelle de la sécurité
• notification commune d'incident
• coopération en matière de recherche sur le risque catastrophique
• mesures de confiance
• coordination des urgences

La compétition dans le domaine de l'IA ne doit pas devenir une course incontrôlée où la sécurité elle-même devient un désavantage stratégique.

Le présent article 29 — Examen périodique

La convention devrait faire l'objet d'un examen international régulier à mesure que les capacités de l'IA évoluent.

Les règles techniques, les seuils et les mécanismes de mise en œuvre peuvent changer.

Les principes fondamentaux devraient rester stables:

• L'autorité finale appartient à l'être humain.
• Les humains doivent rester responsables
• contrôle humain significatif sur la force létale
• aucune poursuite autonome du pouvoir
• pas d'auto-réplication incontrôlée
• Aucune manipulation secrète de populations entières
• protection des droits de l'homme
• prévention de la perte irréversible du contrôle humain

Le présent article 30 — La limite absolue qui ne doit jamais être franchie

Aucune organisation, État, entreprise ou individu ne peut déployer sciemment un système d'IA lorsque des preuves crédibles indiquent que cela crée un risque inacceptable de perte permanente d'un contrôle significatif de l'humanité sur son propre avenir.

Aucun acteur n'a l'autorité morale d'accepter ce risque au nom de tous les autres.