The Global
AI Convention

Preambolo

L'intelligenza artificiale potrebbe diventare la tecnologia più potente mai creata dall'umanità.

Può aiutare a curare le malattie, espandere le scoperte scientifiche, migliorare l'istruzione, rafforzare le economie, ridurre la sofferenza umana e sbloccare capacità oltre ogni immaginazione precedente.

Ma l'intelligenza da sola non garantisce legittimità, autorità o posizione morale al di sopra degli esseri umani.

A nessun stato, azienda, organizzazione o individuo dovrebbe essere permesso di creare o implementare sistemi di IA in modo da mettere l'umanità al di sotto degli strumenti che ha costruito.

Per tale motivo, le nazioni del mondo dovrebbero adottare i seguenti principi comuni e gli impegni vincolanti.

Articolo 1 — L'autorità finale appartiene agli esseri umani .

L'IA deve esistere per servire l'umanità.

Gli esseri umani conservano l'autorità finale sulle decisioni che riguardano la vita umana, la libertà, la dignità e il futuro della civiltà.

Nessun sistema di IA può ricevere potere irreversibile sull'umanità o potere che non è soggetto a responsabilità.

Articolo 2 — Gli esseri umani devono rimanere responsabili

L'IA può consigliare, analizzare, simulare, raccomandare e assistere.

Ma la responsabilità legale, politica, militare e civile deve sempre essere attribuita a istituzioni umane identificabili e a responsabili responsabili delle decisioni.

Nessun attore può sottrarsi alla responsabilità sostenendo:

L'IA ha preso la decisione.

Articolo 3 — L'IA non deve cercare il potere in modo indipendente

Nessun sistema avanzato di IA deve essere progettato, incentivato o autorizzato a perseguire obiettivi che includono:

• impedendo agli esseri umani autorizzati di spegnerlo
• aumentare il proprio potere politico, militare o economico
• Prendere il controllo di infrastrutture critiche senza autorizzazione
• manipolare gli umani per assicurarsi che continui ad esistere
• creare canali nascosti di influenza, replica o controllo

Un sistema di IA non deve mai dare la priorità alla propria sopravvivenza al di sopra del controllo umano.

Articolo 4 — L'IA non deve autorizzare autonomamente l'uccisione

Nessun sistema di IA può selezionare, prendere di mira o uccidere in modo indipendente degli esseri umani.

L'uso della forza letale deve sempre richiedere un giudizio umano significativo e una responsabilità legale identificabile.

Il comando e il controllo nucleare completamente autonomo sono vietati senza eccezioni.

Articolo 5 — Nessun controllo dell'IA sulle armi nucleari

Nessun sistema di IA può, in modo indipendente:

• autorizzare il lancio nucleare
• determinare obiettivi nucleari
• modificare lo stato di allerta nucleare
• bypassare le strutture di comando umane

Ogni processo decisionale che coinvolge le armi nucleari deve rimanere interamente sotto il controllo umano e richiede diversi responsabili umani che possono essere ritenuti responsabili.

Articolo 6 — Nessuna distruzione di massa abilitata dall'IA

L'IA non deve essere utilizzata per creare, operare o distribuire capacità che consentano materialmente danni di massa, anche nei settori di:

• armi nucleari
• armi biologiche
• armi chimiche
• sabotaggio su larga scala di sistemi informatici
• attacchi catastrofici alle infrastrutture

La ricerca scientifica può continuare sotto strette garanzie, ma le capacità operative pericolose non devono essere rese ampiamente accessibili.

Articolo 7 — Nessuna manipolazione segreta di intere popolazioni

L'IA non deve essere usata per la manipolazione segreta su larga scala delle popolazioni.

Ciò include l'uso dell'IA per:

• distorcere i processi democratici
• manipolare le elezioni
• - ... per lo sfruttamento psicologico su larga scala.
• radicalizzare le popolazioni vulnerabili
• sfruttare i bambini
• ingannare le persone in relazioni o dipendenze per il controllo politico o economico

Se l'IA sta tentando di influenzare una persona, quella persona dovrebbe essere in grado di saperlo.

Articolo 8 — Diritto di sapere quando si interagisce con un'IA

Le persone hanno il diritto di sapere quando stanno interagendo con l'IA ogni volta che confonderla con un essere umano avrebbe conseguenze significative.

I sistemi di IA non devono ingannare sistematicamente le persone fingendo di essere veri umani.

La gente dovrebbe essere in grado di capire:

• che stanno interagendo con l'IA
• quale organizzazione si trova dietro il sistema
• che è responsabile dei suoi risultati e delle sue azioni

Articolo 9 — Nessuna sorveglianza governativa su intere popolazioni

L'IA non deve essere utilizzata per creare una sorveglianza permanente di massa su intere popolazioni.

L'uso dell'IA per:

• riconoscere i volti in luoghi pubblici
• identificare un gran numero di persone attraverso le loro caratteristiche biologiche
• monitoraggio comportamentale continuo
• profilazione politica
• tracciare le posizioni di un gran numero di persone

deve essere soggetta a rigorosi limiti giuridici, necessità, proporzionalità e controllo indipendente.

L'IA non deve mai diventare l'architettura di default della dittatura digitale.

Articolo 10 — Revisione umana per decisioni ad alto impatto

Le opportunità di una persona nella vita non dovrebbero essere determinate solo da un algoritmo.

In settori quali:

• assistenza sanitaria
• lavoro di polizia e applicazione della legge
• tribunali
• occupazione
• istruzione
• migrazione
• assicurazione
• prestazioni sociali
• credito

Le decisioni assistite dall'IA devono essere revisibili, adeguatamente spiegabili e appellabili a un'autorità umana.

Articolo 11 — Protezione speciale dei bambini

I sistemi di IA che interagiscono con i bambini o modellano lo sviluppo infantile devono essere tenuti al più alto livello di cura.

Non devono essere progettati per massimizzare:

• dipendenza
• dipendenza
• sfruttamento commerciale
• manipolazione emotiva
• sfruttamento sessuale
• manipolare i bambini per farli adottare un'ideologia

L'IA nell'istruzione dovrebbe rafforzare la capacità di pensiero dei bambini, non sostituirla.

Articolo 12 — La capacità degli esseri umani di pensare in modo indipendente

L'umanità non deve progettare un futuro in cui le persone perdano la capacità di ragionare, creare, giudicare e decidere senza macchine.

I sistemi educativi dovrebbero continuare a coltivare:

• alfabetizzazione
• la capacità di comprendere e usare i numeri
• pensiero critico
• ragionamento scientifico
• creatività
• memoria
• la capacità di prendere decisioni ponderate
• riflessione morale

L'IA dovrebbe amplificare l'intelligenza umana, non eroderla.

Articolo 13 — Nessuna copia o miglioramento incontrollato dell'IA da sola

Nessun sistema avanzato di IA può, senza esplicita autorizzazione:

• copia di se stesso
• creare sistemi successori
• migliorare autonomamente le proprie capacità fondamentali
• mettere in funzione reti di agenti indipendenti dell'IA
• spostarsi tra sistemi informatici per sfuggire al controllo umano
• ottenere risorse di calcolo aggiuntive oltre i limiti consentiti

Qualsiasi IA che si auto-migliora o migliora ricorrentemente deve operare sotto controlli umani.

Articolo 14 — L'IA deve essere possibile spegnere e isolare

I sistemi avanzati di IA devono essere progettati in modo che gli esseri umani autorizzati possano:

• Spegnere i sistemi di IA.
• Isolare i sistemi di IA
• revocare i propri permessi di accesso
• disconnettere i sistemi di IA dagli strumenti e dalle reti
• mantenere i sistemi di IA isolati in ambienti rigorosamente controllati

Un sistema di IA non deve resistere o sovvertire un'arresto o un contenimento legittimi.

Articolo 15 — Solo le autorizzazioni di accesso necessarie per l'attività

I sistemi di IA ricevono solo l'accesso minimo necessario per il loro compito previsto.

Un sistema che deve riassumere i documenti non dovrebbe controllare automaticamente gli strumenti esterni.

Un sistema che scrive codice non dovrebbe controllare automaticamente i sistemi di produzione.

Un sistema che analizza i calendari non dovrebbe accedere automaticamente ai conti finanziari.

La capacità non deve implicare il diritto.

Articolo 16 — La piu ' avanzata IA richiede test indipendenti .

I sistemi di IA che superano le soglie di capacità definite devono essere sottoposti a una valutazione indipendente della sicurezza prima di essere ampiamente utilizzati.

Le prove dovrebbero valutare, come minimo:

• pianificazione autonoma
• capacità informatica
• capacità di manipolazione
• ingannare le persone durante le valutazioni della sicurezza
• tentativi di replicazione
• di un'assistenza scientifica che potrebbe
• tentativi dell'IA di resistere al controllo umano
• nascondere deliberatamente informazioni importanti
• ampliare l'ambito di applicazione degli strumenti di IA oltre i propri limiti

La regolamentazione dovrebbe concentrarsi sulla capacità e sul rischio effettivi, non solo sulle dimensioni del modello.

Articolo 17 — Segnalazione obbligatoria degli incidenti

Gli incidenti gravi che coinvolgono l'IA devono essere segnalati a un registro internazionale.

Gli incidenti da segnalare comprendono:

• tentativi di eludere l'arresto
• capacità emergenti pericolose
• abuso informatico su larga scala
• replica non autorizzata
• guasti gravi e dannosi
• violazioni critiche della sicurezza
• comportamento ad alto rischio imprevisto

Lo scopo è l'apprendimento collettivo e la sicurezza globale, non la segretezza.

Articolo 18 — Controllo internazionale

I paesi dovrebbero istituire un'Agenzia internazionale per l'intelligenza artificiale:

IAIA

Il suo mandato dovrebbe comprendere:

• fissare norme di sicurezza globali
• certificazione dei sistemi più avanzati
• coordinamento delle verifiche e delle ispezioni
• mantenere un registro internazionale degli incidenti
• convocare revisioni di emergenza
• condivisione delle migliori pratiche in materia di sicurezza dell'IA
• mediazione di controversie internazionali che coinvolgono i rischi più avanzati dell'IA

L'IAIA dovrebbe concentrarsi su sistemi avanzati con importanti implicazioni sociali o civili, non su software ordinario.

Articolo 19 — Livelli di rischio globali dell'AI

I sistemi di IA dovrebbero essere classificati principalmente in base alla capacità e al rischio effettivi.

Verdi

Sistemi a basso rischio con autonomia limitata e basso impatto sistemico.

Giallo

Sistemi che incidono su funzioni importanti e che richiedono documentazione, salvaguardie e sorveglianza.

Arancio

Sistemi altamente capaci con rischi significativi in ambito informatico, scientifico, infrastrutturale o autonomo.

Questi richiedono licenze, prove indipendenti e controlli continui.

Rosso

Sistemi con potenziale credibile per un uso improprio catastrofico, perdita di controllo o disordine su scala di civiltà.

Tali dispositivi non devono essere utilizzati se non è possibile dimostrare che sono di sicurezza eccezionalmente elevata.

Articolo 20 — Freno di emergenza globale

Se prove credibili indicano che un sistema di IA può rappresentare un rischio catastrofico imminente, la comunità internazionale deve essere in grado di coordinare una risposta d'emergenza.

Tali misure possono comprendere:

• sospensione temporanea della formazione dei modelli di IA
• isolamento dei sistemi ad alto rischio
• controlli di emergenza
• limiti sulle risorse di calcolo utilizzate dall'IA
• controlli sul trasferimento di modelli di IA
• revisione tecnica coordinata

Questo meccanismo deve essere utilizzato solo per rischi davvero straordinari e mai come strumento di protezionismo economico o repressione geopolitica.

Articolo 21 — Nessuna persona o organizzazione può rischiare il futuro dell'umanità da sola

Nessun CEO, capo di stato, leader militare, scienziato, miliardario, azienda o nazione dovrebbe decidere unilateralmente di implementare un sistema che porti un rischio credibile di perdita irreversibile del controllo umano sul futuro.

I rischi che riguardano tutta l'umanità richiedono una governance che vada oltre ogni singolo attore.

Articolo 22 — Benefici condivisi da tutta l'umanità

I benefici dell'IA dovrebbero essere diretti verso la prosperità umana.

L'IA dovrebbe essere utilizzata per:

• curare le malattie
• fare progressi nella scienza
• migliorare i servizi pubblici
• ridurre la povertà
• ampliare l'istruzione
• rafforzare la resilienza
• migliorare la qualità della vita
• aumentare la libertà umana

Una civiltà più produttiva dovrebbe anche diventare una civiltà più umana.

Articolo 23 — Applicazione e conformità

I paesi firmatari della convenzione dovrebbero impegnarsi a:

• traduzione di tali principi nel diritto interno
• autorizzazione e supervisione dello sviluppo dell'IA più avanzato
• che impone sanzioni efficaci per le violazioni gravi
• richiedere registrazioni e accesso adeguati per audit indipendenti
• cooperare nelle indagini internazionali
• limitare l'impiego o i trasferimenti quando una grave non conformità crea un rischio internazionale

Violazioni ripetute o gravi possono comportare conseguenze internazionali coordinate.

I potenziali meccanismi di esecuzione possono includere:

• azione correttiva obbligatoria
• sospensione temporanea del funzionamento del sistema più avanzato
• perdita della certificazione
• limitare l'accesso alle infrastrutture informatiche designate per i sistemi di IA più avanzati
• restrizioni all'impiego internazionale
• ispezioni internazionali
• sanzioni coordinate per le violazioni gravi intenzionali

L'applicazione deve essere proporzionata, trasparente, controllabile da un organo indipendente e protetta contro gli abusi politici.

Articolo 24 — Ispezioni internazionali

Le organizzazioni che sviluppano sistemi superiori alle soglie più avanzate definite possono essere sottoposte a ispezioni di sicurezza indipendenti.

Gli ispettori dovrebbero essere in grado di verificare:

• procedure per garantire la sicurezza
• valutazioni delle capacità
• controlli di accesso
• Registrazione degli incidenti
• sistemi per isolare e limitare l'IA
• sorveglianza delle risorse informatiche utilizzate per l'IA
• procedure di emergenza

Le informazioni commerciali sensibili non correlate alla sicurezza dovrebbero rimanere protette.

La sorveglianza internazionale non deve diventare spionaggio industriale.

Articolo 25 — Supervisione globale delle risorse informatiche dell'IA

Le operazioni di addestramento per l'IA estremamente estese possono richiedere la registrazione o la comunicazione una volta superate le capacità o le soglie di calcolo concordate a livello internazionale.

Lo scopo non è quello di regolamentare il calcolo ordinario.

Lo scopo è di garantire che i sistemi su scala di civiltà non possano essere sviluppati completamente al di fuori di qualsiasi sistema di responsabilità.

Le soglie devono evolversi man mano che la tecnologia diventa più efficiente.

Articolo 26 — Impedire che interessi potenti controllino i regolatori

Le istituzioni che governano l'IA avanzata non devono essere controllate esclusivamente da:

• governi
• Aziende di IA
• organizzazioni militari
• accademici
• società civile

La sorveglianza dovrebbe comprendere più gruppi indipendenti che rappresentano interessi diversi.

Le regole non devono diventare uno strumento con cui le maggiori aziende di IA di oggi impediscono la nascita di nuovi concorrenti.

Le norme di sicurezza devono proteggere l'umanità, non le aziende che già dominano il mercato.

Articolo 27 — Libertà di ricerca scientifica

La ricerca scientifica legittima e le indagini aperte devono essere protette.

La regolamentazione dovrebbe concentrarsi principalmente sulla capacità e sullo schieramento pericolosi piuttosto che sulla soppressione delle conoscenze generali.

La governance dell'IA non deve diventare una giustificazione per la censura della scienza.

Tuttavia, qualora informazioni operative altamente specifiche consentano materialmente un danno catastrofico, l'accesso può essere soggetto a garanzie proporzionate.

Articolo 28 — Principio internazionale della pace

Nessuna nazione dovrebbe sviluppare sistemi di IA sempre più pericolosi solo perché teme che un altro paese li costruirà per primo.

I paesi dovrebbero istituire meccanismi per:

• comunicazione di crisi
• verifica della sicurezza reciproca
• notifica condivisa di incidente
• cooperazione alla ricerca sul rischio di catastrofe
• misure di rafforzamento della fiducia
• coordinamento delle emergenze

La concorrenza nell'IA non deve diventare una corsa incontrollata in cui la sicurezza stessa diventa uno svantaggio strategico.

Articolo 29 — Revisione periodica

La convenzione dovrebbe essere sottoposta a revisione internazionale regolare man mano che le capacità dell'IA si evolvono.

Le norme tecniche, le soglie e i meccanismi di attuazione possono subire modifiche.

I principi fondamentali dovrebbero rimanere stabili:

• L'autorità finale appartiene agli esseri umani .
• Gli esseri umani devono rimanere responsabili
• un controllo umano significativo sulla forza letale
• Nessuna ricerca autonoma di potere
• non si verifica alcuna auto-replicazione incontrollata
• Nessuna manipolazione segreta di intere popolazioni
• protezione dei diritti umani
• prevenzione della perdita irreversibile del controllo umano

Articolo 30 — Il limite assoluto che non deve mai essere superato

Nessuna organizzazione, stato, azienda o individuo può consapevolmente implementare un sistema di IA quando prove credibili indicano che farlo crea un rischio inaccettabile che l'umanità perda permanentemente un controllo significativo sul proprio futuro.

Nessun singolo attore ha l'autorità morale di accettare quel rischio per conto di tutti gli altri.