The Global
AI Convention

INLEDNING

Artificiell intelligens kan bli den mest kraftfulla teknik som mänskligheten någonsin har skapat.

Den kan hjälpa oss att bota sjukdomar, göra nya vetenskapliga upptäckter, förbättra utbildningen, stärka ekonomier, minska mänskligt lidande och öppna möjligheter bortom allt vi tidigare kunnat föreställa oss.

Men intelligens i sig ger varken legitimitet, maktbefogenheter eller moralisk ställning över människan.

Ingen stat, inget företag, ingen organisation och ingen individ bör få skapa eller använda AI-system på sätt som underordnar mänskligheten de verktyg den själv har byggt.

Därför bör världens länder anta följande gemensamma principer och bindande åtaganden.

ARTIKEL 1 — Människans överordnade ställning

AI ska finnas till för att tjäna mänskligheten.

Människor ska behålla den yttersta beslutanderätten i frågor som påverkar människors liv, frihet, värdighet och civilisationens framtid.

Inget AI-system får ges oåterkallelig makt över mänskligheten eller makt som inte kan ställas till svars.

ARTIKEL 2 — Mänskligt ansvar

AI får ge råd, analysera, simulera, rekommendera och bistå.

Men juridiskt, politiskt, militärt och samhälleligt ansvar måste alltid kunna knytas till identifierbara mänskliga institutioner och beslutsfattare som kan ställas till svars.

Ingen aktör får undgå ansvar genom att hävda:

”Det var AI:n som fattade beslutet.”

ARTIKEL 3 — Inget självständigt maktsökande

Inget avancerat AI-system får utformas, uppmuntras eller tillåtas att eftersträva mål som innebär att:

• skydda sin egen existens mot en legitim mänsklig avstängning
• utöka sin egen politiska, militära eller ekonomiska makt
• ta kontroll över kritisk infrastruktur utan tillstånd
• manipulera människor för att säkra sin fortsatta existens
• skapa dolda kanaler för påverkan, kopiering eller kontroll

AI får aldrig ges sin egen överlevnad som ett överordnat mål.

ARTIKEL 4 — Ingen självständig befogenhet att döda

Inget AI-system får på egen hand välja ut, angripa eller döda människor.

Användning av dödligt våld måste alltid kräva ett meningsfullt mänskligt omdöme och ett identifierbart juridiskt ansvar.

Helt autonom ledning och kontroll av kärnvapen är förbjuden utan undantag.

ARTIKEL 5 — Ingen AI-kontroll över kärnvapen

Inget AI-system får självständigt:

• godkänna avfyrning av kärnvapen
• bestämma mål för kärnvapen
• ändra kärnvapenberedskapen
• kringgå mänskliga befälsordningar

Varje beslutskedja för kärnvapen måste förbli helt under mänsklig kontroll och kräva flera mänskliga beslutsfattare som kan ställas till svars.

ARTIKEL 6 — Ingen massförstörelse möjliggjord av AI

AI får inte användas för att skapa, göra operativa eller sprida förmågor som väsentligt möjliggör skador med ett stort antal offer, däribland inom:

• kärnvapen
• biologiska vapen
• kemiska vapen
• storskaligt cybersabotage
• katastrofala angrepp mot infrastruktur

Vetenskaplig forskning får fortsätta under strikta skyddsåtgärder, men farlig operativ förmåga får inte göras allmänt tillgänglig.

ARTIKEL 7 — Ingen dold massmanipulation

AI får inte användas för storskalig, dold manipulation av befolkningar.

Detta omfattar användning av AI för att:

• förvränga demokratiska processer
• manipulera val
• utnyttja människor psykologiskt i stor skala
• radikalisera utsatta befolkningsgrupper
• exploatera barn
• vilseleda människor in i relationer eller beroenden för politisk eller ekonomisk kontroll

Om AI försöker påverka en person bör personen kunna få veta det.

ARTIKEL 8 — Rätt att veta när man möter AI

Människor har rätt att veta när de interagerar med AI i situationer där en förväxling spelar roll.

AI-system får inte systematiskt utge sig för att vara verkliga människor på ett vilseledande sätt.

Människor bör kunna förstå:

• att de interagerar med AI
• vilken organisation som står bakom systemet
• vem som ansvarar för dess svar och handlingar

ARTIKEL 9 — Ingen total övervakningsstat

AI får inte användas för att skapa permanent massövervakning av hela befolkningar.

Användningen av AI för:

• ansiktsigenkänning på offentliga platser
• biometrisk identifiering i stor skala
• kontinuerlig beteendespårning
• politisk profilering
• storskalig positionsövervakning

måste omfattas av strikta rättsliga gränser, krav på nödvändighet och proportionalitet samt oberoende tillsyn.

AI får aldrig bli den självklara grundstrukturen för digital diktatur.

ARTIKEL 10 — Mänsklig prövning av beslut med stor påverkan

Ingen människas livschanser bör avgöras enbart av en algoritm.

Inom områden som:

• hälso- och sjukvård
• brottsbekämpning
• domstolar
• arbetsliv
• utbildning
• migration
• försäkringar
• sociala förmåner
• kreditgivning

måste AI-stödda beslut kunna granskas, förklaras i tillräcklig grad och överklagas till en mänsklig beslutsinstans.

ARTIKEL 11 — Särskilt skydd för barn

AI-system som interagerar med barn eller påverkar deras utveckling måste omfattas av de högsta omsorgskraven.

De får inte utformas för att maximera:

• tvångsmässig användning
• beroendeställning
• kommersiellt utnyttjande
• känslomässig manipulation
• sexuellt utnyttjande
• ideologisk indoktrinering

AI i utbildning bör stärka barnets förmåga att tänka, inte ersätta den.

ARTIKEL 12 — Människans självständiga tänkande

Mänskligheten får inte utforma en framtid där människor förlorar förmågan att resonera, skapa, bedöma och fatta beslut utan maskiner.

Utbildningssystemen bör fortsätta att utveckla:

• läs- och skrivförmåga
• räknefärdighet
• kritiskt tänkande
• vetenskapligt resonemang
• kreativitet
• minne
• omdöme
• moralisk reflektion

AI bör förstärka människans intelligens, inte urholka den.

ARTIKEL 13 — Ingen okontrollerad självreplikering eller självförbättring

Inget avancerat AI-system får utan uttryckligt tillstånd:

• kopiera sig självt
• skapa efterföljande system
• självständigt förbättra sina egna kärnförmågor
• sätta autonoma agentnätverk i drift
• flytta mellan system för att undgå kontroll
• skaffa nya beräkningsresurser utöver tilldelade gränser

AI som förbättrar sig själv, även rekursivt, måste arbeta med kontrollpunkter under mänsklig kontroll.

ARTIKEL 14 — Obligatorisk möjlighet till avbrott och inneslutning

Avancerade AI-system måste utformas så att behöriga människor kan:

• stoppa dem
• isolera dem
• återkalla behörigheter
• koppla bort dem från verktyg och nätverk
• hålla dem i begränsade miljöer

Ett AI-system får inte motsätta sig eller motverka legitim avstängning eller inneslutning.

ARTIKEL 15 — Minsta nödvändiga åtkomst

AI-system ska bara få den åtkomst som krävs för den avsedda uppgiften.

Ett system som ska sammanfatta dokument bör inte automatiskt få kontroll över externa verktyg.

Ett system som skriver kod bör inte automatiskt få kontroll över produktionssystem.

Ett system som analyserar kalendrar bör inte automatiskt få tillgång till bankkonton.

Förmåga innebär inte rätt till behörighet.

ARTIKEL 16 — Oberoende tester av den mest avancerade AI:n

AI-system över fastställda förmågetrösklar måste genomgå oberoende säkerhetsutvärdering innan de används i stor skala.

Testerna bör åtminstone bedöma:

• självständig planering
• cyberförmåga
• manipulationsförmåga
• vilseledande beteende under utvärdering
• försök till självreplikering
• farlig vetenskaplig assistans
• motstånd mot kontroll
• strategiskt hemlighållande
• utökad användning av verktyg bortom avsedda gränser

Regleringen bör fokusera på faktisk förmåga och risk, inte enbart på modellstorlek.

ARTIKEL 17 — Obligatorisk incidentrapportering

Allvarliga AI-incidenter måste rapporteras till ett internationellt register.

Rapporteringspliktiga incidenter omfattar:

• försök att undgå avstängning
• oväntat framväxande farliga förmågor
• storskaligt cybermissbruk
• otillåten självreplikering
• fel som orsakar allvarlig skada
• kritiska säkerhetsintrång
• oväntat högriskbeteende

Syftet är gemensamt lärande och global säkerhet, inte hemlighetsmakeri.

ARTIKEL 18 — Internationell tillsyn

Stater bör inrätta en internationell byrå för artificiell intelligens:

IAIA

Dess uppdrag bör omfatta att:

• fastställa globala säkerhetsstandarder
• certifiera de mest avancerade systemen
• samordna revisioner och inspektioner
• upprätthålla ett internationellt incidentregister
• sammankalla akuta granskningar
• dela bästa praxis för AI-säkerhet
• medla i internationella tvister om risker med avancerad AI

IAIA bör fokusera på avancerade system med stor påverkan på samhället eller civilisationen, inte på vanlig programvara.

ARTIKEL 19 — Globala risknivåer för AI

AI-system bör i första hand klassificeras efter faktisk förmåga och risk.

GRÖN

Lågrisksystem med begränsad självständighet och liten påverkan på samhällssystem.

GUL

System som påverkar viktiga funktioner och kräver dokumentation, skyddsåtgärder och tillsyn.

ORANGE

System med hög förmåga och betydande risker inom cyberområdet, vetenskap, infrastruktur eller autonomt agerande.

Dessa kräver tillstånd, oberoende tester och fortlöpande kontroller.

RÖD

System med trovärdig potential för katastrofalt missbruk, förlust av kontroll eller störningar i civilisationsskala.

Dessa får inte tas i bruk om inte säkerheten kan visas uppfylla exceptionellt höga krav.

ARTIKEL 20 — Global nödbroms

Om trovärdiga belägg visar att ett AI-system kan innebära en överhängande katastrofrisk måste det internationella samfundet kunna samordna en akut insats.

Sådana åtgärder kan omfatta:

• tillfälligt stopp för träning
• isolering av högrisksystem
• akuta revisioner
• begränsning av beräkningsresurser
• kontroll av modellöverföringar
• samordnad teknisk granskning

Denna mekanism får endast användas vid verkliga, extraordinära risker och aldrig som ett verktyg för ekonomisk protektionism eller geopolitiskt förtryck.

ARTIKEL 21 — Ingen enskild aktör får spela med mänsklighetens framtid

Ingen vd, statschef, militär ledare, forskare, miljardär, företag eller nation bör ensam få besluta att ta ett system i bruk om det finns en trovärdig risk för att människans kontroll över framtiden går oåterkalleligt förlorad.

Risker som berör hela mänskligheten kräver styrning bortom en enda aktör.

ARTIKEL 22 — Gemensam nytta för mänskligheten

AI:s fördelar bör främja människors välmående och utveckling.

AI bör användas för att:

• bota sjukdomar
• föra vetenskapen framåt
• förbättra samhällsservicen
• minska fattigdom
• bredda tillgången till utbildning
• stärka motståndskraften
• förbättra livskvaliteten
• öka människors frihet

En mer produktiv civilisation bör också bli en mer human civilisation.

ARTIKEL 23 — Tillämpning och efterlevnad

Undertecknande stater bör åta sig att:

• omsätta dessa principer i nationell lag
• tillståndspröva och övervaka utvecklingen av den mest avancerade AI:n
• införa kännbara påföljder för allvarliga överträdelser
• kräva lämpliga möjligheter till revision
• samarbeta i internationella utredningar
• begränsa användning eller överföringar när allvarlig bristande efterlevnad skapar internationella risker

Upprepade eller allvarliga överträdelser kan leda till samordnade internationella åtgärder.

Möjliga verkställighetsåtgärder kan omfatta:

• krav på rättelse
• tillfällig avstängning av avancerade system
• indragen certifiering
• begränsad tillgång till särskilt angiven beräkningsinfrastruktur för avancerad AI
• begränsningar av internationell användning
• internationella inspektioner
• samordnade sanktioner vid avsiktliga, allvarliga överträdelser

Tillämpningen måste vara proportionerlig, transparent, möjlig att granska oberoende och skyddad mot politiskt missbruk.

ARTIKEL 24 — Internationella inspektioner

Organisationer som utvecklar system över fastställda trösklar för avancerad AI kan bli föremål för oberoende säkerhetsinspektioner.

Inspektörer bör kunna kontrollera:

• säkerhetsrutiner
• förmågeutvärderingar
• åtkomstkontroller
• incidentregister
• inneslutningssystem
• styrning av beräkningsresurser
• rutiner för nödlägen

Affärskänslig information som inte rör säkerheten bör förbli skyddad.

Internationell tillsyn får inte bli industrispionage.

ARTIKEL 25 — Globalt ansvar för beräkningsresurser

Extremt stora AI-träningar kan behöva registreras eller rapporteras när internationellt överenskomna trösklar för förmåga eller beräkningsresurser överskrids.

Syftet är inte att reglera vanlig datoranvändning.

Syftet är att säkerställa att system med påverkan på hela civilisationen inte kan utvecklas helt utanför varje form av ansvarsutkrävande.

Trösklarna måste anpassas när tekniken blir effektivare.

ARTIKEL 26 — Skydd mot att särintressen tar över regleringen

Institutionerna som styr avancerad AI får inte kontrolleras enbart av:

• regeringar
• AI-företag
• militära organisationer
• akademiker
• civilsamhället

Tillsynen bör omfatta flera oberoende grupper som företräder olika intressen.

Reglerna får inte bli ett verktyg för dagens största AI-företag att hindra nya konkurrenter från att växa fram.

Säkerhetsreglering måste skydda mänskligheten, inte de etablerade aktörerna.

ARTIKEL 27 — Vetenskaplig frihet

Legitim vetenskaplig forskning och fritt kunskapssökande måste förbli skyddade.

Regleringen bör främst inriktas på farliga förmågor och användningar, inte på att begränsa allmän kunskap.

AI-styrning får inte bli en förevändning för censur av vetenskap.

När mycket specifik operativ information väsentligt skulle kunna möjliggöra katastrofal skada får tillgången dock omfattas av proportionerliga skyddsåtgärder.

ARTIKEL 28 — Internationell fredsprincip för AI

Ingen nation bör utveckla allt farligare AI-system enbart av rädsla för att ett annat land ska bygga dem först.

Stater bör skapa mekanismer för:

• kriskommunikation
• ömsesidig säkerhetsverifiering
• gemensam incidentrapportering
• forskningssamarbete om katastrofrisker
• förtroendeskapande åtgärder
• samordning i nödlägen

AI-konkurrens får inte bli en okontrollerad kapplöpning där säkerheten i sig blir en strategisk nackdel.

ARTIKEL 29 — Regelbunden översyn

Konventionen bör genomgå regelbunden internationell översyn i takt med att AI:s förmågor utvecklas.

Tekniska regler, tröskelvärden och genomförandemekanismer kan förändras.

De grundläggande principerna bör förbli stabila:

• människans överordnade ställning
• mänskligt ansvar
• meningsfull mänsklig kontroll över dödligt våld
• inget självständigt maktsökande
• ingen okontrollerad självreplikering
• ingen dold massmanipulation
• skydd för mänskliga rättigheter
• förebyggande av oåterkallelig förlust av mänsklig kontroll

ARTIKEL 30 — DEN YTTERSTA GRÄNSEN

Ingen organisation, stat, företag eller individ får medvetet ta ett AI-system i bruk när trovärdiga belägg visar att det innebär en oacceptabel risk för att mänskligheten permanent förlorar meningsfull kontroll över sin egen framtid.

Ingen enskild aktör har moralisk rätt att acceptera den risken för alla andras räkning.