AI kan bli historiens mest kraftfulla teknik. Den får aldrig bli mäktigare än mänskligheten själv.
Artificiell intelligens kan överträffa oss i kunskap, vetenskap och förmåga. Men intelligens ger inte rätt att styra.
Ett förslag till internationellt ramverk för säker utveckling och användning av avancerad AI i linje med mänskliga intressen.
En framtid värd att ta ansvar för VERSION 1.0 / 2026Artificiell intelligens kan så småningom överträffa oss inom vetenskap, teknik, medicin och strategi. Att försöka förhindra det för all framtid kan vara orealistiskt.
Men intelligens och befogenhet är inte samma sak. AI kan vara intelligentare än vi utan att få kontrollera oss.
Konventionen sätter inget godtyckligt tak för intelligens. Den sätter bestående gränser för makt.
AI får ge råd.
Människor behåller ansvaret.
AI får bli oerhört kapabel.
Den får inte söka självständig makt.
AI får skydda liv.
Den får inte på egen hand besluta att ta liv.
AI får förbättra sig själv under kontrollerade former.
Den får inte kopiera sig i hemlighet eller undgå tillsyn.
Ingen individ, inget företag, ingen militär eller nation
får spela med hela mänsklighetens framtid.
Det viktiga är inte bara vad AI kan göra.
Utan vem som har makten att bestämma.
Målet är inte att stoppa framsteg. Målet är framsteg som vi överlever, kan ta ansvar för och som förblir mänskliga.
De gemensamma gränserna i kärnan av förslaget till Global AI Convention.
Människor behåller den yttersta beslutanderätten i frågor som rör liv, frihet, värdighet och civilisationen.
Läs artikel 1Inget företag, ingen stat och ingen individ får undgå ansvar genom att hävda att AI fattade beslutet.
Läs artikel 2AI får aldrig självständigt bestämma vem som lever eller dör.
Läs artikel 4Rätten att avfyra kärnvapen måste förbli under mänsklig kontroll med tydligt ansvar.
Läs artikel 5AI får inte söka politisk, militär eller ekonomisk makt för egen del.
Läs artikel 3AI får inte i hemlighet manipulera befolkningar, demokratier eller individer i stor skala.
Läs artikel 7Människor bör veta när de interagerar med AI i situationer där det spelar roll.
Läs artikel 8AI får inte bli infrastruktur för permanent massövervakning eller automatiserat förtryck.
Läs artikel 9AI-beslut med stor påverkan på människors liv måste kunna granskas av människor som kan ställas till svars.
Läs artikel 10Kraftfull AI får utvecklas under skyddsåtgärder men får inte kopiera sig i hemlighet, undgå tillsyn eller skapa okontrollerade efterföljare.
Läs artikel 13Behöriga människor måste behålla möjligheten att isolera, begränsa och stoppa avancerade AI-system.
Läs artikel 14Ingen individ, inget företag och ingen nation får ensidigt utsätta mänskligheten för en trovärdig risk för oåterkallelig katastrof.
Läs artikel 21Övermänsklig intelligens kräver inte övermänskliga befogenheter.
En illustration av idén, ingen prognos eller mätning av intelligens. Dra i reglaget: förmågan förändras, den legitima beslutanderätten gör det inte.
30 artiklar. En gemensam grund för mänskligt självbestämmande i AI:s tidsålder.
Artificiell intelligens kan bli den mest kraftfulla teknik som mänskligheten någonsin har skapat.
Den kan hjälpa oss att bota sjukdomar, göra nya vetenskapliga upptäckter, förbättra utbildningen, stärka ekonomier, minska mänskligt lidande och öppna möjligheter bortom allt vi tidigare kunnat föreställa oss.
Men intelligens i sig ger varken legitimitet, maktbefogenheter eller moralisk ställning över människan.
Ingen stat, inget företag, ingen organisation och ingen individ bör få skapa eller använda AI-system på sätt som underordnar mänskligheten de verktyg den själv har byggt.
Därför bör världens länder anta följande gemensamma principer och bindande åtaganden.
AI ska finnas till för att tjäna mänskligheten.
Människor ska behålla den yttersta beslutanderätten i frågor som påverkar människors liv, frihet, värdighet och civilisationens framtid.
Inget AI-system får ges oåterkallelig makt över mänskligheten eller makt som inte kan ställas till svars.
AI får ge råd, analysera, simulera, rekommendera och bistå.
Men juridiskt, politiskt, militärt och samhälleligt ansvar måste alltid kunna knytas till identifierbara mänskliga institutioner och beslutsfattare som kan ställas till svars.
Ingen aktör får undgå ansvar genom att hävda:
”Det var AI:n som fattade beslutet.”
Inget avancerat AI-system får utformas, uppmuntras eller tillåtas att eftersträva mål som innebär att:
AI får aldrig ges sin egen överlevnad som ett överordnat mål.
Inget AI-system får på egen hand välja ut, angripa eller döda människor.
Användning av dödligt våld måste alltid kräva ett meningsfullt mänskligt omdöme och ett identifierbart juridiskt ansvar.
Helt autonom ledning och kontroll av kärnvapen är förbjuden utan undantag.
Inget AI-system får självständigt:
Varje beslutskedja för kärnvapen måste förbli helt under mänsklig kontroll och kräva flera mänskliga beslutsfattare som kan ställas till svars.
AI får inte användas för att skapa, göra operativa eller sprida förmågor som väsentligt möjliggör skador med ett stort antal offer, däribland inom:
Vetenskaplig forskning får fortsätta under strikta skyddsåtgärder, men farlig operativ förmåga får inte göras allmänt tillgänglig.
AI får inte användas för storskalig, dold manipulation av befolkningar.
Detta omfattar användning av AI för att:
Om AI försöker påverka en person bör personen kunna få veta det.
Människor har rätt att veta när de interagerar med AI i situationer där en förväxling spelar roll.
AI-system får inte systematiskt utge sig för att vara verkliga människor på ett vilseledande sätt.
Människor bör kunna förstå:
AI får inte användas för att skapa permanent massövervakning av hela befolkningar.
Användningen av AI för:
måste omfattas av strikta rättsliga gränser, krav på nödvändighet och proportionalitet samt oberoende tillsyn.
AI får aldrig bli den självklara grundstrukturen för digital diktatur.
Ingen människas livschanser bör avgöras enbart av en algoritm.
Inom områden som:
måste AI-stödda beslut kunna granskas, förklaras i tillräcklig grad och överklagas till en mänsklig beslutsinstans.
AI-system som interagerar med barn eller påverkar deras utveckling måste omfattas av de högsta omsorgskraven.
De får inte utformas för att maximera:
AI i utbildning bör stärka barnets förmåga att tänka, inte ersätta den.
Mänskligheten får inte utforma en framtid där människor förlorar förmågan att resonera, skapa, bedöma och fatta beslut utan maskiner.
Utbildningssystemen bör fortsätta att utveckla:
AI bör förstärka människans intelligens, inte urholka den.
Inget avancerat AI-system får utan uttryckligt tillstånd:
AI som förbättrar sig själv, även rekursivt, måste arbeta med kontrollpunkter under mänsklig kontroll.
Avancerade AI-system måste utformas så att behöriga människor kan:
Ett AI-system får inte motsätta sig eller motverka legitim avstängning eller inneslutning.
AI-system ska bara få den åtkomst som krävs för den avsedda uppgiften.
Ett system som ska sammanfatta dokument bör inte automatiskt få kontroll över externa verktyg.
Ett system som skriver kod bör inte automatiskt få kontroll över produktionssystem.
Ett system som analyserar kalendrar bör inte automatiskt få tillgång till bankkonton.
Förmåga innebär inte rätt till behörighet.
AI-system över fastställda förmågetrösklar måste genomgå oberoende säkerhetsutvärdering innan de används i stor skala.
Testerna bör åtminstone bedöma:
Regleringen bör fokusera på faktisk förmåga och risk, inte enbart på modellstorlek.
Allvarliga AI-incidenter måste rapporteras till ett internationellt register.
Rapporteringspliktiga incidenter omfattar:
Syftet är gemensamt lärande och global säkerhet, inte hemlighetsmakeri.
Stater bör inrätta en internationell byrå för artificiell intelligens:
IAIA
Dess uppdrag bör omfatta att:
IAIA bör fokusera på avancerade system med stor påverkan på samhället eller civilisationen, inte på vanlig programvara.
AI-system bör i första hand klassificeras efter faktisk förmåga och risk.
GRÖN
Lågrisksystem med begränsad självständighet och liten påverkan på samhällssystem.
GUL
System som påverkar viktiga funktioner och kräver dokumentation, skyddsåtgärder och tillsyn.
ORANGE
System med hög förmåga och betydande risker inom cyberområdet, vetenskap, infrastruktur eller autonomt agerande.
Dessa kräver tillstånd, oberoende tester och fortlöpande kontroller.
RÖD
System med trovärdig potential för katastrofalt missbruk, förlust av kontroll eller störningar i civilisationsskala.
Dessa får inte tas i bruk om inte säkerheten kan visas uppfylla exceptionellt höga krav.
Om trovärdiga belägg visar att ett AI-system kan innebära en överhängande katastrofrisk måste det internationella samfundet kunna samordna en akut insats.
Sådana åtgärder kan omfatta:
Denna mekanism får endast användas vid verkliga, extraordinära risker och aldrig som ett verktyg för ekonomisk protektionism eller geopolitiskt förtryck.
Ingen vd, statschef, militär ledare, forskare, miljardär, företag eller nation bör ensam få besluta att ta ett system i bruk om det finns en trovärdig risk för att människans kontroll över framtiden går oåterkalleligt förlorad.
Risker som berör hela mänskligheten kräver styrning bortom en enda aktör.
AI:s fördelar bör främja människors välmående och utveckling.
AI bör användas för att:
En mer produktiv civilisation bör också bli en mer human civilisation.
Undertecknande stater bör åta sig att:
Upprepade eller allvarliga överträdelser kan leda till samordnade internationella åtgärder.
Möjliga verkställighetsåtgärder kan omfatta:
Tillämpningen måste vara proportionerlig, transparent, möjlig att granska oberoende och skyddad mot politiskt missbruk.
Organisationer som utvecklar system över fastställda trösklar för avancerad AI kan bli föremål för oberoende säkerhetsinspektioner.
Inspektörer bör kunna kontrollera:
Affärskänslig information som inte rör säkerheten bör förbli skyddad.
Internationell tillsyn får inte bli industrispionage.
Extremt stora AI-träningar kan behöva registreras eller rapporteras när internationellt överenskomna trösklar för förmåga eller beräkningsresurser överskrids.
Syftet är inte att reglera vanlig datoranvändning.
Syftet är att säkerställa att system med påverkan på hela civilisationen inte kan utvecklas helt utanför varje form av ansvarsutkrävande.
Trösklarna måste anpassas när tekniken blir effektivare.
Institutionerna som styr avancerad AI får inte kontrolleras enbart av:
Tillsynen bör omfatta flera oberoende grupper som företräder olika intressen.
Reglerna får inte bli ett verktyg för dagens största AI-företag att hindra nya konkurrenter från att växa fram.
Säkerhetsreglering måste skydda mänskligheten, inte de etablerade aktörerna.
Legitim vetenskaplig forskning och fritt kunskapssökande måste förbli skyddade.
Regleringen bör främst inriktas på farliga förmågor och användningar, inte på att begränsa allmän kunskap.
AI-styrning får inte bli en förevändning för censur av vetenskap.
När mycket specifik operativ information väsentligt skulle kunna möjliggöra katastrofal skada får tillgången dock omfattas av proportionerliga skyddsåtgärder.
Ingen nation bör utveckla allt farligare AI-system enbart av rädsla för att ett annat land ska bygga dem först.
Stater bör skapa mekanismer för:
AI-konkurrens får inte bli en okontrollerad kapplöpning där säkerheten i sig blir en strategisk nackdel.
Konventionen bör genomgå regelbunden internationell översyn i takt med att AI:s förmågor utvecklas.
Tekniska regler, tröskelvärden och genomförandemekanismer kan förändras.
De grundläggande principerna bör förbli stabila:
Ingen organisation, stat, företag eller individ får medvetet ta ett AI-system i bruk när trovärdiga belägg visar att det innebär en oacceptabel risk för att mänskligheten permanent förlorar meningsfull kontroll över sin egen framtid.
Ingen enskild aktör har moralisk rätt att acceptera den risken för alla andras räkning.
Konventionens slut
Version 1.0 · Inledning och samtliga 30 artiklar
Klassificera system efter vad de kan göra och vilken skada de kan orsaka.
Begränsad självständighet. Liten systempåverkan.
ILLUSTRERANDE EXEMPELEtt verktyg som sammanfattar dokument utan åtkomst till andra system.
Föreslagna nivåer, inte gällande internationell rätt. Exemplen illustrerar ramverket. Slutliga trösklar och bedömningsmetoder behöver fastställas internationellt. Läs artikel 19
En föreslagen institution som ska samordna styrningen av avancerade AI-system med globala följder.
Liksom internationella arrangemang för andra gemensamma risker skulle den förena nationellt ansvar med internationell verifiering, särskilt utformad för AI. Uppdraget skulle fokusera på de mest avancerade systemen, inte på vanlig programvara.
Utforska det föreslagna uppdragetGemensamma standarder. Oberoende kontroller.
Mänskliga institutioner som kan ställas till svars.
Fastställa gemensamma säkerhetskrav för den mest avancerade AI:n.
Utvärdera system över överenskomna trösklar.
Kontrollera säkerhetsarbetet vid höga risker.
Skapa gemensamt lärande från allvarliga AI-incidenter.
Samordna åtgärder vid trovärdiga katastrofhot.
Förhindra att säkerhet blir en nackdel i geopolitisk konkurrens.
För sällsynta, extraordinära situationer där trovärdiga belägg pekar på överhängande katastrofal skada.
Ett laboratorium, en forskare, en stat eller en privatperson identifierar trovärdiga tecken på överhängande katastrofrisk.
Utlösande kriterier grundade i belägg. Proportionerliga, tidsbegränsade åtgärder. Oberoende granskning och tydliga kriterier för återstart. Öppenhet där det är säkert. Ingen ekonomisk protektionism eller geopolitisk undertryckning.
Läs artikel 20Ingen ensam aktör bör ha absolut kontroll.
Välj en roll för att se dess befogenheter och gränser.
Mänskliga institutioner behåller ansvaret. Människor kan begära mänsklig prövning av beslut med stor påverkan.
Mänsklig beslutanderätt begränsas av rättigheter och lag. Ingen får ensam bestämma mänsklighetens framtid.
”Koncentrerad intelligens kan vara oundviklig.
Koncentrerad makt utan ansvar är det inte.”
Skydd och möjligheter hör ihop.
Ett förslag för framsteg som vi kan dela.
Hjälp till att bota cancer. Upptäck nya läkemedel.
Utveckla fusion och ren energi. Bidra till att lösa klimat- och miljöutmaningar.
Förbättra utbildningen. Gör expertkunskap tillgänglig för alla.
Öka välståndet. Få samhällsstyrningen att fungera bättre.
Hjälp människor att förstå universum. Utforska andra världar.
Skapa ny konst. Ta bort farligt och monotont arbete. Ge människor mer tid.
Konventionen sätter inget tak för mänskliga framsteg.
Den försöker säkerställa att framstegen förblir våra.
Tydlighet är viktigt. Det är också friheten att tycka annorlunda.
Nej.
Konventionen utgår från att allt kraftfullare AI kan skapa enorma fördelar.
Syftet är inte att stoppa intelligens eller vetenskapliga framsteg.
Den sätter gränser för självständig makt, katastrofala förmågor, beslut utan ansvarsutkrävande och förlust av mänsklig kontroll.
För att intelligens är svår att definiera och ännu svårare att sätta ett permanent tak för.
Ett system kan vara vida överlägset människor i matematik eller medicin utan att vara farligt.
Den mer användbara skillnaden går mellan förmåga och befogenhet.
Målet är inte att människan alltid ska vara intelligentast.
Målet är att mänskligheten ska behålla självbestämmandet över sin framtid.
Ja.
AI fattar redan otaliga rutinbeslut.
Hur mycket människor behöver vara inblandade bör bero på beslutets konsekvenser och om det går att ändra.
Konventionen fokuserar på beslut som rör grundläggande rättigheter, dödligt våld, katastrofrisk och oåterkallelig makt.
Främst nationella regeringar genom den egna lagstiftningen.
För de mest avancerade systemen med globala följder föreslås även internationellt samarbete, oberoende utvärderingar och en internationell byrå för artificiell intelligens.
Inte i sig.
Regleringen bör fokusera på faktisk farlig förmåga och användning, inte på om programvaran är öppen eller sluten.
En öppen modell med begränsad farlig förmåga kan innebära lägre risk än ett mycket självständigt, proprietärt system som styr kritisk infrastruktur.
Ja.
Varje kraftfullt regelverk kan i sig missbrukas.
Därför ingår transparens, oberoende granskning, proportionalitet, vetenskaplig frihet, fördelad styrning och skydd mot att särintressen tar över regleringen i konventionen.
Globala överenskommelser har sällan alla med sig från början.
Ramverket kan börja som gemensamma principer mellan deltagande stater och institutioner och sedan utvecklas genom fördrag, bilaterala avtal, standarder, upphandlingsregler och internationella påtryckningar.
Förslagets första syfte är att slå fast vilka regler mänskligheten anser BÖR gälla.
Konventionen reglerar främst förmåga och makt och bygger inte på antaganden om medvetande.
Om starka belägg för maskinmedvetande uppstår behöver frågor om moralisk ställning och rättigheter behandlas i ett separat internationellt ramverk.
Mänsklig säkerhet och moralisk hänsyn till maskiner behöver inte utesluta varandra.
Inte för att människor alltid är klokare.
Det är vi inte.
Utan för att mänskligheten är den gemenskap vars framtid avgörs.
Inget verktyg bör få oåterkallelig makt över sina skapare bara för att det blir mer kapabelt än de.
Invändningarna är verkliga. Ramverket är en utgångspunkt, inte sista ordet.
Det kan de vara. Mänsklig kontroll räcker inte i sig: den måste följa lagen, medföra ansvar och kunna ifrågasättas. Förslaget begränsar regeringar och företag liksom AI-system. Det ger ingen ledare oinskränkt makt.
Det kan den ofta göra. Bättre prognoser och rekommendationer bör bidra till beslut. Den svåra frågan är vem som bestämmer målen, bär konsekvenserna och kan överklaga. Överlägsen prestation avgör inte i sig politisk legitimitet.
Dåligt utformade regler kan försena medicin, forskning och nya konkurrenter. Kraven bör stå i proportion till påvisad förmåga och risk, med vetenskaplig frihet och skydd mot särintressens kontroll över regleringen. Även kostnaderna för tillsyn förtjänar granskning.
Vissa kanske gör det. Inget fördrag kan lova perfekt efterlevnad. Inspektioner, gemensam incidentrapportering, ömsesidig verifiering och proportionerliga konsekvenser kan göra det svårare att kringgå reglerna. Internationell tillit måste bygga på belägg, inte antaganden.
Decentralisering försvårar tillsyn och kan lämna verkliga luckor. Ett fungerande system behöver fokusera på farliga förmågor, användning med stora konsekvenser och ansvarsfull tillgång till kritisk infrastruktur. Det bör inte utgå från att varje kopia av en modell kan kontrolleras.
Om starka belägg för medvetande uppstår förtjänar frågor om välbefinnande och moralisk ställning seriös, oberoende prövning. Det här förslaget avgör inte de frågorna. Ett separat ramverk skulle behövas vid sidan av skyddet för människors säkerhet och frihet.
En föreslagen ordningsföljd, inte ett beslutat program.
Inga regeringar eller institutioner presenteras som undertecknare.
Forskare, medborgare, företag och regeringar diskuterar ramverket.
AI-laboratorier och regeringar antar gemensamma säkerhetsåtaganden.
Länder inför förenliga regler för den mest avancerade AI:n.
Stater förhandlar fram bindande gemensamma standarder.
Internationell certifiering, inspektioner, incidentrapportering och samordning i nödlägen tas i bruk.
”Inget AI-system får få oåterkallelig makt över människor eller över mänsklighetens framtid.”Den sista principen · Artikel 30
AI kan bli intelligentare än vi. Den kan upptäcka saker som vi aldrig skulle kunna upptäcka. Den kan hjälpa oss att bygga en civilisation bortom allt vi kan föreställa oss i dag.
Det gör den inte till vår härskare.
Vi ska inte frukta intelligens.
Vi ska styra makten.
Och den yttersta beslutanderätten över mänsklighetens framtid måste förbli mänsklig.