AI kan bli den mektigste teknologien i historien. Den må aldri bli mektigere enn menneskeheten selv.
Kunstig intelligens kan overgå oss i kunnskap, vitenskap og evne. Men intelligens gir ikke rett til å styre.
Et foreslått internasjonalt rammeverk for sikker, menneske-tilpassede utvikling og bruk av avansert kunstig intelligens.
En fremtid som er verdt å styre Versjon 1.0 / 2026Kunstig intelligens kan til slutt overgå oss i vitenskap, ingeniørfag, medisin og strategi. Det kan være urealistisk å prøve å forhindre det for alltid.
Men intelligens og autoritet er ikke det samme. En AI kan være mer intelligent enn oss uten å få lov til å kontrollere oss.
Denne konvensjonen setter ikke et vilkårlig tak på intelligens. Det etablerer permanente grenser rundt makt.
AI kan gi råd.
Mennesker er fortsatt ansvarlige.
AI kan bli ekstraordinært kapabel.
Det kan ikke søke uavhengig makt.
AI kan beskytte liv.
Det kan ikke selvstendig bestemme å ta det.
AI kan forbedre seg selv under kontrollerte forhold.
Den kan ikke hemmelig kopiere eller unnslippe tilsyn.
Ingen enkeltperson, selskap, militær eller land
kan gamble med hele menneskehetens fremtid.
Det som betyr noe er ikke bare hva AI kan gjøre.
Det er hvem som har makt til å bestemme.
Målet er ikke å stoppe utviklingen. Målet er å gjøre fremskritt overlevende, ansvarlig og menneskelig.
De felles grensene som er kjernen i den foreslåtte globale AI-konvensjonen.
Mennesker beholder den ultimate autoritet over beslutninger som påvirker menneskeliv, frihet, verdighet og sivilisasjon.
Les artikkel 1Ingen selskap, land eller person kan unngå ansvar ved å si at et AI-system tok avgjørelsen.
Les artikkel 2AI må aldri selv bestemme hvem som lever eller dør.
Les artikkel 4Kjernefysisk oppskyting myndighet må forbli under ansvarlig menneskelig kontroll.
Les artikkel 5AI må ikke søke politisk, militær eller økonomisk makt for seg selv.
Les artikkel 3AI må ikke i hemmelighet manipulere befolkninger, demokratier eller enkeltpersoner i stor skala.
Les artikkel 7Folk bør vite når de er meningsfylt samhandling med AI.
Les artikkel 8AI må ikke bli infrastruktur for permanent masseovervåkning eller automatisert undertrykkelse.
Les artikkel 9AI-beslutninger med stor innvirkning på folks liv må kunne gjennomgås av ansvarlige mennesker.
Les artikkel 10Kraftig AI kan forbedre seg under sikkerhetstiltak, men må ikke hemmelig replikere, unnslippe tilsyn eller bygge ukontrollerte etterfølgere.
Les artikkel 13Autorisert mennesker må beholde evnen til å isolere, begrense og stoppe avanserte AI-systemer.
Les artikkel 14Ingen person, selskap eller land kan handle alene for å utsette menneskeheten for en troverdig risiko for irreversibel katastrofe.
Les artikkel 21Overmenneskelig intelligens krever ikke overmenneskelig autoritet.
En illustrasjon av et konsept, ikke en prognose eller et mål på intelligens. Flytt glidebryteren: Evne endrer seg; legitim autoritet gjør ikke.
30 artikler. Et felles fundament for menneskelig suverenitet i en alder av AI.
Kunstig intelligens kan bli den mektigste teknologien som noensinne er skapt av menneskeheten.
Det kan hjelpe til med å kurere sykdom, utvide vitenskapelig oppdagelse, forbedre utdanning, styrke økonomien, redusere menneskelig lidelse og åpne opp evner utover noe som tidligere er tenkt.
Men intelligens alene gir ikke legitimitet, autoritet eller moralsk status over mennesker.
Ingen stat, selskap, organisasjon eller person bør få lov til å skape eller distribuere AI-systemer på måter som plasserer menneskeheten under verktøyene den har bygget.
Av den grunn bør verdens nasjoner vedta følgende felles prinsipper og bindende forpliktelser.
AI skal eksistere for å tjene menneskeheten.
Mennesker skal beholde den ultimate autoritet over beslutninger som påvirker menneskeliv, frihet, verdighet og sivilisasjonens fremtid.
Ingen AI-system kan motta irreversibel makt over menneskeheten eller makt som ikke er underlagt ansvarlighet.
AI kan gi råd, analysere, simulere, anbefale og hjelpe.
Men juridisk, politisk, militært og sivilt ansvar må alltid tilskrives identifiserbare menneskelige institusjoner og ansvarlige menneskelige beslutningstakere.
Ingen aktør kan unngå ansvar ved å hevde:
‡ AI tok avgjørelsen.
Ingen avanserte AI-systemer skal utformes, stimuleres eller tillates å forfølge mål som inkluderer:
Et AI-system må aldri prioritere sin egen overlevelse over menneskelig kontroll.
Ingen AI-system kan uavhengig velge, målrette eller drepe mennesker.
Bruken av dødelig makt må alltid kreve meningsfull menneskelig dømmekraft og identifisert juridisk ansvar.
Fullstendig autonom atomstyring og kontroll er forbudt uten unntak.
Ingen AI-systemer kan uavhengig:
Enhver beslutningsprosess som involverer kjernefysiske våpen må forbli helt under menneskelig kontroll og krever flere menneskelige beslutningstakere som kan holdes ansvarlige.
AI må ikke brukes til å skape, operasjonalisere eller distribuere evner som materielt muliggjør skade på grunn av masseulykker, herunder på områdene:
Vitenskapelig forskning kan fortsette under strenge sikkerhetstiltak, men farlig operasjonell kapasitet må ikke gjøres allment tilgjengelig.
AI må ikke brukes til storskala hemmelig manipulasjon av befolkningen.
Dette inkluderer bruk av AI til:
Hvis AI prøver å påvirke en person, bør den personen kunne vite det.
Folk har rett til å vite når de samhandler med AI når som helst å forveksle det med et menneske vil ha betydelige konsekvenser.
AI-systemer må ikke systematisk lure folk ved å late som om de er ekte mennesker.
Folk bør kunne forstå:
AI må ikke brukes til å skape permanent masseovervåkning av hele befolkninger.
Bruk av AI for:
må være underlagt strenge juridiske begrensninger, nødvendighet, proporsjonalitet og uavhengig tilsyn.
AI må aldri bli standard arkitekturen til digitalt diktatur.
Ingen persons muligheter i livet bør bestemmes bare av en algoritme.
På områder som:
AI-assisterte beslutninger må kunne revideres, forklares på en passende måte og kan appelleres til en menneskelig autoritet.
AI-systemer som samhandler med barn eller former barndomsutvikling må holdes til den høyeste standarden for omsorg.
De må ikke være utformet for å maksimere:
AI i utdanning bør styrke et barns evne til å tenke, ikke erstatte det.
Menneskeheten må ikke designe en fremtid der mennesker mister evnen til å resonnere, skape, dømme og bestemme uten maskiner.
Utdanningssystemene bør fortsette å utvikle:
AI skal forsterke menneskelig intelligens, ikke ødelegge den.
Ingen avanserte AI-systemer kan uten eksplisitt tillatelse:
Enhver selvforbedrende eller rekursivt forbedrende AI må operere under menneskelige kontrollpunkter.
Avanserte AI-systemer må utformes slik at autoriserte mennesker kan:
Et AI-system må ikke motstå eller undergrave legitim nedstengning eller begrensning.
AI-systemer skal bare ha den minste tilgang som er nødvendig for å utføre den oppgaven de er beregnet på.
Et system som trenger å oppsummere dokumenter, bør ikke automatisk kontrollere eksterne verktøy.
Et system som skriver kode bør ikke automatisk kontrollere produksjonssystemer.
Et system som analyserer kalendere, bør ikke automatisk få tilgang til finansielle kontoer.
Evne må ikke inneholde rett.
AI-systemer over definerte kapasitetsgrenser må gjennomgå en uavhengig sikkerhetsvurdering før de blir brukt i stor utstrekning.
Testing skal som minimum vurdere:
Forordningen bør fokusere på faktisk evne og risiko, ikke bare modellstørrelse.
Alvorlige hendelser som involverer AI må rapporteres til et internasjonalt register.
Rapporteringspliktige hendelser omfatter:
Formålet er kollektiv læring og global sikkerhet, ikke hemmelighetsfullhet.
Landene bør opprette et internasjonalt byrå for kunstig intelligens:
IAIA
Mandatet bør omfatte:
IAIA bør fokusere på avanserte systemer med store samfunnsmessige eller sivilisatoriske implikasjoner, ikke vanlig programvare.
AI-systemer bør klassifiseres primært etter faktisk evne og risiko.
Grønn
Lavrisikosystemer med begrenset autonomi og lav systemisk innvirkning.
Gul
Systemer som påvirker viktige funksjoner og krever dokumentasjon, sikkerhetskontroller og tilsyn.
Oransje
Høy kapasitetssystemer med betydelig cyber-, vitenskapelig, infrastruktur- eller autonom risiko.
Disse krever lisens, uavhengig testing og kontinuerlig kontroll.
Rød
Systemer med troverdig potensial for katastrofal misbruk, tap av kontroll eller forstyrrelser på sivilisasjonens skala.
Disse må ikke brukes med mindre det kan påvises at sikkerheten er i en eksepsjonelt høy standard.
Hvis troverdige bevis indikerer at et AI-system kan utgjøre en nært forestående katastrofefare, må det internasjonale samfunnet være i stand til å koordinere en nødreaksjon.
Slike tiltak kan omfatte:
Denne mekanismen må bare brukes for virkelig ekstraordinær risiko og aldri som et verktøy for økonomisk protektionisme eller geopolitisk undertrykkelse.
Ingen administrerende direktør, statsoverhode, militærleder, forsker, milliardær, selskap eller nasjon bør ensidig bestemme seg for å utplassere et system som bærer en troverdig risiko for irreversibel tap av menneskelig kontroll over fremtiden.
Risikoer som påvirker hele menneskeheten krever styring utover en enkelt aktør.
Fordelene med AI bør rettes mot menneskelig blomstring.
AI bør brukes til å:
En mer produktiv sivilisasjon bør også bli en mer human sivilisasjon.
Land som undertegner konvensjonen, bør forplikte seg til å:
Gjentatte eller alvorlige brudd kan utløse koordinerte internasjonale konsekvenser.
Potensielle håndhevelsesmekanismer kan omfatte:
Tvangsbyrden må være proporsjonal, gjennomsiktig, uavhengig gjennomgåelig og beskyttet mot politisk misbruk.
Organisasjoner som utvikler systemer over de mest avanserte terskelverdiene kan bli underlagt uavhengige sikkerhetskontroller.
Inspektører bør kunne kontrollere:
Kommersielt sensitiv informasjon som ikke er knyttet til sikkerhet, bør forbli beskyttet.
Internasjonalt tilsyn må ikke bli til industriell spionasje.
Ekstremt store AI-treningsløp kan kreve registrering eller rapportering når internasjonalt avtalt kapasitet eller beregningsgrenser overskrides.
Formålet er ikke å regulere vanlig databehandling.
Formålet er å sikre at sivilisasjon-skala systemer ikke kan utvikles helt utenfor ethvert system for ansvarlighet.
Grenser må utvikle seg etter hvert som teknologien blir mer effektiv.
Institusjonene som styrer avansert AI må ikke kontrolleres utelukkende av:
Overvåkningen bør omfatte flere uavhengige grupper som representerer ulike interesser.
Reglene må ikke bli et verktøy for dagens største KI-selskaper til å hindre nye konkurrenter i å vokse frem.
Sikkerhetsregler må beskytte menneskeheten, ikke selskaper som allerede dominerer markedet.
Legitime vitenskapelige undersøkelser og åpen forskning må beskyttes.
Forordningen bør i første rekke fokusere på farlig kapasitet og utplassering fremfor å undertrykke allmenn kunnskap.
AI-styring må ikke bli en rettferdiggjøring for sensur av vitenskap.
Når svært spesifikk operativ informasjon materielt sett vil kunne medføre katastrofale skader, kan imidlertid tilgangen være underlagt forholdsmessige sikkerhetstiltak.
Ingen nasjon bør utvikle stadig farligere AI-systemer bare fordi de frykter at et annet land vil bygge dem først.
Landene bør etablere mekanismer for:
AI-konkurranse må ikke bli et ukontrollert løp der sikkerhet selv blir en strategisk ulempe.
Konvensjonen bør gjennomgå regelmessig internasjonal gjennomgang etter hvert som AI-kapasitetene utvikler seg.
Tekniske regler, terskler og gjennomføringsmekanismer kan endres.
De grunnleggende prinsippene bør forbli stabile:
Ingen organisasjon, stat, selskap eller person kan bevisst utplassere et AI-system når troverdige bevis indikerer at det skaper en uakseptabel risiko for at menneskeheten permanent mister meningsfull kontroll over sin egen fremtid.
Ingen enkeltperson har den moralske autoritet til å akseptere den risikoen på vegne av alle andre.
Avslutning av konvensjonen
Versjon 1.0 · Preambelen og alle 30 artiklene
Klassifisere systemer etter hva de kan gjøre og hvilken skade de kan forårsake.
Begrenset autonomi. Lav systemisk innvirkning.
Illustrativt eksempelEt verktøy som oppsummerer dokumenter uten tilgang til andre systemer.
Forslag til nivåer, ikke gjeldende internasjonal lov. Eksempler illustrerer rammen; de endelige tersklene og vurderingsmetodene må avtales internasjonalt. Les artikkel 19
En foreslått institusjon for å koordinere styringen av avanserte AI-systemer med globale implikasjoner.
I likhet med internasjonale ordninger for andre felles risikoer, vil det knytte sammen nasjonalt ansvar med internasjonal verifikasjon som er utformet spesielt for AI. Mandatet vil fokusere på de mest avanserte systemene, ikke vanlig programvare.
Utforsk det foreslåtte mandatetVi deler standarder. Uavhengige kontroller.
Ansvarlige menneskelige institusjoner.
Definere felles mest avanserte krav til AI-sikkerhet.
Evaluere systemer over avtalte terskler.
Kontroller sikkerhetspraksis med høy risiko.
Lag global læring fra alvorlige AI-feil.
Koordiner respons på troverdige katastrofale trusler.
Forhindre at sikkerhet blir en ulempe i geopolitisk konkurranse.
For sjeldne, ekstraordinære situasjoner der troverdige bevis peker på overhengende katastrofale skade.
Et laboratorium, forsker, stat eller medlem av offentligheten identifiserer troverdige tegn på nært forestående katastrofefare.
Bevisbaserte utløser. Proporsjonelle, tidsbegrensede tiltak. Uavhengig gjennomgang og klare gjenopptakskriterier. Gjennomsiktighet hvor det er trygt. Ingen økonomisk protektionisme eller geopolitisk undertrykkelse.
Les artikkel 20Ingen enkeltperson eller institusjon bør ha absolutt kontroll.
Velg en rolle for å se dens autoritet og begrensninger.
Menneskelige institusjoner er fortsatt ansvarlige; folk kan søke menneskelig gjennomgang av beslutninger med stor innvirkning.
Menneskelig autoritet er begrenset av rettigheter og lov. Ingen person får bestemme menneskehetens fremtid alene.
‡Koncentrerte opplysninger kan være uunngåelige.
Konsentrert, uhensiktsfull makt er ikke det.
Beskyttelse og mulighet hører sammen.
Dette er et forslag til fremgang vi kan dele.
Hjelper å kurere kreft. Oppdage nye medisiner.
Fremskritt i fusjon og ren energi. Hjelp til å løse klima- og miljøutfordringer.
Forbedre utdanningen. Gjør ekspertise tilgjengelig for alle.
Utvide velstand. Gjør regjeringer til å fungere bedre.
Hjelpe mennesker å forstå universet. Utforske andre verdener.
Lag ny kunst. Fjern farlig og repeterende arbeid. Gi folk mer tid.
Denne konvensjonen er ikke et tak på menneskelig fremgang.
Det er et forsøk på å sikre at fremskritt forblir vårt.
Klarhet er viktig. Det gjør også friheten til å være uenig.
Nei.
Konvensjonen antar at stadig kraftigere AI kan skape enorme fordeler.
Hensikten er ikke å stoppe intelligens eller vitenskapelig fremgang.
Det setter grenser rundt autonom makt, katastrofal evne, uforsvarlige beslutninger og tap av menneskelig kontroll.
Fordi intelligens er vanskelig å definere og enda vanskeligere å sette et permanent tak på.
Et system kan være langt bedre enn mennesker i matematikk eller medisin uten å være farlig.
Den mer nyttige forskjellen er mellom evne og autoritet.
Målet er ikke å sikre at mennesker forblir den smarteste enheten.
Målet er å sikre at menneskeheten forblir suveren over sin fremtid.
Ja.
AI gjør allerede utallige rutinemessige beslutninger.
Menneskelig involvering bør være avhengig av konsekvens og reversibilitet.
Konvensjonen fokuserer på beslutninger som involverer grunnleggende rettigheter, dødelig makt, katastrofefare og irreversibel makt.
Først og fremst nasjonale myndigheter gjennom nasjonal lovgivning.
For de fleste avanserte systemer med globale implikasjoner krever forslaget også internasjonalt samarbeid, uavhengige evalueringer og et foreslått internasjonalt byrå for kunstig intelligens.
Ikke naturlig.
Forordningen bør fokusere på faktisk farlig kapasitet og utplassering i stedet for om programvaren er åpen eller lukket.
En åpen modell med begrenset farlig kapasitet kan utgjøre mindre risiko enn et høyt autonomt proprietært system som kontrollerer kritisk infrastruktur.
Ja.
Ethvert kraftig regelverk kan selv misbrukes.
Derfor er åpenhet, uavhengig gjennomgang, proporsjonalitet, vitenskapelig frihet, distribuert styring og beskyttelse mot kontroll av regulatorer av mektige interesser en del av konvensjonen.
Globale avtaler begynner sjelden med universell vedtakelse.
Rammeverket kan begynne som felles prinsipper mellom deltakende stater og institusjoner, og deretter utvikle seg gjennom traktater, bilaterale avtaler, standarder, innkjøpsregler og internasjonalt press.
Formålet med forslaget er først og fremst å etablere hva menneskeheten mener reglene bør være.
Konvensjonen styrer først og fremst evne og makt i stedet for å gjøre antagelser om bevissthet.
Hvis det dukker opp sterke bevis på maskinbevissthet, vil spørsmål om moralsk status og rettigheter kreve en egen internasjonal ramme.
Menneskelig sikkerhet og maskinmoral er ikke nødvendigvis gjensidig utelukkende.
Ikke fordi mennesker alltid er klokere.
Det er vi ikke.
Men menneskeheten er samfunnet som blir bestemt sin fremtid.
Ingen verktøy bør få irreversibelt autoritet over sine skapere bare fordi det blir mer kapabel enn dem.
Disse innvendingene er ekte. Rammene er et utgangspunkt, ikke det endelige ordet.
De kan være. Menneskelig kontroll alene er ikke nok: den må være lovlig, ansvarlig og utsatt for utfordring. Forslaget begrenser regjeringer og selskaper samt AI-systemer. Den gir ikke noen leder ukontrollert autoritet.
Det kan ofte gjøre det. Bedre prognoser og anbefalinger bør informere beslutninger. Det vanskelige spørsmålet er hvem som definerer målene, bærer konsekvensene og kan appellere. Overlegen ytelse av seg selv er ikke noe som avgjør politisk legitimitet.
Dårlig utformede regler kan forsinke medisin, forskning og nye konkurrenter. Kravene bør stå i forhold til påvist evne og risiko, med vitenskapelig frihet og beskyttelse mot kontroll av regulatorer fra sterke interesser. Kostnadene ved tilsynet fortjener også granskning.
Noen kan. Ingen traktat kan love perfekt overholdelse. Inspeksjoner, felles rapportering om hendelser, gjensidig verifisering og forholdsmessige konsekvenser kan gjøre det vanskeligere å unngå å bli pågrepet. Internasjonal tillit må støttes av bevis, ikke antatt.
Decentralisering gjør tilsynet vanskeligere og kan etterlate virkelige hull. Et fungerende system må fokusere på farlige kapasiteter, konsekvensutplasseringer og ansvarlig tilgang til kritisk infrastruktur. Det bør ikke antas at hver kopi av en modell kan kontrolleres.
Hvis det dukker opp sterke bevis for bevissthet, fortjener spørsmål om velferd og moralsk status alvorlig, uavhengig vurdering. Dette forslaget løser ikke disse problemene. Det vil være behov for en egen ramme, sammen med beskyttelse av menneskers sikkerhet og frihet.
En foreslått sekvens, ikke et annonsert program.
Ingen regjeringer eller institusjoner er presentert som underskrivere.
Forskere, borgere, selskaper og myndigheter diskuterer rammen.
AI-laboratorier og regjeringer vedtar felles sikkerhetsforpliktelser.
Landene implementerer kompatible mest avanserte AI-regler.
Stater forhandler om bindende felles standarder.
Internasjonal sertifisering, inspeksjoner, hendelsesrapportering og nødsamordning blir operative.
‡Ingen AI-system kan få irreversibelt makt over mennesker eller over menneskehetens fremtid.Det endelige prinsippet · Artikkel 30
AI kan bli mer intelligent enn oss. Det kan oppdage ting vi aldri kunne. Det kan hjelpe å bygge en sivilisasjon utover alt vi for tiden kan forestille oss.
Det gjør ham ikke til vår hersker.
Vi skal ikke frykte intelligens.
Vi skal styre makten.
Og den ultimate autoritet over menneskets fremtid må forbli menneskelig.