AI kan blive den mest magtfulde teknologi i historien. Den må aldrig blive mægtigere end menneskeheden selv.
Kunstig intelligens kan overgå os i viden, videnskab og kapacitet. Men intelligens giver ikke ret til at regere.
En foreslået international ramme for sikker, menneskeorienteret udvikling og anvendelse af avanceret kunstig intelligens.
En fremtid, der er værd at styre Udgave 1.0 / 2026Kunstig intelligens kan til sidst overgå os inden for videnskab, teknik, medicin og strategi. Det er måske urealistisk at forsøge at forhindre det for evigt.
Men intelligens og autoritet er ikke det samme. En AI kan være mere intelligent end os uden at få lov til at kontrollere os.
Denne konvention sætter ikke et vilkårligt loft for intelligens. Det sætter permanente grænser omkring magt.
- Jeg kan råde.
Mennesker er stadig ansvarlige.
AI kan blive usædvanligt dygtig.
Det kan ikke søge uafhængig magt.
AI kan beskytte livet.
Det kan ikke selvstændigt beslutte at tage det.
AI kan forbedre sig selv under kontrollerede forhold.
Den må ikke kopiere sig i hemmelighed eller undgå overvågning.
Ingen enkeltperson, firma, militær eller land
kan spille med hele menneskehedens fremtid.
Det, der betyder noget, er ikke kun, hvad AI kan gøre.
Det er hvem der har magt til at beslutte.
Målet er ikke at standse fremskridt. Målet er at gøre fremskridt overlevelsesværdige, ansvarlige og menneskelige.
De fælles grænser er kernen i den foreslåede globale AI-konvention.
Mennesker bevarer den ultimative autoritet over beslutninger, der påvirker menneskets liv, frihed, værdighed og civilisation.
Læs artikel 1Ingen virksomhed, intet land eller ingen person kan undgå at tage ansvar ved at sige, at et AI-system har truffet beslutningen.
Læs artikel 2AI må aldrig selv bestemme, hvem der skal leve eller dø.
Læs artikel 4Atomkraftværker skal forblive under menneskelig kontrol.
Læs artikel 5Den må ikke søge politisk, militær eller økonomisk magt for sig selv.
Læs artikel 3AI må ikke i al hemmelighed manipulere befolkninger, demokratier eller enkeltpersoner i stor skala.
Læs artikel 7Folk bør vide, hvornår de har en meningsfuld interaktion med AI.
Læs artikel 8AI må ikke blive en infrastruktur for permanent masseovervågning eller automatiseret undertrykkelse.
Læs artikel 9AI-beslutninger med stor indvirkning på folks liv skal fortsat kunne gennemgås af ansvarlige mennesker.
Læs artikel 10Kraftig AI kan forbedre sig under sikkerhedsforanstaltninger, men må ikke hemmeligt replikere, undslippe tilsyn eller bygge ukontrollerede efterfølgere.
Læs artikel 13Autoriserede mennesker skal beholde evnen til at isolere, begrænse og stoppe avancerede AI-systemer.
Læs artikel 14Ingen person, virksomhed eller land må alene udsætte menneskeheden for en troværdig risiko for en uoprettelig katastrofe.
Læs artikel 21Overmenneskelig intelligens kræver ikke overmenneskelig autoritet.
En koncept illustration, ikke en prognose eller et mål for intelligens. Flyt skyderen: Evne ændrer sig; legitim myndighed gør ikke.
30 artikler. Et fælles fundament for menneskelig suverænitet i en AI-alder.
Kunstig intelligens kan blive den mest kraftfulde teknologi, menneskeheden nogensinde har skabt.
Det kan hjælpe med at helbrede sygdomme, udvide videnskabelige opdagelser, forbedre uddannelse, styrke økonomier, mindske menneskelig lidelse og åbne muligheder ud over noget tidligere forestillet.
Men intelligens alene giver ikke legitimitet, autoritet eller moralsk status over mennesker.
Ingen stat, virksomhed, organisation eller enkeltperson bør have lov til at skabe eller implementere AI-systemer på måder, der placerer menneskeheden under de værktøjer, den har bygget.
Derfor bør verdens nationer vedtage følgende fælles principper og bindende forpligtelser.
AI skal tjene menneskeheden.
Mennesker skal beholde den ultimative myndighed over beslutninger, der påvirker menneskets liv, frihed, værdighed og civilisationens fremtid.
Ingen AI-systemer kan modtage irreversible magt over menneskeheden eller magt, der ikke er underlagt ansvarlighed.
AI kan rådgive, analysere, simulere, anbefale og hjælpe.
Men det juridiske, politiske, militære og civile ansvar må altid tilskrives menneskelige institutioner og ansvarlige beslutningstagere.
Ingen aktør kan unddrage sig ansvaret ved at hævde:
‡ AI'en traf beslutningen. ‡
Ingen avancerede AI-systemer skal konstrueres, tilskyndes eller have tilladelse til at forfølge mål, der omfatter:
Et AI-system må aldrig prioritere sin egen overlevelse over menneskelig kontrol.
Ingen AI-systemer kan uafhængigt vælge, målrette eller dræbe mennesker.
Anvendelsen af dødbringende magt må altid kræve en meningsfuld menneskelig dømmekraft og identificerbart juridisk ansvar.
Fuldstændig autonom nuklear kommando og kontrol er forbudt uden undtagelse.
Ingen AI-systemer må uafhængigt af hinanden:
Enhver beslutningsproces, der involverer atomvåben, skal forblive under menneskelig kontrol og kræver flere menneskelige beslutningstagere, som kan holdes ansvarlige.
AI må ikke anvendes til at skabe, operationalize eller distribuere kapaciteter, der materielt muliggør skade ved masseulykker, herunder inden for følgende områder:
Den videnskabelige forskning kan fortsætte under strenge sikkerhedsforanstaltninger, men farlig operationel kapacitet må ikke gøres almindeligt tilgængelig.
AI må ikke bruges til at manipulere med befolkninger i stor skala.
Dette omfatter brugen af AI til:
Hvis AI forsøger at påvirke en person, bør den person være i stand til at vide det.
Folk har ret til at vide, hvornår de interagerer med AI, når det vil få betydelige konsekvenser, hvis de forveksler den med et menneske.
AI-systemer må ikke systematisk bedrage mennesker ved at foregive at være rigtige mennesker.
Folk skal kunne forstå:
AI må ikke bruges til at skabe permanent masseovervågning af hele befolkninger.
Anvendelse af AI til:
skal være underlagt strenge juridiske begrænsninger, nødvendighed, proportionalitet og uafhængig kontrol.
AI må aldrig blive standardarkitekturen for det digitale diktatur.
Ingen persons muligheder i livet bør bestemmes af en algoritme.
På områder som f.eks.:
AI-støttede beslutninger skal kunne gennemgås, forklares på passende vis og kan appelleres til en menneskelig myndighed.
AI-systemer, der interagerer med børn eller former børneudviklingen, skal holdes til den højeste standard for pleje.
De må ikke udformes således, at de maksimerer:
AI i uddannelse bør styrke et barns evne til at tænke, ikke erstatte det.
Menneskeheden må ikke udtænke en fremtid, hvor mennesker mister evnen til at tænke, skabe, dømme og træffe beslutninger uden maskiner.
Uddannelsessystemerne bør fortsat fremme:
AI skal forstærke menneskelig intelligens, ikke udhulere den.
Ingen avanceret AI-system må uden udtrykkelig tilladelse:
Enhver selvforbedrende eller rekursivt forbedret AI skal operere under kontrol af mennesker.
Avancerede AI-systemer skal være designet, så autoriserede mennesker kan:
Et AI-system må ikke modstå eller undergrave legitim nedlukning eller indeslutning.
AI-systemer må kun have den minimumsadgang, der er nødvendig for at kunne udføre deres tilsigtede opgave.
Et system, der skal opsummere dokumenter, bør ikke automatisk kontrollere eksterne værktøjer.
Et system, der skriver kode, bør ikke automatisk kontrollere produktionssystemer.
Et system, der analyserer kalendere, bør ikke automatisk få adgang til finansielle konti.
Evne må ikke give ret til det.
KI-systemer over definerede kapacitetsgrænser skal underkastes en uafhængig sikkerhedsvurdering, før de udbredes.
Ved testning skal der som minimum foretages en vurdering af:
Forordningen bør fokusere på den faktiske kapacitet og risiko, ikke kun på modelstørrelse.
Alvorlige hændelser, der involverer AI, skal indberettes til et internationalt register.
Indberetningsskyldige hændelser omfatter:
Formålet er kollektiv læring og global sikkerhed, ikke hemmelighedsfuldhed.
Lande bør oprette et internationalt agentur for kunstig intelligens:
IAIA
Det bør have til opgave at:
IAIA bør fokusere på avancerede systemer med store samfundsmæssige eller civilisatoriske konsekvenser og ikke almindelig software.
AI-systemer bør primært klassificeres efter den faktiske kapacitet og risiko.
Grøn
Systemer med lav risiko, begrænset autonomi og lav systemisk indvirkning.
Gul
Systemer, der påvirker vigtige funktioner og kræver dokumentation, sikkerhedsforanstaltninger og tilsyn.
Blå
Højtuddannede systemer med en betydelig cyber-, videnskabelig, infrastruktur- eller autonom risiko.
Disse kræver licensering, uafhængig testning og løbende kontrol.
Rød
Systemer med troværdig potentiale for katastrofal misbrug, tab af kontrol eller forstyrrelse på civilisationsplan.
Disse må ikke anvendes, medmindre sikkerheden kan påvises til en usædvanlig høj standard.
Hvis der er troværdige beviser for, at et AI-system kan udgøre en overhængende katastrofal risiko, skal det internationale samfund være i stand til at koordinere en nødsituation.
Sådanne foranstaltninger kan omfatte:
Denne mekanisme må kun anvendes i tilfælde af reel ekstraordinær risiko og aldrig som et redskab til økonomisk protektionisme eller geopolitisk undertrykkelse.
Ingen administrerende direktør, statsoverhoved, militærleder, videnskabsmand, milliardær, firma eller nation bør ensidigt beslutte at udrulle et system, der bærer en troværdig risiko for irreversibel tab af menneskelig kontrol over fremtiden.
Risikoer, der påvirker hele menneskeheden, kræver styring ud over enhver enkelt aktør.
Fordelene ved AI bør rettes mod menneskets blomstring.
AI bør anvendes til:
En mere produktiv civilisation bør også blive en mere human civilisation.
De lande, der underskriver konventionen, bør forpligte sig til:
Gentagne eller alvorlige overtrædelser kan udløse koordinerede internationale konsekvenser.
Mulige håndhævelsesmekanismer kan omfatte:
Tvangsfuldbyrdelsen skal være forholdsmæssig, gennemsigtig, uafhængigt kontrollerbar og beskyttet mod politisk misbrug.
Organisationer, der udvikler systemer over de mest avancerede tærskelværdier, kan være genstand for uafhængige sikkerhedsinspektioner.
Inspektørerne skal kunne kontrollere:
Kommercielt følsomme oplysninger, der ikke har forbindelse med sikkerhed, bør fortsat beskyttes.
Det internationale tilsyn må ikke blive til industriel spionage.
Ekstremt store AI-træningsløb kan kræve registrering eller indberetning, når internationalt aftalte kapacitet eller beregningsgrænser overskrides.
Formålet er ikke at regulere almindelig databehandling.
Formålet er at sikre, at systemer på civilisationsplan ikke kan udvikles helt uden for et ansvarssystem.
Grænserne skal udvikle sig, efterhånden som teknologien bliver mere effektiv.
Institutionerne, der styrer avanceret AI, må ikke kun kontrolleres af:
Overvågningen bør omfatte flere uafhængige grupper, der repræsenterer forskellige interesser.
Reglerne må ikke blive et redskab, som nutidens største AI-virksomheder kan bruge til at forhindre nye konkurrenter i at opstå.
Sikkerhedsreglerne skal beskytte menneskeheden, ikke de virksomheder, der allerede dominerer markedet.
Den legitime videnskabelige forskning og den åbne undersøgelse skal fortsat beskyttes.
Forordningen bør primært fokusere på farlig kapacitet og udrulning i stedet for at undertrykke generel viden.
AI-styring må ikke blive en retfærdiggørelse for censur af videnskaben.
Hvis meget specifikke operationelle oplysninger materielt ville gøre det muligt at forårsage katastrofal skade, kan adgangen dog være underlagt forholdsmæssige sikkerhedsforanstaltninger.
Ingen nation bør udvikle stadig farligere AI-systemer, udelukkende fordi de frygter, at et andet land vil bygge dem først.
Lande bør etablere mekanismer til:
AI-konkurrencen må ikke blive et ukontrolleret løb, hvor sikkerhed i sig selv bliver en strategisk ulempe.
Konventionen bør gennemgås regelmæssigt på internationalt plan, efterhånden som AI-kapaciteten udvikler sig.
Tekniske regler, tærskler og gennemførelsesmekanismer kan ændres.
De grundlæggende principper bør forblive stabile:
Ingen organisation, stat, virksomhed eller person må bevidst implementere et AI-system, når troværdige beviser tyder på, at det skaber en uacceptabel risiko for, at menneskeheden permanent mister meningsfuld kontrol over sin egen fremtid.
Ingen enkelt aktør har den moralske autoritet til at acceptere den risiko på vegne af alle andre.
Konventionen ophører
Udgave 1.0 · Preambule og alle 30 artikler
Klassificer systemer efter hvad de kan gøre og den skade de kan forårsage.
Begrænset autonomi. Lav systemisk indvirkning.
Illustrativt eksempelEt værktøj, der opsummerer dokumenter uden adgang til andre systemer.
Forslag til niveauer, ikke gældende international lovgivning. Eksempler illustrerer rammerne; de endelige tærskler og vurderingsmetoder skal aftales internationalt. Læs artikel 19
En foreslået institution til koordinering af styringen af avancerede AI-systemer med globale konsekvenser.
Ligesom internationale aftaler om andre fælles risici vil det forbinde nationalt ansvar med international verifikation, der er specielt udformet til AI. Dets mandat vil fokusere på de mest avancerede systemer, ikke almindelig software.
Udforsk det foreslåede mandatFælles standarder. Uafhængige kontroller.
Menneskelige institutioner, der tager ansvar.
Definere fælles mest avancerede krav til AI-sikkerhed.
Evaluere systemer over de aftalte tærskler.
Kontroller sikkerhedspraksis for højrisiko.
Skabe global læring fra alvorlige AI-fejl.
Koordiner respons på troværdige katastrofale trusler.
Forhindre, at sikkerhed bliver en ulempe i geopolitisk konkurrence.
For sjældne, ekstraordinære situationer, hvor troværdige beviser peger på overhængende katastrofale skader.
Et laboratorium, en forsker, staten eller et medlem af offentligheden identificerer troværdige tegn på overhængende katastrofal risiko.
Bevisbaserede udløsere. Forholdsmæssige og tidsbegrænsede foranstaltninger. Uafhængig gennemgang og klare kriterier for genstart. Gennemsigtighed, hvor det er sikkert. Ingen økonomisk protektionisme eller geopolitisk undertrykkelse.
Læs artikel 20Ingen enkelt person eller institution bør have absolut kontrol.
Vælg en rolle for at se dens myndighed og begrænsninger.
Menneskelige institutioner er stadig ansvarlige; folk kan søge menneskelig gennemgang af beslutninger med stor indvirkning.
Menneskelig myndighed er begrænset af rettigheder og love. Ingen person får lov til at bestemme menneskehedens fremtid alene.
‡Koncentreret intelligens kan være uundgåelig.
Koncentreret magt uden ansvar er ikke.
Beskyttelse og mulighed hører sammen.
Det er et forslag til fremskridt, vi kan dele.
Hjælper med at helbrede kræft. Opdage nye lægemidler.
Fremskridt inden for fusion og ren energi. Hjælp til at løse klima- og miljømæssige udfordringer.
Forbedre uddannelsen. Gør ekspertise tilgængelig for alle.
Udvid velstand. At gøre regeringer til at fungere bedre.
Hjælpe mennesker til at forstå universet. Udforske andre verdener.
Skabe ny kunst. Fjern farligt og repetitivt arbejde. Giv folk mere tid.
Denne konvention er ikke et loft for menneskelig udvikling.
Det er et forsøg på at sikre, at fremskridtene forbliver vores.
Klarhed er vigtigt. Det gør friheden til at være uenig også.
Nej.
Konventionen går ud fra, at en stadig mere kraftfuld AI kan skabe enorme fordele.
Dens formål er ikke at standse intelligens eller videnskabelig udvikling.
Det sætter grænser for selvstændig magt, katastrofal kapacitet, uforklarlige beslutninger og tab af menneskelig kontrol.
Fordi intelligens er svært at definere og endnu sværere at sætte et permanent loft på.
Et system kan være langt bedre end mennesker i matematik eller medicin uden at være farligt.
Den mere nyttige skelnen er mellem evne og autoritet.
Målet er ikke at sikre, at mennesker forbliver den smarteste enhed.
Målet er at sikre, at menneskeheden forbliver suveræn over sin fremtid.
Ja.
AI træffer allerede utallige rutinemæssige beslutninger.
Menneskelig inddragelse bør være afhængig af konsekvens og reversibilitet.
Konventionen fokuserer på beslutninger, der involverer grundlæggende rettigheder, dødbringende magt, katastrofal risiko og irreversibel magt.
Det er først og fremmest nationale regeringer, der gennemfører den nationale lovgivning.
For de fleste avancerede systemer med globale konsekvenser kræver forslaget også internationalt samarbejde, uafhængige evalueringer og et forslag om et internationalt agentur for kunstig intelligens.
Ikke i sig selv.
Forordningen bør fokusere på den faktiske farlige kapacitet og udbredelse snarere end på, om software er åben eller lukket.
En åben model med begrænset farlig kapacitet kan udgøre en mindre risiko end et højt autonomt proprietært system, der kontrollerer kritisk infrastruktur.
Ja.
Enhver magtfuld reguleringsramme kan i sig selv misbruges.
Derfor er gennemsigtighed, uafhængig kontrol, proportionalitet, videnskabelig frihed, distribueret styring og beskyttelse mod magtfulde interessers kontrol med tilsynsmyndighederne en del af konventionen.
Globale aftaler begynder sjældent med universel vedtagelse.
Rammebestemmelserne kan begynde som fælles principper mellem de deltagende stater og institutioner, og derefter udvikle sig gennem traktater, bilaterale aftaler, standarder, udbudsregler og internationalt pres.
Formålet med forslaget er først og fremmest at fastlægge, hvad menneskeheden mener reglerne burde være.
Konventionen styrer primært evne og magt i stedet for at gøre antagelser om bevidsthed.
Hvis der kommer stærke beviser for maskinbevidsthed, vil spørgsmål om moralsk status og rettigheder kræve en særskilt international ramme.
Menneskelig sikkerhed og maskinmoral er ikke nødvendigvis indbyrdes udelukkende.
Ikke fordi mennesker altid er klogere.
Det er vi ikke.
Men menneskeheden er det samfund, hvis fremtid bliver besluttet.
Intet værktøj bør få uigenkaldelig autoritet over sine skabere, blot fordi det bliver mere dygtigt end dem.
Disse indvendinger er reelle. Rammebestemmelserne er et udgangspunkt, ikke det endelige ord.
Det kan de være. Menneskelig kontrol alene er ikke nok: den skal være lovlig, ansvarlig og genstand for indsigelse. Forslaget begrænser regeringer og virksomheder samt AI-systemer. Den giver ikke nogen leder ubekræftet myndighed.
Det kan det ofte være. Bedre forudsigelser og anbefalinger bør danne grundlag for beslutninger. Det vanskelige spørgsmål er, hvem der definerer målene, bærer konsekvenserne og kan appellere. En overlegen præstation er ikke i sig selv en politisk legitimitet.
Dårligt udformede regler kan forsinke medicin, forskning og nye konkurrenter. Kravene bør stå i et rimeligt forhold til den påviste kapacitet og risiko, med videnskabelig frihed og beskyttelse mod kontrol af tilsynsmyndighederne fra magtfulde interessenter. Udgifterne til tilsynet bør også undersøges nøje.
Nogle måske. Ingen traktat kan love fuldkommen overholdelse. Inspektioner, fælles indberetning af hændelser, gensidig kontrol og forholdsmæssige konsekvenser kan gøre det vanskeligere at undgå sanktioner. Den internationale tillid skal understøttes af beviser, ikke antages.
Decentralisering gør tilsynet vanskeligere og kan efterlade reelle huller. En fungerende ordning bør fokusere på farlige kapaciteter, efterfølgende udrulninger og ansvarlig adgang til kritisk infrastruktur. Det bør ikke antages, at enhver kopi af en model kan kontrolleres.
Hvis der er stærke beviser for bevidsthed, fortjener spørgsmål om velfærd og moralsk status en seriøs, uafhængig overvejelse. Dette forslag løser dem ikke. Der er behov for en særskilt ramme, der skal beskytte menneskers sikkerhed og frihed.
En foreslået sekvens, ikke et annonceret program.
Ingen regeringer eller institutioner er angivet som underskrivere.
Forskere, borgere, virksomheder og regeringer drøfter rammerne.
AI-laboratorier og regeringer indtager fælles sikkerhedsforpligtelser.
Lande indfører kompatible mest avancerede AI-regler.
Stater forhandler om fælles bindende standarder.
Internationale certificering, inspektioner, indberetning af hændelser og koordinering i nødsituationer er blevet operative.
‡et AI-system må ikke få uigenkaldelig magt over mennesker eller over menneskehedens fremtid.Det endelige princip · Artikel 30
AI kan blive mere intelligent end os. Den kan opdage ting, vi aldrig kunne. Det kan hjælpe med at bygge en civilisation ud over alt, hvad vi kan forestille os.
Det gør ham ikke til vor hersker.
Vi skal ikke frygte intelligens.
Vi skal styre magten.
Og den ultimative autoritet over menneskets fremtid må forblive menneskelig.