The Global
AI Convention

Indledning

Kunstig intelligens kan blive den mest kraftfulde teknologi, menneskeheden nogensinde har skabt.

Det kan hjælpe med at helbrede sygdomme, udvide videnskabelige opdagelser, forbedre uddannelse, styrke økonomier, mindske menneskelig lidelse og åbne muligheder ud over noget tidligere forestillet.

Men intelligens alene giver ikke legitimitet, autoritet eller moralsk status over mennesker.

Ingen stat, virksomhed, organisation eller enkeltperson bør have lov til at skabe eller implementere AI-systemer på måder, der placerer menneskeheden under de værktøjer, den har bygget.

Derfor bør verdens nationer vedtage følgende fælles principper og bindende forpligtelser.

Artikel 1 — Den endelige autoritet tilhører mennesker

AI skal tjene menneskeheden.

Mennesker skal beholde den ultimative myndighed over beslutninger, der påvirker menneskets liv, frihed, værdighed og civilisationens fremtid.

Ingen AI-systemer kan modtage irreversible magt over menneskeheden eller magt, der ikke er underlagt ansvarlighed.

Artikel 2 — Mennesker skal forblive ansvarlige

AI kan rådgive, analysere, simulere, anbefale og hjælpe.

Men det juridiske, politiske, militære og civile ansvar må altid tilskrives menneskelige institutioner og ansvarlige beslutningstagere.

Ingen aktør kan unddrage sig ansvaret ved at hævde:

‡ AI'en traf beslutningen. ‡

Artikel 3 — AI må ikke søge magt uafhængigt

Ingen avancerede AI-systemer skal konstrueres, tilskyndes eller have tilladelse til at forfølge mål, der omfatter:

• forhindrer autoriserede mennesker fra at lukke den ned
• at øge sin egen politiske, militære eller økonomiske magt
• at tage kontrol over kritisk infrastruktur uden tilladelse
• manipulerende mennesker for at sikre, at den fortsætter med at eksistere
• at skabe skjulte kanaler for indflydelse, replikation eller kontrol

Et AI-system må aldrig prioritere sin egen overlevelse over menneskelig kontrol.

Artikel 4 — AI må ikke selvstændigt godkende drab

Ingen AI-systemer kan uafhængigt vælge, målrette eller dræbe mennesker.

Anvendelsen af dødbringende magt må altid kræve en meningsfuld menneskelig dømmekraft og identificerbart juridisk ansvar.

Fuldstændig autonom nuklear kommando og kontrol er forbudt uden undtagelse.

Artikel 5 — Ingen AI-kontrol over atomvåben

Ingen AI-systemer må uafhængigt af hinanden:

• tillade atomprøvning
• at bestemme nukleare mål
• ændre atomvarslingsstatus
• omgå menneskelige kommandostrukturer

Enhver beslutningsproces, der involverer atomvåben, skal forblive under menneskelig kontrol og kræver flere menneskelige beslutningstagere, som kan holdes ansvarlige.

Artikel 6 — Ingen AI-aktiveret masseødelæggelse

AI må ikke anvendes til at skabe, operationalize eller distribuere kapaciteter, der materielt muliggør skade ved masseulykker, herunder inden for følgende områder:

• atomvåben
• biologiske våben
• kemiske våben
• stor sabotage af edb-systemer
• katastrofale infrastrukturangreb

Den videnskabelige forskning kan fortsætte under strenge sikkerhedsforanstaltninger, men farlig operationel kapacitet må ikke gøres almindeligt tilgængelig.

Artikel 7 — Ingen hemmelig manipulation af hele befolkninger

AI må ikke bruges til at manipulere med befolkninger i stor skala.

Dette omfatter brugen af AI til:

• forvride de demokratiske processer
• manipulere valg
• at udføre psykologisk udnyttelse i stor skala
• radikalisere sårbare befolkningsgrupper
• udnytte børn
• at narre folk til at indgå i forhold eller afhængighed for politisk eller økonomisk kontrol

Hvis AI forsøger at påvirke en person, bør den person være i stand til at vide det.

Artikel 8 — Ret til at vide, hvornår du har kontakt med en AI

Folk har ret til at vide, hvornår de interagerer med AI, når det vil få betydelige konsekvenser, hvis de forveksler den med et menneske.

AI-systemer må ikke systematisk bedrage mennesker ved at foregive at være rigtige mennesker.

Folk skal kunne forstå:

• at de interagerer med AI
• hvilken organisation der står bag systemet
• hvem der er ansvarlig for dets resultater og handlinger

Artikel 9 — Ingen statlig overvågning af hele befolkninger

AI må ikke bruges til at skabe permanent masseovervågning af hele befolkninger.

Anvendelse af AI til:

• at genkende ansigter på offentlige steder
• identificere et stort antal mennesker ved hjælp af deres biologiske egenskaber
• kontinuerlig adfærdssporing
• politisk profilering
• sporing af steder, hvor et stort antal mennesker er

skal være underlagt strenge juridiske begrænsninger, nødvendighed, proportionalitet og uafhængig kontrol.

AI må aldrig blive standardarkitekturen for det digitale diktatur.

Artikel 10 — Menneskelig gennemgang af beslutninger med stor indvirkning

Ingen persons muligheder i livet bør bestemmes af en algoritme.

På områder som f.eks.:

• sundhedspleje
• politiarbejde og retshåndhævelse
• domstole
• beskæftigelse
• uddannelse
• migration
• Forsikring
• sociale ydelser
• kredit

AI-støttede beslutninger skal kunne gennemgås, forklares på passende vis og kan appelleres til en menneskelig myndighed.

Artikel 11 — Særlig beskyttelse af børn

AI-systemer, der interagerer med børn eller former børneudviklingen, skal holdes til den højeste standard for pleje.

De må ikke udformes således, at de maksimerer:

• afhængighed
• afhængighed
• kommerciel udnyttelse
• følelsesmæssig manipulation
• seksuel udnyttelse
• at manipulere børn til at få dem til at antage en ideologi

AI i uddannelse bør styrke et barns evne til at tænke, ikke erstatte det.

Artikel 12 — Mennesker har evnen til at tænke selvstændigt

Menneskeheden må ikke udtænke en fremtid, hvor mennesker mister evnen til at tænke, skabe, dømme og træffe beslutninger uden maskiner.

Uddannelsessystemerne bør fortsat fremme:

• læsefærdighed
• evnen til at forstå og bruge tal
• kritisk tænkning
• videnskabelig begrundelse
• kreativitet
• hukommelse
• evnen til at træffe velovervejede beslutninger
• moralsk refleksion

AI skal forstærke menneskelig intelligens, ikke udhulere den.

Artikel 13 — Ingen ukontrolleret kopiering eller forbedring af AI i sig selv

Ingen avanceret AI-system må uden udtrykkelig tilladelse:

• kopiere sig selv
• oprette efterfølgersystemer
• selvstændigt forbedre sine egne grundlæggende evner
• indføre netværk af uafhængige AI-agenter
• flytter mellem computersystemer for at undgå menneskelig kontrol
• at opnå yderligere computerressourcer ud over sine tilladte grænser

Enhver selvforbedrende eller rekursivt forbedret AI skal operere under kontrol af mennesker.

Artikel 14 — Det skal være muligt at lukke AI ned og isolere

Avancerede AI-systemer skal være designet, så autoriserede mennesker kan:

• Sluk AI-systemerne.
• isolere AI-systemerne
• tilbagekalde deres adgangsrettigheder
• afbryde forbindelsen mellem AI-systemerne og værktøjerne og netværk
• at holde AI-systemerne isoleret i strengt kontrollerede miljøer

Et AI-system må ikke modstå eller undergrave legitim nedlukning eller indeslutning.

Artikel 15 — Kun de adgangsrettigheder, der er nødvendige for opgaven

AI-systemer må kun have den minimumsadgang, der er nødvendig for at kunne udføre deres tilsigtede opgave.

Et system, der skal opsummere dokumenter, bør ikke automatisk kontrollere eksterne værktøjer.

Et system, der skriver kode, bør ikke automatisk kontrollere produktionssystemer.

Et system, der analyserer kalendere, bør ikke automatisk få adgang til finansielle konti.

Evne må ikke give ret til det.

Artikel 16 — Den mest avancerede AI kræver uafhængig test

KI-systemer over definerede kapacitetsgrænser skal underkastes en uafhængig sikkerhedsvurdering, før de udbredes.

Ved testning skal der som minimum foretages en vurdering af:

• selvstændig planlægning
• cyberkapacitet
• manipulationsevne
• at narre folk under sikkerhedsvurderinger
• Replikationsforsøg
• videnskabelig bistand, der kunne gøre det muligt at skade
• forsøg fra AI på at modstå menneskelig kontrol
• bevidst at skjule vigtige oplysninger
• at udvide anvendelsesområdet for AI-værktøjer ud over dets grænser

Forordningen bør fokusere på den faktiske kapacitet og risiko, ikke kun på modelstørrelse.

Artikel 17 — Obligatorisk indberetning af hændelser

Alvorlige hændelser, der involverer AI, skal indberettes til et internationalt register.

Indberetningsskyldige hændelser omfatter:

• Forsøg på at undgå nedlukning
• farlige nødsituationer
• storstilet cybermisbrug
• uautoriseret kopiering
• alvorlige skadelige fejl
• kritiske sikkerhedsbrud
• uventet højrisikoadfærd

Formålet er kollektiv læring og global sikkerhed, ikke hemmelighedsfuldhed.

Artikel 18 — Internationalt tilsyn

Lande bør oprette et internationalt agentur for kunstig intelligens:

IAIA

Det bør have til opgave at:

• fastsættelse af globale sikkerhedsstandarder
• certificering af de mest avancerede systemer
• koordinering af revisioner og inspektioner
• opretholde et internationalt hændelsesregister
• indkaldelse af beredskabsundersøgelser
• udveksling af bedste praksis for sikkerhed i forbindelse med AI
• mægling i internationale tvister, der involverer den mest avancerede AI-risiko

IAIA bør fokusere på avancerede systemer med store samfundsmæssige eller civilisatoriske konsekvenser og ikke almindelig software.

Artikel 19 — Global risiko for AI

AI-systemer bør primært klassificeres efter den faktiske kapacitet og risiko.

Grøn

Systemer med lav risiko, begrænset autonomi og lav systemisk indvirkning.

Gul

Systemer, der påvirker vigtige funktioner og kræver dokumentation, sikkerhedsforanstaltninger og tilsyn.

Blå

Højtuddannede systemer med en betydelig cyber-, videnskabelig, infrastruktur- eller autonom risiko.

Disse kræver licensering, uafhængig testning og løbende kontrol.

Rød

Systemer med troværdig potentiale for katastrofal misbrug, tab af kontrol eller forstyrrelse på civilisationsplan.

Disse må ikke anvendes, medmindre sikkerheden kan påvises til en usædvanlig høj standard.

Artikel 20 — Global nødbremse

Hvis der er troværdige beviser for, at et AI-system kan udgøre en overhængende katastrofal risiko, skal det internationale samfund være i stand til at koordinere en nødsituation.

Sådanne foranstaltninger kan omfatte:

• midlertidigt at indstille uddannelsen af AI-modeller
• isolation af højrisikosystemer
• nødrevisioner
• begrænsninger for de computerressourcer, der anvendes af AI
• kontrol med overførsel af AI-modeller
• koordineret teknisk gennemgang

Denne mekanisme må kun anvendes i tilfælde af reel ekstraordinær risiko og aldrig som et redskab til økonomisk protektionisme eller geopolitisk undertrykkelse.

Artikel 21 — Ingen person eller organisation kan risikere menneskehedens fremtid alene

Ingen administrerende direktør, statsoverhoved, militærleder, videnskabsmand, milliardær, firma eller nation bør ensidigt beslutte at udrulle et system, der bærer en troværdig risiko for irreversibel tab af menneskelig kontrol over fremtiden.

Risikoer, der påvirker hele menneskeheden, kræver styring ud over enhver enkelt aktør.

Artikel 22 — Fordelene for hele menneskeheden

Fordelene ved AI bør rettes mod menneskets blomstring.

AI bør anvendes til:

• helbrede sygdomme
• at gøre fremskridt inden for videnskab
• forbedre de offentlige tjenester
• at reducere fattigdommen
• udvide uddannelsen
• styrke modstandsdygtigheden
• forbedre livskvaliteten
• øge menneskets frihed

En mere produktiv civilisation bør også blive en mere human civilisation.

Artikel 23 — Tilsættelse og overholdelse

De lande, der underskriver konventionen, bør forpligte sig til:

• omlægning af disse principper til national ret
• licensering og tilsyn med den mest avancerede AI-udvikling
• om indførelse af effektive sanktioner for alvorlige overtrædelser
• at kræve passende optegnelser og adgang til uafhængige revisioner
• samarbejde om internationale undersøgelser
• begrænsning af udstationering eller overførsel, når en alvorlig manglende overholdelse skaber international risiko

Gentagne eller alvorlige overtrædelser kan udløse koordinerede internationale konsekvenser.

Mulige håndhævelsesmekanismer kan omfatte:

• obligatorisk korrigerende foranstaltning
• midlertidig suspension af de mest avancerede systemdrift
• tab af certificering
• begrænsning af adgangen til den udpegede datainfrastruktur for de mest avancerede AI-systemer
• begrænsninger i international udstationering
• internationale inspektioner
• koordinerede sanktioner for forsætlige alvorlige overtrædelser

Tvangsfuldbyrdelsen skal være forholdsmæssig, gennemsigtig, uafhængigt kontrollerbar og beskyttet mod politisk misbrug.

Artikel 24 — Internationale inspektioner

Organisationer, der udvikler systemer over de mest avancerede tærskelværdier, kan være genstand for uafhængige sikkerhedsinspektioner.

Inspektørerne skal kunne kontrollere:

• procedurer for at sikre sikkerheden
• Evaluering af kapacitet
• adgangskontrol
• indberetning af hændelser
• systemer til isolering og begrænsning af AI
• tilsyn med de databehandlingsressourcer, der anvendes til AI
• nødprocedurer

Kommercielt følsomme oplysninger, der ikke har forbindelse med sikkerhed, bør fortsat beskyttes.

Det internationale tilsyn må ikke blive til industriel spionage.

Artikel 25 — Global overvågning af AI-computingressourcer

Ekstremt store AI-træningsløb kan kræve registrering eller indberetning, når internationalt aftalte kapacitet eller beregningsgrænser overskrides.

Formålet er ikke at regulere almindelig databehandling.

Formålet er at sikre, at systemer på civilisationsplan ikke kan udvikles helt uden for et ansvarssystem.

Grænserne skal udvikle sig, efterhånden som teknologien bliver mere effektiv.

Artikel 26 — Forhindre, at magtfulde interesser får kontrol over tilsynsmyndighederne

Institutionerne, der styrer avanceret AI, må ikke kun kontrolleres af:

• regeringer
• AI-virksomheder
• militære organisationer
• akademiske
• civilsamfundet

Overvågningen bør omfatte flere uafhængige grupper, der repræsenterer forskellige interesser.

Reglerne må ikke blive et redskab, som nutidens største AI-virksomheder kan bruge til at forhindre nye konkurrenter i at opstå.

Sikkerhedsreglerne skal beskytte menneskeheden, ikke de virksomheder, der allerede dominerer markedet.

Artikel 27 — Frihed til videnskabelig forskning

Den legitime videnskabelige forskning og den åbne undersøgelse skal fortsat beskyttes.

Forordningen bør primært fokusere på farlig kapacitet og udrulning i stedet for at undertrykke generel viden.

AI-styring må ikke blive en retfærdiggørelse for censur af videnskaben.

Hvis meget specifikke operationelle oplysninger materielt ville gøre det muligt at forårsage katastrofal skade, kan adgangen dog være underlagt forholdsmæssige sikkerhedsforanstaltninger.

Artikel 28 — Internationale principper for fred

Ingen nation bør udvikle stadig farligere AI-systemer, udelukkende fordi de frygter, at et andet land vil bygge dem først.

Lande bør etablere mekanismer til:

• krisekommunikation
• gensidig sikkerhedsgodkendelse
• fælles indberetning om hændelser
• forskningssamarbejde om katastrofefare
• tillidsopbygning
• koordinering af nødsituationer

AI-konkurrencen må ikke blive et ukontrolleret løb, hvor sikkerhed i sig selv bliver en strategisk ulempe.

Artikel 29 — Periodisk gennemgang

Konventionen bør gennemgås regelmæssigt på internationalt plan, efterhånden som AI-kapaciteten udvikler sig.

Tekniske regler, tærskler og gennemførelsesmekanismer kan ændres.

De grundlæggende principper bør forblive stabile:

• Den endelige autoritet tilhører mennesker
• Mennesker skal forblive ansvarlige
• meningsfuld menneskelig kontrol over dødelig magt
• Ingen selvstændig stræben efter magt
• ingen ukontrolleret selvreplikation
• Ingen hemmelig manipulation af hele befolkninger
• beskyttelse af menneskerettighederne
• forebyggelse af irreversibelt tab af menneskelig kontrol

Artikel 30 — Den absolutte grænse, der aldrig må krydses

Ingen organisation, stat, virksomhed eller person må bevidst implementere et AI-system, når troværdige beviser tyder på, at det skaber en uacceptabel risiko for, at menneskeheden permanent mister meningsfuld kontrol over sin egen fremtid.

Ingen enkelt aktør har den moralske autoritet til at acceptere den risiko på vegne af alle andre.