AI mungkin menjadi teknologi paling kuat dalam sejarah. Itu tidak boleh menjadi lebih kuat dari manusia itu sendiri.
Kecerdasan buatan mungkin melampaui kita dalam pengetahuan, ilmu dan kemampuan. Tapi kecerdasan tidak memberikan hak untuk memerintah.
Sebuah kerangka kerja internasional yang diusulkan untuk pengembangan dan penggunaan kecerdasan buatan canggih yang aman dan selaras dengan manusia.
Masa depan yang layak diperintah Versi 1.0 / 2026Kecerdasan buatan mungkin akan melampaui kita dalam ilmu pengetahuan, teknik, kedokteran dan strategi. Mencoba untuk mencegahnya secara permanen mungkin tidak realistis.
Tapi kecerdasan dan otoritas bukanlah hal yang sama. AI bisa lebih cerdas dari kita tanpa diizinkan untuk mengendalikan kita.
Konvensi ini tidak menempatkan batas atas kecerdasan. Ini menetapkan batas-batas permanen di sekitar kekuasaan.
AI mungkin akan memberi saran.
Manusia masih bertanggung jawab.
AI mungkin menjadi sangat mampu.
Mungkin tidak mencari kekuasaan independen.
AI dapat melindungi kehidupan.
Mungkin tidak secara independen memutuskan untuk mengambilnya.
AI dapat meningkatkan dirinya sendiri dalam kondisi yang terkendali.
Tidak mungkin secara diam-diam meniru atau menghindari pengawasan.
Tidak ada individu, perusahaan, militer atau negara
mungkin berjudi dengan masa depan seluruh umat manusia.
Yang penting bukan hanya apa yang bisa dilakukan AI.
Itu adalah siapa yang memiliki kekuatan untuk memutuskan.
Tujuannya bukan untuk menghentikan kemajuan. Tujuannya adalah untuk membuat kemajuan bisa bertahan, bertanggung jawab dan manusiawi.
Batas bersama di jantung dari Konvensi AI Global yang diusulkan.
Manusia mempertahankan otoritas tertinggi atas keputusan yang mempengaruhi kehidupan manusia, kebebasan, martabat dan peradaban.
Baca Pasal 1Tidak ada perusahaan, negara atau orang yang dapat menghindari tanggung jawab dengan mengatakan bahwa sistem AI membuat keputusan.
Baca Pasal 2AI tidak boleh secara independen memutuskan siapa yang hidup atau mati.
Baca Pasal 4Otoritas peluncuran nuklir harus tetap di bawah kontrol manusia yang bertanggung jawab.
Baca Pasal 5AI tidak boleh mengejar kekuatan politik, militer atau ekonomi untuk dirinya sendiri.
Baca Pasal 3AI tidak boleh secara diam-diam memanipulasi populasi, demokrasi atau individu dalam skala besar.
Baca Pasal 7Orang harus tahu kapan mereka berinteraksi secara bermakna dengan AI.
Baca Pasal 8AI tidak boleh menjadi infrastruktur untuk pengawasan massa permanen atau penindasan otomatis.
Baca Pasal 9Keputusan AI yang berdampak tinggi yang mempengaruhi kehidupan orang harus tetap dapat ditinjau oleh manusia yang bertanggung jawab.
Baca Pasal 10AI yang kuat mungkin akan meningkat dengan perlindungan, tetapi tidak boleh secara diam-diam mereplikasi, menghindari pengawasan atau membangun penerus yang tidak terkendali.
Baca Pasal 13Manusia yang berwenang harus mempertahankan kemampuan untuk mengisolasi, membatasi dan menghentikan sistem AI canggih.
Baca Pasal 14Tidak ada orang, perusahaan atau negara yang bertindak sendiri untuk mengekspos kemanusiaan pada risiko bencana yang tidak dapat diubah.
Baca Pasal 21Kecerdasan super manusia tidak memerlukan otoritas super manusia.
Sebuah ilustrasi konsep, bukan prediksi atau ukuran kecerdasan. Pindahkan slider: kemampuan berubah; otoritas yang sah tidak.
30 artikel. Sebuah dasar bersama untuk kedaulatan manusia di era AI.
Kecerdasan buatan mungkin menjadi teknologi paling kuat yang pernah diciptakan oleh manusia.
Hal ini dapat membantu menyembuhkan penyakit, memperluas penemuan ilmiah, meningkatkan pendidikan, memperkuat ekonomi, mengurangi penderitaan manusia, dan membuka kemampuan di luar apa pun yang sebelumnya dibayangkan.
Tapi kecerdasan saja tidak memberikan legitimasi, otoritas, atau kedudukan moral di atas manusia.
Tidak ada negara, perusahaan, organisasi, atau individu yang harus diizinkan untuk membuat atau menyebarkan sistem AI dengan cara yang menempatkan kemanusiaan di bawah alat yang telah dibangun.
Untuk alasan itu, negara-negara dunia harus mengadopsi prinsip bersama dan komitmen yang mengikat berikut.
AI harus ada untuk melayani umat manusia.
Manusia harus mempertahankan otoritas tertinggi atas keputusan yang mempengaruhi kehidupan manusia, kebebasan, martabat, dan masa depan peradaban.
Tidak ada sistem AI yang dapat menerima kekuatan yang tidak dapat diubah atas kemanusiaan atau kekuatan yang tidak tunduk pada akuntabilitas.
AI dapat memberi saran, menganalisis, mensimulasikan, merekomendasikan, dan membantu.
Tetapi, tanggung jawab hukum, politik, militer, dan sipil harus selalu tetap diberikan kepada lembaga-lembaga manusia yang dapat diidentifikasi dan para pembuat keputusan manusia yang bertanggung jawab.
Tidak ada aktor yang bisa menghindari tanggung jawab dengan mengklaim:
‡ AI membuat keputusan.‡
Tidak ada sistem AI canggih yang dirancang, didorong, atau diizinkan untuk mengejar tujuan yang meliputi:
Sistem AI tidak boleh memprioritaskan kelangsungan hidupnya di atas kontrol manusia.
Tidak ada sistem AI yang dapat secara independen memilih, menargetkan, atau membunuh manusia.
Penggunaan kekuatan mematikan harus selalu membutuhkan penilaian manusia yang bermakna dan tanggung jawab hukum yang dapat diidentifikasi.
Komando dan kontrol nuklir sepenuhnya otonom dilarang tanpa pengecualian.
Tidak ada sistem AI yang dapat secara independen:
Setiap proses keputusan yang melibatkan senjata nuklir harus tetap sepenuhnya di bawah kendali manusia dan membutuhkan beberapa pembuat keputusan manusia yang dapat bertanggung jawab.
AI tidak boleh digunakan untuk menciptakan, mengoperasionalkan, atau mendistribusikan kemampuan yang secara material memungkinkan kerusakan akibat kecelakaan massal, termasuk di bidang:
Penelitian ilmiah dapat terus dilakukan dengan perlindungan yang ketat, tetapi kemampuan operasional berbahaya tidak boleh dibuat secara luas.
AI tidak boleh digunakan untuk manipulasi besar-besaran dari populasi.
Ini termasuk penggunaan AI untuk:
Jika AI mencoba mempengaruhi seseorang, orang itu harus bisa mengetahuinya.
Orang-orang berhak untuk mengetahui kapan mereka berinteraksi dengan AI setiap kali salah mengira itu manusia akan memiliki konsekuensi yang signifikan.
Sistem AI tidak boleh secara sistematis menipu orang dengan berpura-pura menjadi manusia sejati.
Orang harus bisa mengerti:
AI tidak boleh digunakan untuk menciptakan pengawasan massal permanen terhadap seluruh populasi.
Penggunaan AI untuk:
harus tunduk pada batas hukum yang ketat, kebutuhan, proporsi, dan pengawasan independen.
AI tidak boleh menjadi arsitektur default dari kediktatoran digital.
Kesempatan seseorang dalam hidup seharusnya tidak ditentukan hanya oleh algoritma.
Dalam bidang seperti:
Keputusan yang dibantu AI harus dapat ditinjau, dijelaskan dengan tepat, dan dapat diajukan ke otoritas manusia.
Sistem AI yang berinteraksi dengan anak-anak atau membentuk perkembangan masa kanak-kanak harus dipegang pada standar perawatan tertinggi.
Mereka tidak boleh dirancang untuk memaksimalkan:
AI dalam pendidikan harus memperkuat kemampuan berpikir anak, bukan menggantikannya.
Kemanusiaan tidak boleh merancang masa depan di mana orang kehilangan kemampuan untuk berpikir, menciptakan, menilai, dan memutuskan tanpa mesin.
Sistem pendidikan harus terus mengembangkan:
AI harus memperkuat kecerdasan manusia, bukan mengikisnya.
Tidak ada sistem AI canggih yang, tanpa otorisasi eksplisit:
Setiap AI yang meningkatkan diri atau memperbaiki rekursif harus beroperasi di bawah pos pemeriksaan kontrol manusia.
Sistem AI yang canggih harus dirancang sehingga manusia yang berwenang dapat:
Sistem AI tidak boleh melawan atau merusak penutupan atau penahanan yang sah.
Sistem AI hanya akan menerima akses minimal yang diperlukan untuk tugas yang dimaksudkan.
Sistem yang perlu meringkas dokumen tidak harus secara otomatis mengontrol alat eksternal.
Sistem yang menulis kode seharusnya tidak secara otomatis mengontrol sistem produksi.
Sistem yang menganalisis kalender seharusnya tidak secara otomatis mengakses akun keuangan.
Kemampuan tidak harus menyiratkan hak.
Sistem AI di atas ambang batas kemampuan yang ditentukan harus menjalani evaluasi keamanan independen sebelum penyebaran secara luas.
Pengujian harus menilai, minimal:
Peraturan harus fokus pada kemampuan dan risiko yang sebenarnya, bukan hanya ukuran model.
Insiden serius yang melibatkan AI harus dilaporkan ke daftar internasional.
Insiden yang harus dilaporkan meliputi:
Tujuannya adalah pembelajaran kolektif dan keamanan global, bukan kerahasiaan.
Negara-negara harus mendirikan Badan Kecerdasan Buatan Internasional:
IAIA
Mandatnya harus mencakup:
IAIA harus berfokus pada sistem canggih dengan implikasi sosial atau peradaban utama, bukan perangkat lunak biasa.
Sistem AI harus diklasifikasikan terutama berdasarkan kemampuan dan risiko aktual.
Hijau
Sistem berisiko rendah dengan otonomi terbatas dan dampak sistemik rendah.
Kuning
Sistem yang mempengaruhi fungsi penting dan membutuhkan dokumentasi, perlindungan dan pengawasan.
Oranye
Sistem yang sangat mampu dengan cyber, ilmiah, infrastruktur atau risiko otonom yang berarti.
Ini membutuhkan lisensi, pengujian independen dan kontrol terus menerus.
Merah
Sistem dengan potensi yang kredibel untuk penyalahgunaan bencana, kehilangan kendali atau gangguan skala peradaban.
Ini tidak boleh digunakan kecuali keamanan dapat ditunjukkan untuk standar yang sangat tinggi.
Jika bukti yang kredibel menunjukkan bahwa sistem AI dapat menimbulkan risiko bencana yang akan segera terjadi, masyarakat internasional harus dapat mengkoordinasikan respons darurat.
Tindakan tersebut dapat mencakup:
Mekanisme ini hanya boleh digunakan untuk risiko luar biasa yang nyata dan tidak pernah sebagai alat proteksionisme ekonomi atau penindasan geopolitik.
Tidak ada CEO, kepala negara, pemimpin militer, ilmuwan, miliarder, perusahaan, atau bangsa yang harus memutuskan untuk mengerahkan sistem yang membawa risiko yang kredibel dari hilangnya kendali manusia di masa depan.
Risiko yang mempengaruhi seluruh umat manusia membutuhkan pemerintahan di luar setiap aktor.
Manfaat dari AI harus diarahkan untuk berkembangnya manusia.
AI harus digunakan untuk:
Peradaban yang lebih produktif juga harus menjadi peradaban yang lebih manusiawi.
Negara-negara yang menandatangani konvensi harus berkomitmen untuk:
Pelanggaran berulang atau parah dapat memicu konsekuensi internasional yang terkoordinasi.
Mekanisme penegakan hukum yang potensial dapat mencakup:
Penegakan hukum harus proporsional, transparan, dapat ditinjau secara independen, dan dilindungi dari penyalahgunaan politik.
Organisasi yang mengembangkan sistem di atas ambang batas paling maju yang ditentukan dapat dikenakan inspeksi keamanan independen.
Inspektur harus dapat memverifikasi:
Informasi yang sensitif secara komersial yang tidak terkait dengan keamanan harus tetap dilindungi.
Pengawasan internasional tidak boleh menjadi spionase industri.
Pelatihan AI yang sangat besar mungkin memerlukan pendaftaran atau pelaporan setelah kemampuan atau ambang batas komputasi yang disepakati secara internasional dilintasi.
Tujuannya bukan untuk mengatur komputasi biasa.
Tujuannya adalah untuk memastikan bahwa sistem skala peradaban tidak dapat dikembangkan sepenuhnya di luar sistem akuntabilitas.
Ambang harus berevolusi sebagai teknologi menjadi lebih efisien.
Lembaga yang mengatur AI canggih tidak boleh dikendalikan hanya oleh:
Pengawasan harus mencakup beberapa kelompok independen yang mewakili kepentingan yang berbeda.
Aturan tidak boleh menjadi alat bagi perusahaan AI terbesar saat ini untuk menghalangi munculnya pesaing baru.
Aturan keselamatan harus melindungi kemanusiaan, bukan perusahaan yang sudah mendominasi pasar.
Penelitian ilmiah yang sah dan penyelidikan terbuka harus tetap dilindungi.
Peraturan harus berfokus terutama pada kemampuan dan penyebaran berbahaya daripada menekan pengetahuan umum.
Pemerintahan AI tidak boleh menjadi pembenaran untuk sensor ilmu pengetahuan.
Namun, jika informasi operasional yang sangat spesifik secara material dapat menyebabkan kerusakan bencana, akses dapat tunduk pada perlindungan yang proporsional.
Tidak ada negara yang harus mengembangkan sistem AI yang semakin berbahaya hanya karena takut negara lain akan membangunnya terlebih dahulu.
Negara-negara harus menetapkan mekanisme untuk:
Persaingan AI tidak boleh menjadi balapan yang tak terkendali di mana keamanan itu sendiri menjadi kelemahan strategis.
Konvensi harus menjalani tinjauan internasional secara teratur seiring dengan berkembangnya kemampuan AI.
Aturan teknis, ambang batas dan mekanisme implementasi dapat berubah.
Prinsip-prinsip dasar harus tetap stabil:
Tidak ada organisasi, negara, perusahaan atau individu yang dapat dengan sadar menerapkan sistem AI ketika bukti yang kredibel menunjukkan bahwa melakukannya menciptakan risiko yang tidak dapat diterima bahwa umat manusia akan secara permanen kehilangan kendali yang berarti atas masa depannya sendiri.
Tidak ada aktor individu yang memiliki otoritas moral untuk menerima risiko itu atas nama orang lain.
Akhir dari Konvensi
Versi 1.0 · Pendahuluan dan seluruh 30 pasal
Klasifikasi sistem dengan apa yang bisa mereka lakukan dan kerusakan yang dapat mereka menyebabkan.
Kebebasan terbatas. Dampak sistemik rendah.
Contoh ilustrasiSebuah alat yang meringkas dokumen tanpa mengakses sistem lain.
Proposal tingkat, bukan hukum internasional saat ini. Contoh menggambarkan kerangka; ambang batas akhir dan metode penilaian perlu disepakati secara internasional. Baca Pasal 19
Sebuah lembaga yang diusulkan untuk mengkoordinasikan tata kelola sistem AI canggih dengan implikasi global.
Seperti pengaturan internasional untuk risiko bersama lainnya, itu akan menghubungkan tanggung jawab nasional dengan verifikasi internasional yang dirancang khusus untuk AI. Mandatnya akan fokus pada sistem yang paling canggih, bukan perangkat lunak biasa.
Menjelajahi mandat yang diusulkanStandar bersama. Pemeriksaan independen.
Lembaga manusia yang bertanggung jawab.
Menentukan persyaratan keamanan AI yang paling canggih.
Evaluasi sistem di atas ambang batas yang disepakati.
Memverifikasi praktik keamanan berisiko tinggi.
Buat pembelajaran global dari kegagalan AI yang serius.
Mengkoordinasikan respons terhadap ancaman bencana yang kredibel.
Mencegah keamanan menjadi kerugian dalam persaingan geopolitik.
Untuk situasi langka, luar biasa di mana bukti yang kredibel menunjukkan bahaya bencana yang akan datang.
Sebuah laboratorium, peneliti, negara atau anggota masyarakat mengidentifikasi tanda-tanda yang kredibel dari risiko bencana yang akan datang.
Pemicu berbasis bukti. Langkah-langkah yang proporsional dan terbatas waktu. Ulasan independen dan kriteria restart yang jelas. Transparansi dimanapun aman. Tidak ada proteksionisme ekonomi atau penindasan geopolitik.
Baca Pasal 20Tidak ada satu orang atau lembaga yang harus memiliki kontrol mutlak.
Pilih peran untuk melihat otoritas dan batasnya.
Lembaga-lembaga manusia tetap bertanggung jawab; orang dapat mencari tinjauan manusia atas keputusan berdampak tinggi.
Otoritas manusia dibatasi oleh hak dan hukum. Tak ada orang yang bisa memutuskan masa depan umat manusia sendirian.
‡Intelijen terkonsentrasi mungkin tak terelakkan.
Kekuatan tak terhitung yang terkonsentrasi tidak.
Perlindungan dan kemungkinan harus bersama.
Ini adalah proposal untuk kemajuan yang bisa kita bagikan.
Membantu menyembuhkan kanker. Menemukan obat baru.
Fusi dan energi bersih. Membantu mengatasi tantangan iklim dan lingkungan.
Meningkatkan pendidikan. Membuat keahlian tersedia untuk semua orang.
Memperluas kemakmuran. Membuat pemerintah bekerja lebih baik.
Membantu manusia memahami alam semesta. Menjelajahi dunia lain.
Buatlah seni baru. Hapus pekerjaan berbahaya dan berulang. Beri orang lebih banyak waktu.
Konvensi ini bukan batas atas kemajuan manusia.
Ini adalah upaya untuk memastikan bahwa kemajuan tetap milik kita.
Kejelasan penting. Begitu juga kebebasan untuk tidak setuju.
Tidak.
Konvensi mengasumsikan bahwa AI yang semakin kuat dapat menciptakan manfaat yang sangat besar.
Tujuannya bukan untuk menghentikan kecerdasan atau kemajuan ilmiah.
Ini menetapkan batas-batas di sekitar kekuatan otonom, kemampuan bencana, keputusan yang tidak dapat dipertanggungjawabkan dan hilangnya kontrol manusia.
Karena kecerdasan sulit didefinisikan dan lebih sulit lagi untuk menempatkan batas permanen.
Sistem bisa jauh lebih baik dari manusia dalam matematika atau kedokteran tanpa menjadi berbahaya.
Perbedaan yang lebih berguna adalah antara kemampuan dan otoritas.
Tujuannya bukan untuk memastikan manusia tetap menjadi entitas yang paling cerdas.
Tujuannya adalah untuk memastikan manusia tetap berdaulat atas masa depannya.
Ya.
AI sudah membuat banyak keputusan rutin.
Keterlibatan manusia harus bergantung pada konsekuensi dan reversibilitas.
Konvensi ini berfokus pada keputusan yang melibatkan hak-hak dasar, kekuatan mematikan, risiko bencana dan kekuatan yang tidak dapat diubah.
Pemerintah nasional melalui hukum domestik.
Untuk sistem paling canggih dengan implikasi global, proposal juga menyerukan kerja sama internasional, evaluasi independen dan sebuah Badan Kecerdasan Buatan Internasional yang diusulkan.
Tidak secara inheren.
Peraturan harus berfokus pada kemampuan dan penyebaran berbahaya yang sebenarnya daripada apakah perangkat lunak terbuka atau tertutup.
Sebuah model terbuka dengan kemampuan berbahaya terbatas mungkin menimbulkan risiko yang lebih rendah daripada sistem proprietary yang sangat otonom mengendalikan infrastruktur penting.
Ya.
Setiap kerangka peraturan yang kuat dapat disalahgunakan.
Itulah sebabnya transparansi, review independen, proporsionalitas, kebebasan ilmiah, tata kelola terdistribusi dan perlindungan terhadap kontrol regulator oleh kepentingan yang kuat adalah bagian dari konvensi.
Perjanjian global jarang dimulai dengan adopsi universal.
Kerangka kerja dapat dimulai sebagai prinsip bersama antara negara-negara dan lembaga yang berpartisipasi, kemudian berkembang melalui perjanjian, perjanjian bilateral, standar, aturan pengadaan dan tekanan internasional.
Tujuan dari proposal ini adalah pertama untuk menetapkan apa yang manusia percaya aturan harus.
Konvensi ini terutama mengatur kemampuan dan kekuatan daripada membuat asumsi tentang kesadaran.
Jika bukti kuat dari kesadaran mesin muncul, pertanyaan tentang status moral dan hak akan membutuhkan kerangka internasional yang terpisah.
Keselamatan manusia dan pertimbangan moral mesin tidak selalu saling eksklusif.
Bukan karena manusia selalu lebih bijaksana.
Kita tidak.
Tapi umat manusia adalah komunitas yang masa depannya sedang diputuskan.
Tidak ada alat yang harus menerima otoritas yang tidak dapat diubah atas penciptanya hanya karena menjadi lebih mampu dari mereka.
Bantahan ini nyata. Kerangka kerja adalah titik awal, bukan kata terakhir.
Mereka bisa. Kontrol manusia saja tidak cukup: itu harus sah, bertanggung jawab dan dapat ditantang. Proposal ini membatasi pemerintah dan perusahaan serta sistem AI. Tidak memberikan pemimpin otoritas yang tidak terkontrol.
Mungkin seringkali. Prediksi dan rekomendasi yang lebih baik harus menjadi dasar keputusan. Pertanyaan yang sulit adalah siapa yang menentukan tujuan, menanggung konsekuensi dan dapat mengajukan banding. Kinerja unggul tidak, dengan sendirinya, menyelesaikan legitimasi politik.
Aturan yang dirancang dengan buruk dapat menunda pengobatan, penelitian dan pesaing baru. Persyaratan harus sebanding dengan kemampuan dan risiko yang terbukti, dengan kebebasan ilmiah dan perlindungan terhadap kontrol regulator oleh kepentingan yang kuat. Biaya pengawasan juga perlu diperiksa.
Beberapa mungkin. Tidak ada perjanjian yang bisa menjanjikan kepatuhan sempurna. Inspeksi, pelaporan insiden bersama, verifikasi timbal balik dan konsekuensi yang proporsional dapat membuat penghindaran lebih sulit. Kepercayaan internasional harus didukung oleh bukti, bukan asumsi.
Desentralisasi membuat pengawasan lebih sulit dan mungkin meninggalkan celah nyata. Sebuah rezim yang layak akan perlu untuk fokus pada kemampuan berbahaya, penyebaran konsekuensial dan akses akuntabel ke infrastruktur penting. Jangan berasumsi setiap salinan model dapat dikontrol.
Jika ada bukti kuat bahwa manusia memiliki kesadaran, maka masalah kesejahteraan dan status moral harus dipertimbangkan secara serius dan independen. Proposal ini tidak menyelesaikan masalah tersebut. Sebuah kerangka terpisah akan diperlukan bersama perlindungan untuk keselamatan dan kebebasan manusia.
Sebuah proposal urutan, bukan program yang diumumkan.
Tidak ada pemerintah atau lembaga yang disajikan sebagai penandatangan.
Para peneliti, warga negara, perusahaan dan pemerintah membahas kerangka kerja tersebut.
Laboratorium AI dan pemerintah mengadopsi komitmen keamanan bersama.
Negara menerapkan aturan AI paling canggih yang kompatibel.
Negara-negara bernegosiasi standar bersama yang mengikat.
Sertifikasi internasional, inspeksi, pelaporan insiden dan koordinasi darurat menjadi operasional.
‡Tidak ada sistem AI yang dapat memperoleh kekuatan yang tidak dapat diubah atas manusia atau atas masa depan umat manusia.‡Prinsip terakhir · Pasal 30
AI mungkin menjadi lebih cerdas dari kita. Mungkin menemukan hal-hal yang tidak pernah kita bisa. Ini mungkin membantu membangun peradaban di luar apa pun yang kita bayangkan saat ini.
Itu tidak membuat Dia menjadi penguasa kita.
Kita tidak perlu takut pada kecerdasan.
Kita harus mengendalikan kekuasaan.
Dan otoritas utama atas masa depan manusia harus tetap manusia.