—·
Komitmen keselamatan sukarela baru dapat diuji jika peninjau bisa memeriksa bukti, temuan diungkapkan secara konsisten, dan kegagalan berujung pada konsekuensi.
Bayangkan seseorang meminta kita percaya bahwa sebuah sistem AI aman hanya karena pengembangnya mengatakan sistem itu telah diuji. Pertanyaan berikutnya jelas: apa yang diuji, siapa yang meninjau hasilnya, dan apa yang terjadi ketika ada masalah? Komitmen untuk menguji atau memantau sistem hanya menyatakan niat. Komitmen itu sendiri tidak membuktikan apa yang diuji, siapa yang mendapat akses, apa yang gagal, atau tindakan apa yang menyusul.
Sejak awal, ada batas penting pada bukti yang tersedia. Sumber-sumber terverifikasi untuk artikel ini tidak mencakup naskah pakta maupun dokumentasi mengenai kabar penghentian sementara pelatihan terbaru oleh OpenAI. Karena itu, sumber tersebut tidak dapat memverifikasi isi komitmen, alasan yang dikemukakan untuk penghentian tersebut, ataupun hasilnya. Arahan penulisan menetapkan keduanya sebagai pokok perbandingan; analisis di bawah memperlakukannya sebagai klaim yang perlu diuji, bukan fakta yang telah diverifikasi secara independen. Pembedaan ini penting. Artikel tentang akuntabilitas tidak semestinya menganggap pengumuman sebagai bukti bahwa komitmen telah dijalankan.
Riset dan dokumen kebijakan yang tersedia membantu menjelaskan syarat agar sebuah komitmen dapat diuji. Cakupannya meliputi penilaian keselamatan AI di tingkat internasional, analisis pemerintah tentang sistem multi-agen, penyusunan standar, serta riset mengenai perilaku kelompok agen AI. Secara bersama-sama, sumber-sumber itu mengarah pada pertanyaan praktis: bisakah peninjau dari luar merekonstruksi dasar sebuah keputusan keselamatan dari catatan yang tersedia, mengulangi pengujian terkait, dan menetapkan siapa yang bertanggung jawab ketika bukti tidak mendukung penerapan sistem? (International AI Safety Report 2026; Australian Department of Industry, Science and Resources, Risks and Controls for Multi-Agent Systems; NIST, Summary Analysis of Responses to Request for Information Regarding Security Considerations for AI)
Komitmen sukarela baru bermakna ketika rumusannya diterjemahkan menjadi prosedur yang dapat diamati. Pernyataan seperti “melakukan evaluasi”, misalnya, menyisakan sejumlah pertanyaan penting: versi model mana yang diuji, skenario ancaman apa yang digunakan, apa ambang kelulusannya, siapa evaluatornya, dan apa yang dilakukan jika hasilnya beragam? Catatan yang memadai semestinya menghubungkan komitmen dengan rencana pengujian bertanggal, sistem yang diuji, hasil dan keterbatasannya, serta keputusan yang diambil sebagai tindak lanjut. Tanpa rangkaian bukti semacam itu, perusahaan bisa saja telah melakukan evaluasi, sementara pihak luar tetap tidak dapat mengetahui apa yang berhasil dibuktikan.
Peninjauan independen menuntut lebih dari sekadar ringkasan yang menyatakan sebuah model lulus. Peninjau memerlukan cukup banyak perincian untuk menilai kelayakan pengujian dan memastikan hasilnya dapat direproduksi. Ini bukan berarti setiap detail teknis yang sensitif harus dipublikasikan. Perusahaan tetap perlu menjelaskan informasi apa yang dapat diperiksa peninjau independen, apa yang dirahasiakan, dan alasannya. Analisis NIST yang diterbitkan atas tanggapan terhadap permintaan informasi mengenai keamanan AI memberi contoh terbuka tentang cara menghimpun masukan terkait tata kelola teknis agar dapat ditelaah. Namun, analisis itu sendiri bukan bukti bahwa model tertentu telah lulus uji keselamatan. (NIST)
Batas peninjauan makin penting ketika sistem kian rumit. Sistem multi-agen terdiri atas sejumlah agen AI yang dapat membagi tugas, bertukar informasi, atau bertindak secara berurutan. Menguji satu komponen saja bisa luput menangkap kegagalan yang muncul dari interaksi antarkomponen. Laporan pemerintah Australia pada 2026 membahas risiko dan pengendalian untuk sistem semacam ini. Laporan tersebut relevan untuk menilai apakah evaluasi seharusnya menguji model secara terpisah atau juga susunan sistem yang diterapkan. Judul dan cakupan laporan itu menunjukkan persoalan tata kelola yang perlu dihadapi, tetapi tidak membuktikan bahwa perusahaan tertentu telah menerapkan rekomendasinya. (Australian Department of Industry, Science and Resources)
Implikasinya bagi pakta ini jelas: setiap komitmen harus menyebutkan bukti yang akan dihasilkan dan siapa yang berwenang memeriksanya. Janji untuk menguji sistem tanpa catatan yang terdefinisi sulit dibedakan dari komitmen yang tak dapat diperiksa secara independen.
Istilah “peninjauan independen” dapat merujuk pada pengaturan yang sangat beragam. Peninjau bisa berasal dari luar tim pengembangan, tetapi tetap bekerja untuk perusahaan; dikontrak perusahaan dengan mandat formal yang melindungi independensinya; atau ditunjuk berdasarkan standar publik. Label saja tidak menjamin independensi. Yang menentukan ialah apakah peninjau dapat memilih atau mengajukan keberatan atas pengujian, memeriksa catatan yang relevan, menyampaikan temuan tanpa persetujuan perusahaan, serta memastikan masalah yang ditemukan benar-benar ditangani.
Di sini ada ketegangan yang nyata. Evaluasi model AI terdepan dapat mencakup informasi sensitif, termasuk perincian yang dapat membantu orang mengakali mekanisme pengamanan. Memublikasikan setiap celah atau prompt pengujian bisa melemahkan perlindungan yang sedang dinilai. Namun, kerahasiaan tidak boleh menjadi alasan serba guna untuk menahan kesimpulan. Sistem yang dapat diterapkan perlu memisahkan bukti teknis terbatas dari temuan untuk publik: peninjau memeriksa bukti teknis dalam kondisi terkendali, sedangkan laporan publik menjelaskan cakupan peninjauan, keterbatasan penting, risiko penting yang belum terselesaikan, dan apakah perbaikan yang diwajibkan telah dituntaskan. Ini merupakan usulan standar pengungkapan, bukan klaim bahwa sumber-sumber yang disebutkan menetapkan satu aturan universal.
International AI Safety Report 2026 memberi contoh penilaian publik: laporan internasional bertanggal ini menyediakan landasan bersama untuk membahas keselamatan AI, alih-alih hanya mengandalkan keterangan privat perusahaan mengenai modelnya sendiri. Penerbitan laporan tersebut menunjukkan bahwa penilaian kolektif dapat dibuka kepada publik; tetapi, hal itu tidak membuktikan bahwa kesimpulannya mengikat para pengembang atau mencakup setiap model AI terdepan. (International AI Safety Report 2026) Laporan umum dapat menguraikan risiko dan metode, tetapi tidak dapat menggantikan akses ke catatan pengujian sistem tertentu.
Publikasi NIST pada 2025 memberi contoh lain dalam perancangan proses: dokumen itu merangkum tanggapan terhadap permintaan informasi mengenai pertimbangan keamanan AI. Ini merupakan proses pengumpulan masukan dan analisis yang terdokumentasi secara publik, bukan audit model atau tindakan penegakan. (NIST) Konsultasi publik dapat membantu merumuskan aspek yang patut dipertimbangkan dalam peninjauan yang baik. Namun, hanya akses ke bukti spesifik suatu sistem yang dapat memastikan apa yang terjadi dalam evaluasi tertentu.
Bagi para praktisi, pertanyaan utamanya bukan sekadar apakah auditor itu “independen”. Tanyakan informasi apa yang dapat diakses peninjau, temuan apa yang boleh mereka publikasikan, siapa yang dapat membatasi cakupan peninjauan, dan apakah mereka bisa memastikan perbaikan telah diuji. Jawaban atas pertanyaan-pertanyaan itu menentukan apakah independensi benar-benar ada dalam praktik.
Pelaporan keselamatan paling mudah dilakukan ketika model lulus semua pengujian dan organisasi dapat menerbitkan ringkasan yang rapi. Akuntabilitas justru diuji saat hasilnya belum pasti, mekanisme pengamanan gagal, atau evaluasi menemukan kemampuan yang sebelumnya tidak diperkirakan organisasi. Jika perusahaan hanya mengungkapkan pengujian yang berhasil, pihak luar tidak dapat membedakan praktik pelaporan yang konsisten dari pengungkapan yang pilih-pilih. Kerangka kerja yang kredibel membutuhkan catatan minimum yang sama, baik untuk temuan yang meyakinkan maupun yang merugikan.
Paling tidak, laporan publik perlu menyebutkan versi model atau sistem, tanggal evaluasi, kategori pengujian, garis besar metodologi, hubungan peninjau dengan perusahaan, keterbatasan penting, serta tindak lanjut atas temuan material. “Tindak lanjut” berarti langkah yang diambil perusahaan setelah menerima hasil: mengubah sistem, mengulang pengujian, membatasi penggunaan, menunda peluncuran, atau menerima risiko yang tersisa. Usulan ini tidak menuntut pengungkapan detail operasional yang dapat membahayakan. Namun, perusahaan tetap perlu menyatakan apakah ditemukan masalah material dan apakah responsnya telah diverifikasi.
Pengumuman investasi Google DeepMind dalam riset keselamatan multi-agen menjadi contoh perusahaan tertentu yang menyatakan komitmen riset. Pengumuman itu dapat membuktikan bahwa perusahaan secara terbuka menetapkan bidang tersebut sebagai prioritas riset. Tanpa data pelaksanaan, pengumuman itu tidak membuktikan dampak riset terhadap sistem yang telah diterapkan atau menunjukkan bahwa dampak tersebut diverifikasi oleh peninjau independen. (Google DeepMind, “Investing in Multi-Agent AI Safety Research”) Pembedaan bukti yang sama berlaku bagi sebuah pakta: janji publik merupakan titik awal untuk pemeriksaan, bukan hasil dari pemeriksaan itu sendiri.
Uraian Cooperative AI mengenai pelajaran dari insiden keselamatan multi-agen juga relevan. Sumber tersebut secara eksplisit membahas insiden dan pelajaran yang dapat dipetik, sehingga berguna untuk mempertimbangkan bagaimana kegagalan dapat menjadi masukan bagi pengendalian. Namun, analisis insiden tidak dapat menggantikan catatan audit perusahaan: yang pertama dapat menguraikan pola dan pelajaran, sementara yang kedua harus menunjukkan apakah pengembang tertentu telah menerapkannya pada sistem tertentu. (Cooperative AI, “Lessons from Multi-Agent Safety Incidents”) Rezim pengungkapan perlu mempertahankan pembedaan itu, alih-alih menyajikan riset umum sebagai bukti kepatuhan di tingkat perusahaan.
Templat pelaporan yang konsisten akan memungkinkan perbandingan ant perusahaan dan dari waktu ke waktu. Templat itu juga perlu menandai mutu bukti: telah diuji dan diverifikasi secara independen, diuji secara internal, atau belum diuji. Klasifikasi ini merupakan rekomendasi editorial, bukan kategori yang dikemukakan dalam laporan-laporan yang dikutip. Tujuannya sederhana: mencegah kata “dievaluasi” menutupi perbedaan besar dalam akses, metode, atau verifikasi.
Kerangka bersama hanya berguna jika dapat membuat evaluasi yang berbeda-beda bisa dibandingkan, tanpa berpura-pura bahwa semuanya menguji hal yang sama. Catatan minimum yang disepakati perlu mengidentifikasi batas sistem, tugas dan kondisi penerapan yang ditinjau, bukti yang diperiksa, akses peninjau, serta keputusan yang diambil. Tanpa unsur-unsur itu, dua perusahaan dapat memakai label yang sama—“evaluasi keselamatan”—untuk pengujian dengan cakupan berbeda, tanpa dasar perbandingan yang berarti. Istilah bersama adalah titik awal; aturan pelaporan bersama membuat perbedaannya terlihat.
Batas sistem sangat penting untuk susunan multi-agen. Peninjau perlu mengetahui agen, perangkat, alih tugas, dan kondisi operasi mana yang tercakup dalam evaluasi. Jika salah satu unsur itu berubah, perusahaan perlu menjelaskan apakah perubahan tersebut masih termasuk dalam peninjauan awal atau memerlukan pengujian baru. Ini usulan pengendalian, bukan temuan yang dikaitkan dengan sumber-sumber tadi. Usulan ini menyasar kegagalan tata kelola yang mendasar: menganggap hasil dari satu konfigurasi sebagai jaminan bagi konfigurasi lain yang berbeda secara material.
Tulisan di blog riset Google mengajukan pertanyaan tentang kapan dan mengapa sistem agen bekerja, dengan mengarahkan perhatian pada kinerja sistem, bukan hanya satu model secara terpisah. (Google Research, “Towards a Science of Scaling Agent Systems: When and Why Agent Systems Work”) Implikasi kebijakannya: mekanisme pengamanan yang terbukti dalam satu situasi tidak semestinya otomatis dianggap berlaku dalam situasi lain, terutama ketika tugas, perangkat, atau interaksi antaragen berubah. Evaluasi perlu menetapkan batas dengan jelas: susunan apa yang diuji dan perubahan seperti apa yang mengharuskan peninjauan baru.
Laporan pemerintah Australia tentang risiko dan pengendalian sistem multi-agen pada 2026 menjadi contoh institusional lainnya. Keberadaan laporan itu menunjukkan bahwa pemerintah telah menilai persoalan tata kelola teknis tertentu. Namun, sumber yang tersedia tidak membuktikan bahwa rekomendasinya telah diadopsi sebagai kewajiban yang mengikat atau ditegakkan secara independen. (Australian Department of Industry, Science and Resources) Bagi pakta ini, di sinilah letak perbedaan antara koordinasi dan akuntabilitas: harapan bersama baru membawa konsekuensi ketika organisasi wajib menunjukkan cara memenuhinya dan menjelaskan apa yang terjadi jika gagal.
Tidak ada konfirmasi publik dalam sumber-sumber terverifikasi yang menjelaskan bagaimana pakta 29 September mengatur pengungkapan, akses independen, atau konsekuensi jika komitmen tidak dipenuhi. Sumber-sumber tersebut juga tidak mendokumentasikan kabar penghentian sementara pelatihan OpenAI. Karena itu, perbandingan yang diminta dalam arahan penulisan hanya dapat dilakukan pada tataran logika tata kelola: penghentian oleh perusahaan, jika benar terjadi seperti yang diberitakan, merupakan tindakan sepihak, sedangkan pakta bersama berupaya membentuk harapan yang berlaku umum. Tak satu pun dari kedua bentuk itu membuktikan bahwa mekanisme pengamanan bekerja. Penghentian sementara mungkin merupakan langkah bijak, tetapi tanpa pemicu, cakupan, peninjauan, dan syarat untuk melanjutkan pelatihan yang jelas, pihak luar tidak dapat menilai efektivitasnya. Kerangka bersama mungkin bermanfaat, tetapi tanpa bukti independen dan konsekuensi, kerangka itu berisiko berhenti sebagai pernyataan.
Kerangka konsekuensi perlu membedakan tiga jenis kegagalan yang kerap disatukan: pengujian menemukan masalah keselamatan; perusahaan tidak dapat menunjukkan bukti bahwa pengujian wajib telah dilakukan; atau peninjau tidak diberi akses yang diperlukan untuk mengambil kesimpulan. Masing-masing menuntut respons berbeda. Kegagalan dalam pengujian memerlukan langkah mitigasi yang terdokumentasi dan pengujian ulang. Bukti yang tidak tersedia mengharuskan perusahaan menjelaskan kekurangannya dan menuntaskan peninjauan sebelum mengklaim patuh. Jika akses peninjau dibatasi, laporan publik perlu menyatakan bahwa jaminan yang diberikan terbatas—bukan otomatis menyatakan sistem lulus.
Temuan peninjau juga harus disampaikan kepada pihak yang dapat menindaklanjutinya. Jika laporan hanya dikirim kepada tim pengembangan, tim itu sendiri yang memutuskan apakah bukti yang dimilikinya mengharuskan tindakan. Pengaturan yang lebih kuat menunjuk pengambil keputusan independen—misalnya regulator, lembaga evaluasi terakreditasi, atau otoritas publik yang ditunjuk—untuk menentukan apakah respons perusahaan memenuhi persyaratan kerangka kerja. Ukurannya bukan gelar mentereng yang disandang peninjau, melainkan apakah pihak di luar rantai pengembangan dapat meminta bukti tambahan, evaluasi baru, atau pembatasan penerapan.
Konsekuensi yang proporsional dapat diterapkan secara bertahap: mewajibkan rencana perbaikan dengan penanggung jawab yang jelas; meminta pengujian ulang secara independen berdasarkan kriteria yang gagal dipenuhi; membatasi penerapan selama risiko material belum terselesaikan; dan mengizinkan penerapan kembali hanya setelah peninjau memverifikasi bahwa syarat-syarat tertentu telah dipenuhi. Ini rekomendasi kebijakan, bukan aturan yang sudah ditetapkan oleh sumber-sumber yang dikutip. Tahapan tersebut penting karena janji umum untuk “menangani kekhawatiran” tidak menjelaskan kepada publik apakah masalah sudah diperbaiki, apakah perbaikannya diuji, atau siapa yang menerima risiko yang tersisa.
Kabar penghentian sementara pelatihan OpenAI tidak semestinya diperlakukan sebagai bukti bahwa komitmen sukarela berhasil. Kumpulan sumber terverifikasi tidak mendokumentasikan keputusan itu, durasinya, pemicunya, ataupun hasilnya. Sekalipun penghentian itu terjadi seperti yang disebut dalam arahan editorial, keputusan satu perusahaan tidak dapat membuktikan bahwa pakta mengubah perilaku berbagai perusahaan. Untuk menilai penghentian tersebut sebagai kasus, peneliti memerlukan catatan yang menunjukkan bukti apa yang memicunya, siapa yang meninjau bukti itu, syarat apa yang mengatur dimulainya kembali pelatihan, dan apakah mekanisme pengamanan yang dihasilkan telah diuji secara independen.
Ukuran yang lebih berguna ialah apakah pendekatan tersebut dapat diterapkan secara konsisten. Jika sebuah komitmen efektif, ekspektasi pelaporan yang sama seharusnya berlaku ketika perusahaan bertindak secara sukarela, ketika peninjau eksternal menemukan masalah, dan ketika perubahan pada sistem berpotensi membatalkan hasil pengujian sebelumnya. Tindakan perusahaan sendiri bisa menjadi sinyal penting. Namun, tindakan itu bukan pengganti kerangka yang membuat tindakan maupun kelalaian terlihat.
Riset dan dokumen kelembagaan yang tersedia memberikan ujian yang ketat, tetapi praktis, bagi pakta ini. International AI Safety Report, analisis NIST atas tanggapan publik, laporan Australia tentang sistem multi-agen, serta riset dan analisis insiden dari Google dan Cooperative AI masing-masing menyumbangkan jenis bukti berbeda: penilaian internasional, masukan untuk penyusunan standar, analisis pemerintah, riset sistem, atau pelajaran dari insiden. Tidak satu pun boleh digambarkan secara keliru sebagai bukti bahwa pakta telah dijalankan atau model tertentu telah memenuhi ambang keselamatan. (International AI Safety Report 2026; NIST; Australian Department of Industry, Science and Resources; Google DeepMind; Cooperative AI)
Rekomendasi konkretnya: para penanda tangan pakta perlu menerbitkan templat pengungkapan bersama dan protokol peninjauan independen dalam 90 hari setelah penandatanganan. Setiap perusahaan perlu menjelaskan bukti yang dapat diperiksa peninjau, pengujian yang memicu eskalasi, temuan yang akan diungkapkan secara agregat, serta langkah yang harus ditempuh sebelum masalah yang belum terselesaikan dapat dinyatakan tuntas. Templat itu harus membedakan verifikasi independen dari penilaian internal dan menjelaskan kapan informasi dirahasiakan demi keselamatan. Peninjau harus dapat menyatakan apakah pembatasan tersebut secara material mengurangi cakupan kesimpulan mereka.
Prediksinya bersyarat: pada akhir 2027, komitmen sukarela akan dinilai bukan dari rumusannya, melainkan dari kesediaan para penanda tangan menerbitkan catatan peninjauan yang dapat dibandingkan dan menunjukkan respons terverifikasi terhadap kegagalan. Jika tidak, pemerintah perlu mengubah persyaratan minimum tentang bukti dan pengungkapan menjadi standar yang dapat ditegakkan. Tuntut buktinya, lalu cermati apa yang terjadi ketika komitmen tak terpenuhi.