—·
Riset interpretabilitas membantu auditor menelaah perilaku model. Namun, kesepakatan sukarela perlu menjamin akses independen, catatan insiden, dan perbaikan terverifikasi.
Bayangkan sebuah peninjauan sebelum peluncuran: model menunjukkan perilaku yang mengkhawatirkan, tetapi pihak di luar pengembang tak bisa memeriksa pengujian, mengulang hasil, atau memastikan perbaikannya. Pertanyaan utama dalam setiap kesepakatan AI sukarela bukan sekadar apakah perusahaan berjanji mengembangkan AI dengan lebih aman. Yang perlu dipastikan ialah apakah peninjau independen dapat membuktikan apa yang diuji, apa yang gagal, dan perubahan apa yang dilakukan.
Sumber riset yang tersedia untuk artikel ini mendokumentasikan metode interpretabilitas, evaluasi model, dan eksperimen audit. Namun, sumber tersebut tidak memuat teks kesepakatan AI sukarela maupun membuktikan laporan tentang penghentian sementara dan penarikan peluncuran oleh OpenAI yang disebut dalam arahan editorial. Karena itu, peristiwa tersebut tak dapat diperlakukan sebagai bukti terverifikasi dalam artikel ini. Jika terdokumentasi, keputusan perusahaan untuk menghentikan sementara atau menarik sebuah peluncuran hanya menunjukkan bahwa perusahaan mengambil tindakan. Keputusan itu sendiri tidak membuktikan bahwa perlindungan mampu mendeteksi risiko secara andal atau bahwa langkah perbaikan berhasil.
Pembedaan ini harus menjadi pedoman bagi pengawasan dewan. Kesepakatan AI sukarela merupakan komitmen, bukan pengganti aturan yang dapat ditegakkan atau pemeriksaan independen. Nilainya bergantung pada sejauh mana kesepakatan itu memberi peninjau akses ke bukti yang bermakna dan menghasilkan catatan yang dapat diperiksa kemudian. Ujian praktisnya: mampukah auditor menguji klaim perusahaan, bukan sekadar memastikan perusahaan telah mengikuti prosedurnya sendiri?
Interpretabilitas mengkaji hubungan antara representasi dan komputasi internal model dengan keluaran yang dihasilkannya. Sparse autoencoder, misalnya, berupaya menggambarkan aktivitas internal model sebagai sekumpulan fitur yang lebih mudah dipahami. Gemma Scope dari Google DeepMind menyediakan perangkat semacam ini untuk model Gemma 2 dengan 2 miliar dan 9 miliar parameter. Peneliti pun dapat mengamati model pada dua skala. Namun, ketersediaan perangkat interpretabilitas saja tidak membuktikan bahwa sebuah sistem aman. (Google DeepMind)
Riset Anthropic tentang penelusuran sirkuit berupaya memetakan tahapan internal yang menghubungkan prompt dengan respons model. Penelitian mereka tentang penelusuran proses penalaran model bahasa menyajikan contoh aktivitas internal yang dapat dikaitkan dengan perilaku keluaran tertentu. Rilis terpisah menyediakan perangkat penelusuran sirkuit sumber terbuka. Upaya ini dapat membantu peneliti merumuskan dan menguji hipotesis tentang model. Namun, pendekatan tersebut belum memberikan penjelasan lengkap tentang sistem, apalagi menjamin hasil yang sama ketika prompt, konteks, atau lingkungan penerapannya berubah. (Anthropic; Anthropic, “Open source circuit tracing”)
OpenAI juga menerbitkan riset tentang sparse circuits, metode untuk mengidentifikasi komponen yang lebih kecil dan lebih mudah ditafsirkan di dalam jaringan saraf. Riset ini mengkaji apakah bagian internal model dapat diperiksa secara terstruktur, alih-alih diperlakukan sebagai satu kesatuan yang tak tembus pandang. Namun, keberadaan suatu metode belum membuktikan cakupan dan keandalannya dalam menghadapi kondisi adversarial, ataupun kelayakannya untuk mengaudit model frontier yang telah diterapkan. Evaluator perlu menguji persoalan-persoalan tersebut secara terpisah. (OpenAI; paper)
Berbagai riset ini menawarkan jenis bukti yang berbeda: akses ke perangkat, metode untuk memeriksa komponen model, serta kemungkinan penjelasan atas perilakunya. Tak satu pun, jika berdiri sendiri, membuktikan bahwa perlindungan keselamatan telah mencakup risiko secara andal. Bagi operator, temuan interpretabilitas merupakan petunjuk yang perlu divalidasi, bukan sertifikat kelulusan. Rencana audit harus mencatat perilaku apa yang dapat diperiksa dengan suatu metode, apa yang luput dari pemeriksaan, dan bagaimana temuan dibandingkan dengan evaluasi eksternal. Jika peninjau melihat fitur internal yang tampak relevan, mereka perlu menguji apakah fitur itu dapat memprediksi perilaku dalam beragam kondisi pengujian, bukan sekadar menerima visualisasi yang meyakinkan.
Perusahaan dapat menyebut suatu evaluasi “independen” sembari tetap mengendalikan antarmuka model, data pengujian, pencatatan, dan ketentuan publikasi. Independensi baru bermakna jika peninjau cukup terpisah dari pengembang model untuk membuat penilaian sendiri, sekaligus memiliki akses yang memadai untuk menguji klaim pengembang. Riset yang dirujuk menunjukkan sejumlah bentuk pemeriksaan teknis, tetapi sumber yang tersedia belum menetapkan standar akses bagi auditor eksternal. Kesenjangan ini perlu diperhitungkan dalam perancangan setiap kesepakatan.
Setidaknya, auditor independen memerlukan ruang lingkup yang jelas, kondisi pengujian yang terdokumentasi, serta akses ke versi model dan keluaran evaluasi yang relevan. Jika akses langsung ke bobot atau infrastruktur sensitif tidak memungkinkan, perusahaan perlu mengungkapkan pembatasan itu dan menjelaskan bukti alternatif yang dapat diperiksa peninjau. Catatan audit juga harus membedakan pengujian yang dilakukan auditor dari pengujian yang hanya dirangkum perusahaan. Catatan tersebut perlu mencantumkan batasan yang diketahui, termasuk apakah evaluasi hanya mencakup versi model untuk riset atau konfigurasi yang benar-benar diterapkan.
Riset Anthropic tentang audit model bahasa untuk mendeteksi tujuan tersembunyi sangat relevan. Tujuan tersembunyi ialah sasaran yang memengaruhi perilaku model, tetapi tidak tampak dari responsnya dalam interaksi biasa. Makalah tersebut memandang audit sebagai persoalan empiris: peninjau perlu berupaya mendeteksi perilaku yang mungkin tak terlihat melalui interaksi standar. Riset ini menegaskan pentingnya merancang audit dengan saksama, tetapi tidak membenarkan anggapan bahwa satu metode saja mampu menemukan setiap tujuan tersembunyi. (Anthropic, “Auditing Language Models for Hidden Objectives”)
Bagi praktisi, pertanyaan tentang pengadaan dan tata kelola sebenarnya sederhana. Siapa yang memilih pengujian? Siapa yang dapat memeriksa hasil mentah dan mengulang evaluasi? Apa yang terjadi jika auditor berbeda pendapat dengan perusahaan dalam menafsirkan hasil? Jika semua jawaban bergantung sepenuhnya pada kebijakan pengembang model, peninjauan tersebut mungkin tetap berguna, tetapi belum memberikan jaminan independen.
Metode interpretabilitas dapat menemukan pola yang luput dari pengujian perilaku biasa. Namun, sinyal internal harus dikaitkan dengan risiko yang berarti dalam praktik. Riset Anthropic tentang persona vectors mengkaji representasi internal yang berkaitan dengan kecenderungan model mengambil persona tertentu. Pertanyaan operasionalnya bukan apakah representasi semacam itu dapat ditemukan dalam lingkungan riset, melainkan apakah keberadaannya secara konsisten memprediksi perilaku yang tak diinginkan dalam kondisi penggunaan nyata. (Anthropic)
Riset Anthropic tentang introspeksi meneliti apakah model dapat melaporkan aktivitas internalnya sendiri. Laporan semacam ini dapat membantu menyusun hipotesis tentang apa yang sedang dilakukan model. Namun, uraian model mengenai keadaan internalnya bukanlah pengukuran independen: laporan itu sendiri merupakan keluaran model dan harus dibandingkan dengan bukti lain. (Anthropic)
Natural-language autoencoder dan riset Anthropic tentang diff tool menawarkan pendekatan lain untuk mengubah sinyal internal menjadi representasi yang dapat diperiksa manusia. Metode ini dapat membantu peninjau mengkaji fitur dan membandingkan berbagai kemungkinan penjelasan. Meski demikian, auditor tetap perlu memastikan bahwa suatu interpretasi stabil, dapat direproduksi evaluator lain, dan memperbaiki kemampuan mendeteksi kegagalan keselamatan yang telah didefinisikan. Sumber-sumber yang dirujuk tidak membuktikan bahwa teknik-teknik ini, baik secara terpisah maupun bersama-sama, mampu mencakup seluruh risiko model frontier. (Anthropic, “Natural language autoencoders”; Anthropic, “Diff tool”)
Padukan analisis internal dengan pengujian perilaku, lalu dokumentasikan jika keduanya menghasilkan kesimpulan berbeda. Sinyal yang mengkhawatirkan harus memicu pengujian terarah; hasil analisis internal yang tampak bersih tidak boleh mengesampingkan kegagalan dalam evaluasi eksternal. Perlakukan interpretabilitas sebagai salah satu dari beberapa aliran bukti, dengan batasan yang jelas dan penanggung jawab yang ditunjuk untuk menuntaskan temuan yang saling bertentangan.
Pengungkapan insiden menjadi titik ketika komitmen sukarela diterapkan secara nyata. Catatan yang berguna harus menyebut model dan versi yang terdampak, konteks kemunculan masalah, cara masalah terdeteksi, tingkat keparahannya, serta langkah penanganan segera. Catatan itu perlu menyimpan informasi yang cukup agar peninjau independen dapat membedakan kegagalan yang bisa direproduksi dari laporan yang belum terverifikasi. Informasi sensitif mungkin perlu diakses secara terbatas, tetapi penilaian atas perbaikan akan sulit dilakukan jika tak satu pun peninjau eksternal dapat memeriksa bukti.
Langkah perbaikan juga memerlukan jejak dokumentasi tersendiri. Untuk setiap temuan, catat penanggung jawab, tenggat keputusan, perubahan yang dilakukan, dan pengujian ulang dalam kondisi yang sama dengan saat kegagalan awal terjadi. Jika model diubah, pengujian ulang harus memastikan perilaku awal telah berubah sekaligus memeriksa kemungkinan munculnya regresi di bagian lain. Penutupan tiket bukan bukti bahwa risiko telah dituntaskan. Buktinya terletak pada hasil pengujian, penilaian peninjau, dan alasan terdokumentasi atas paparan risiko yang masih tersisa.
Dewan perlu menerima gambaran ringkas yang berguna untuk mengambil keputusan: temuan berkeparahan tinggi yang belum terselesaikan, perbaikan yang melewati tenggat, perubahan penting pada kemampuan model, serta insiden yang mengubah keputusan penerapan. Dewan tak perlu menafsirkan setiap peta aktivasi atau transkrip evaluasi. Namun, dewan perlu mengetahui apakah peninjauan eksternal dapat dilakukan, apakah manajemen menerima atau menyanggah temuan, dan apakah penerapan tetap berjalan meski ada celah yang telah diketahui. Dengan begitu, pengawasan dewan tidak berhenti pada persetujuan berkala.
Pembedaan dalam arahan editorial antara penghentian sepihak dan kesepakatan tingkat industri hanya berguna jika keduanya dinilai berdasarkan bukti. Penghentian sementara atau penarikan peluncuran dapat menunjukkan bahwa sebuah organisasi memilih untuk menghentikannya. Tindakan itu tidak membuktikan bahwa proses pengambilan keputusan sudah lengkap atau bahwa kendali yang mendasarinya efektif. Kesepakatan AI sukarela dapat mendorong penerapan standar bersama, tetapi tidak memverifikasi klaim perusahaan secara independen. Sumber yang tersedia di sini tidak membuktikan tindakan OpenAI yang dilaporkan, sehingga peristiwa tersebut tak dapat dijadikan kasus yang telah terkonfirmasi. Praktisi sebaiknya meminta catatan keputusan yang diungkapkan sebelum menggunakan peristiwa semacam itu sebagai bukti efektivitas kendali.
Kesepakatan sukarela perlu menetapkan paket bukti yang memungkinkan peninjau eksternal menilai keputusan peluncuran tertentu, bukan sekadar menerima klaim umum bahwa “evaluasi telah dilakukan”. Setidaknya, paket itu harus mencantumkan versi model dan konfigurasi penerapannya; pengujian yang dipilih, tujuan, serta titik butanya; hasil, termasuk kegagalan dan temuan yang belum terselesaikan; serta pembatasan akses bagi auditor. Paket tersebut harus membedakan bukti yang dihasilkan auditor dari bukti yang disediakan pengembang, sekaligus menyimpan detail yang memadai agar peninjau berkualifikasi dapat mengulang atau menguji klaim dari pengujian-pengujian penting.
Kesepakatan itu juga harus memastikan bukti berpengaruh pada keputusan. Sebelum peluncuran diputuskan, perusahaan perlu menetapkan siapa yang berwenang menerima risiko residual, temuan apa yang memicu eskalasi, dan bagaimana perbedaan pendapat auditor disampaikan kepada dewan atau badan pengawasan setara. Ambang batas tak harus sama untuk setiap sistem, tetapi mesti ditetapkan sebelum hasil diketahui. Jika tidak, perusahaan dapat mengubah definisi hasil yang dapat diterima setelah pengujian mengungkap masalah. Untuk setiap temuan penting, catatan harus menghubungkan kegagalan, perubahan korektif, dan pengujian ulang dalam kondisi awal, disertai pemeriksaan regresi bila relevan.
Dalam 12 bulan ke depan, perusahaan perlu bersiap menghadapi pergeseran fokus: dari pertanyaan apakah evaluasi telah dilakukan ke apakah pihak luar dapat mereproduksi atau menguji temuan penting. Ini merupakan prakiraan, bukan jadwal regulasi yang terdokumentasi. Prakiraan tersebut bertolak dari kesenjangan antara berkembangnya teknik interpretabilitas dan audit dengan terbatasnya bukti tentang aturan akses dan pengungkapan bersama dalam sumber yang ditinjau di sini. Menunggu standar final sebelum menata catatan justru akan menyulitkan peninjauan independen.
Praktisi dapat bertindak sekarang: tunjuk penanggung jawab di tingkat dewan untuk keselamatan model frontier, tetapkan hal-hal yang boleh diperiksa auditor sebelum keputusan peluncuran berikutnya, dan biarkan setiap temuan penting tetap terbuka sampai pengujian ulang memastikan langkah korektif berhasil. Terbitkan penjelasan yang terang tentang apa yang telah diuji dan apa yang masih berada di luar cakupan bukti. Pastikan setiap klaim keselamatan sanggup menghadapi upaya independen untuk membuktikan bahwa klaim itu keliru.