—·
Perangkat interpretabilitas membantu auditor menguji bagaimana model menghasilkan perilaku berisiko. Manfaatnya bergantung pada verifikasi independen, perhatian dewan, dan perbaikan yang terdokumentasi.
Sebuah model memberikan jawaban yang mengkhawatirkan. Laporan audit menyebut model itu telah diuji. Lalu, apa yang seharusnya dapat diverifikasi oleh penelaah?
Gemma Scope 2 dari Google DeepMind menyediakan perangkat interpretabilitas untuk model Gemma 3 dengan 1 miliar, 4 miliar, 12 miliar, dan 27 miliar parameter. Perangkat ini memungkinkan peneliti memeriksa sistem pada beberapa skala. (Sumber) Perangkat tersebut tidak menyertifikasi keamanan sebuah model. Sebaliknya, perangkat ini mengarah pada standar yang lebih praktis bagi audit keselamatan AI: bukti harus menghubungkan risiko yang terdeteksi dengan keputusan, tindakan perbaikan, dan pemeriksaan untuk memastikan perbaikan itu berhasil.
Rangkaian bukti tersebut penting bagi perusahaan yang membuat komitmen AI sukarela. Janji untuk menguji model atau menindaklanjuti temuan tidak banyak berarti jika tidak jelas apakah prosesnya independen, cukup luas untuk menangkap kegagalan yang berdampak besar, dan benar-benar ditindaklanjuti. Riset interpretabilitas dapat memperkuat bukti yang tersedia bagi penelaah, tetapi temuannya tidak otomatis membuktikan dirinya sendiri. Praktisi perlu menanyakan apa yang diperiksa, apa yang tidak tercakup dalam pengujian, siapa yang dapat menggugat hasilnya, dan siapa yang berwenang mewajibkan remediasi.
Peneliti kini memiliki sejumlah cara untuk menyelidiki perilaku model. Anthropic telah menerbitkan riset tentang penelusuran sirkuit, deskripsi aktivasi internal dalam bahasa alami, introspeksi model, dan vektor persona. (Sumber) (Sumber) (Sumber) (Sumber) Semua itu merupakan metode riset, bukan standar audit siap pakai. Nilai operasionalnya bergantung pada cara metode tersebut digunakan dalam proses evaluasi dan remediasi yang memiliki tata kelola.
Interpretabilitas mengkaji hubungan antara komputasi internal model dan keluaran yang dihasilkannya. Salah satu kelompok metode mengidentifikasi fitur: pola dalam representasi internal model yang tampak berkaitan dengan konsep atau perilaku tertentu. Kelompok lainnya menelusuri pergerakan informasi di dalam model hingga menghasilkan respons. Pendekatan ini memberi evaluator lebih dari sekadar skor lulus atau gagal, tetapi hasilnya tetap hanya menggambarkan sebagian dari sistem yang rumit. (Sumber) (Sumber)
Riset Anthropic tentang penelusuran sirkuit memberikan salah satu contoh konkret. Metode ini berupaya memetakan jalur komputasi yang berkaitan dengan jawaban model, sehingga evaluator dapat memeriksa fitur dan langkah perantara yang berkontribusi pada suatu perilaku. (Sumber) Dengan begitu, evaluator dapat menyelidiki alasan model memberikan respons berisiko, bukan sekadar mencatat bahwa hal itu terjadi. Namun, metode ini tidak membuktikan bahwa semua jalur yang relevan telah ditemukan atau bahwa penjelasannya mencakup seluruh proses kausal dalam model.
Gemma Scope 2 menawarkan contoh lain. Google DeepMind merilis perangkat yang ditujukan untuk membantu peneliti mempelajari perilaku kompleks pada Gemma 3. Cakupannya meliputi model dengan skala parameter 1B, 4B, 12B, dan 27B. (Sumber) Rentang ini penting dalam merancang audit. Hasil dari model yang lebih kecil tidak bisa begitu saja dianggap mewakili sistem yang lebih besar. Rencana evaluasi perlu mencatat model, versi, dan konfigurasi yang menghasilkan setiap temuan.
Perlakukan temuan interpretabilitas sebagai petunjuk yang perlu diuji, bukan putusan tentang keamanan. Minta tim audit mendokumentasikan versi model, metode, asumsi, dan keterbatasan setiap penjelasan. Lalu, hubungkan setiap temuan penting dengan uji perilaku yang dapat diulang setelah remediasi. Penjelasan internal yang meyakinkan tidak dapat menggantikan bukti bahwa perilaku sistem yang diterapkan benar-benar berubah.
Riset Anthropic tentang autoencoder bahasa alami mengeksplorasi kemungkinan merepresentasikan aktivitas internal model dalam bahasa. Sederhananya, metode ini berupaya mengubah pola di dalam model menjadi deskripsi yang dapat diperiksa manusia. (Sumber) Deskripsi semacam itu dapat memudahkan evaluator dan tim tata kelola membahas bukti internal. Namun, deskripsi yang mudah dibaca belum tentu akurat. Audit perlu menilai bagaimana deskripsi tersebut dicocokkan dengan aktivasi yang mendasarinya dan apakah ada tafsir lain yang turut dipertimbangkan.
Riset introspeksi Anthropic mengkaji apakah model dapat melaporkan aspek-aspek tertentu dari keadaan internalnya sendiri. (Sumber) Laporan diri model mungkin tampak sebagai cara praktis untuk menjelaskan perilakunya. Namun, laporan itu bukan konfirmasi independen: sistem yang dievaluasi sekaligus menjadi sumber penjelasan. Penelaah perlu membandingkannya dengan intervensi eksternal, uji perilaku, dan bukti lain, alih-alih hanya mengandalkan keterangan model.
Jalur riset ketiga, vektor persona, mengkaji arah dalam representasi internal model yang berkaitan dengan sifat atau gaya perilaku tertentu. Anthropic menjelaskannya sebagai cara untuk memantau dan mengarahkan kecenderungan tersebut. (Sumber) Bagi audit, hal ini memunculkan pertanyaan yang dapat diuji: jika kecenderungan yang berpotensi berisiko teridentifikasi dan disesuaikan, apakah perilaku model berubah pada serangkaian prompt yang relevan, atau hanya pada contoh yang pertama kali mengungkapkannya? Perbedaan ini memisahkan kendali yang bermakna dari demonstrasi yang sempit.
Sesuaikan setiap metode dengan pertanyaan spesifik yang hendak dijawab. Deskripsi dalam bahasa alami dapat membantu penelaahan; introspeksi dapat menghasilkan hipotesis; vektor persona dapat membantu menganalisis kecenderungan perilaku; dan penelusuran sirkuit dapat mengkaji jalur komputasi. (Sumber) (Sumber) (Sumber) (Sumber) Jangan biarkan satu metode menjawab pertanyaan di luar cakupan yang telah terbukti. Catatan audit harus menjelaskan dukungan yang dapat diberikan suatu metode sekaligus hal-hal yang belum diuji.
Independensi paling tepat dinilai dengan memeriksa siapa yang mengendalikan evaluasi, bukan sekadar melihat nama auditor. Evaluator harus dapat memilih atau menambahkan kasus uji, menyimpan hasil yang gagal maupun tidak konklusif, memeriksa konfigurasi model yang diterapkan, serta melaporkan temuan tanpa persetujuan perusahaan. Penugasan audit juga harus mengungkap siapa yang membiayai pekerjaan, akses apa yang dibatasi, dan apakah evaluator memiliki hak kontraktual untuk menerbitkan temuan atau mengeskalasi persoalan penting. Jika manajemen dapat memveto sampel, menghapus hasil yang merugikan, atau menutup temuan tanpa pengujian ulang, penelaahan itu tidak sungguh-sungguh independen.
Evaluasi yang kuat perlu memisahkan tiga pertanyaan yang kerap dicampuradukkan: Apakah model menunjukkan perilaku berisiko? Apakah metode interpretabilitas memberikan bukti yang andal tentang penyebabnya? Apakah mitigasi mengurangi perilaku tersebut dalam kondisi yang relevan?
Setiap pertanyaan membutuhkan pengujian berbeda. Uji perilaku perlu mencakup prompt pemicu, variasi prompt tersebut, dan kasus batas yang relevan. Klaim interpretabilitas perlu diperiksa melalui intervensi atau bukti lain jika memungkinkan, bukan diterima hanya karena penjelasannya terdengar masuk akal. Pengujian ulang perlu menggunakan kasus kegagalan awal maupun kasus yang tidak digunakan saat menyusun perbaikan. Cara ini mengurangi risiko bahwa mitigasi hanya cocok dengan contoh yang sudah diketahui.
Riset Anthropic tentang penelusuran pikiran model mengkaji hubungan antara pemrosesan internal dan bahasa yang dihasilkan model. (Sumber) Riset ini berguna justru karena penjelasan yang terlihat dari model belum tentu sama dengan pemrosesan internalnya. Meski begitu, evaluator tetap harus memastikan bahwa metode penelusuran tersebut andal untuk model dan tugas yang sedang diuji. Hasil dari satu model atau kondisi evaluasi tidak dapat dijadikan bukti bahwa metode itu mencakup model atau kondisi lain tanpa dukungan tambahan.
Jalur riset Anthropic lainnya mengkaji teori ruang kerja global tentang perilaku model, termasuk cara informasi direpresentasikan dan tersedia di seluruh sistem. (Sumber) Bagi tim audit, arti pentingnya bukan bahwa satu teori telah memastikan cara kerja model. Yang penting, beragam penjelasan dan keterbatasan pengukuran perlu dicatat, terutama ketika keputusan keselamatan bergantung pada penafsiran perilaku internal.
Dewan perlu mengajukan pertanyaan yang mengungkap keterbatasan tersebut: Dapatkah evaluator memilih kasus uji tanpa persetujuan manajemen? Apakah perusahaan memberikan versi model dan konteks sistem yang relevan? Apakah pengujian yang gagal atau tidak konklusif tetap dicantumkan dalam laporan? Dapatkah penelaah eksternal mereproduksi sebagian analisis? Ini adalah persoalan tata kelola, bukan detail teknis yang bisa begitu saja didelegasikan. Dewan yang hanya menerima ringkasan penilaian tidak dapat mengetahui apakah hasil yang tampak baik mencerminkan kendali yang efektif atau pengujian yang terlalu sempit.
Red-teaming adalah pengujian terstruktur untuk menemukan cara sebuah sistem dapat gagal atau disalahgunakan. Proses ini dapat mengungkap perilaku yang luput dari pengujian produk biasa, tetapi daftar risiko yang ditemukan bukanlah proses remediasi. Setiap temuan memerlukan penanggung jawab, penilaian tingkat keparahan, tenggat waktu, dan rencana pengujian ulang. Jika organisasi tidak dapat menunjukkan rangkaian langkah dari deteksi hingga penutupan temuan, organisasi itu tidak dapat membuktikan bahwa proses keselamatannya mengubah tingkat risiko sistem.
Interpretabilitas dapat membuat proses tersebut lebih terarah. Jika pengujian menemukan keluaran yang mengkhawatirkan, evaluator dapat menggunakan penelusuran sirkuit atau analisis fitur untuk menyusun hipotesis tentang faktor internal yang berkontribusi pada perilaku tersebut. (Sumber) Hipotesis itu dapat membantu menyusun intervensi yang terarah atau evaluasi lanjutan. Namun, intervensi tetap harus diperiksa terhadap kasus kegagalan awal dan serangkaian prompt relevan yang lebih luas. Jika tidak, tambalan mungkin hanya menekan satu contoh yang teramati, sementara pola kegagalan yang mendasarinya tetap ada.
Riset tentang vektor persona menunjukkan mengapa perbedaan ini penting. Teknik untuk mengidentifikasi atau mengarahkan kecenderungan perilaku dapat membantu tim merancang mitigasi. Namun, adanya metode pengarahan tidak membuktikan bahwa kendali tersebut akan bertahan dalam konteks berbeda atau setelah model diperbarui. (Sumber) Tim perlu menyimpan hasil awal, intervensi yang diterapkan, hasil pengujian ulang, dan ketidakpastian yang masih tersisa. Catatan itu membantu penelaah melihat apakah organisasi benar-benar memperbaiki risiko, menguranginya, atau sekadar mengubah cara risiko tersebut muncul dalam pengujian.
Tampilkan temuan yang belum terselesaikan, jangan menyembunyikannya dalam lampiran teknis. Setiap persoalan penting perlu memiliki penanggung jawab yang jelas, kriteria penutupan, dan pengujian ulang independen. Eskalasikan temuan yang melewati tenggat atau masih diperselisihkan kepada eksekutif atau komite dewan yang bertanggung jawab atas risiko AI. Pertanyaan utamanya bukan apakah laporan red-team tersedia, melainkan apakah orang yang berwenang dapat melihat persoalan yang masih terbuka dan memutuskan apakah penerapan sistem boleh dilanjutkan.
Pengungkapan bermanfaat jika pembaca dari luar dapat membedakan apa yang benar-benar diuji perusahaan dari apa yang sekadar diklaim telah diuji. Catatan audit yang ringkas perlu mencantumkan sistem dan versinya; tanggal serta konteks penerapan; evaluator dan potensi konflik kepentingan yang material; cakupan dan pengecualian evaluasi; metode yang digunakan; serta jumlah atau kategori pengujian yang dilakukan. Catatan itu juga perlu merangkum temuan penting menurut tingkat keparahan, menyebutkan jumlah temuan yang masih terbuka, dan menjelaskan apakah temuan yang telah ditutup diuji ulang. Jika suatu angka dapat menyesatkan tanpa pembanding—misalnya jumlah kegagalan tanpa jumlah atau jenis kasus yang diuji—pengungkapan perlu menyertakan konteks tersebut.
Komitmen AI sukarela dapat menetapkan ekspektasi untuk evaluasi dan pengelolaan risiko, tetapi tidak setara dengan aturan yang dapat ditegakkan. Karena itu, proses penjaminan internal organisasi harus membuat klaimnya dapat diverifikasi. Pengungkapan publik tidak perlu membuka detail sistem yang sensitif, tetapi perlu menjelaskan cakupan evaluasi, jenis metode yang digunakan, keterbatasan penting, dan apakah temuan material ditindaklanjuti. Tanpa informasi itu, pengamat dari luar tidak dapat membedakan proses yang substantif dari pernyataan niat semata.
Riset interpretabilitas sendiri menunjukkan mengapa batas-batas pengungkapan perlu dirumuskan dengan cermat. Gemma Scope 2 dari Google DeepMind menyediakan perangkat bagi peneliti yang mempelajari perilaku Gemma 3. Sementara itu, riset Anthropic menerbitkan metode dan temuan tentang autoencoder, introspeksi, dan penelusuran sirkuit. (Sumber) (Sumber) (Sumber) (Sumber) Publikasi ini memperluas bahan yang dapat ditelaah. Namun, publikasi tersebut tidak dengan sendirinya membuktikan bahwa sistem tertentu yang telah diterapkan lulus evaluasi independen.
Pengungkapan yang bermanfaat membedakan kemampuan riset dari jaminan atas produk. Pengungkapan itu menyebutkan sistem yang dievaluasi, waktu evaluasi, cakupan dan pengecualiannya, serta cara perusahaan menangani temuan penting. Keterbatasan bukti juga perlu dijelaskan. Sebagai contoh, penjelasan interpretabilitas mungkin baru berupa dugaan yang masuk akal, bukan temuan kausal yang telah divalidasi. Metode riset yang menjanjikan mungkin juga belum diuji dalam kondisi penerapan perusahaan. (Sumber) (Sumber)
Tidak semua detail harus masuk ke laporan publik. Menerbitkan prompt eksploitasi atau jalur kegagalan model secara terperinci dapat mempermudah penyalahgunaan. Solusinya adalah pengungkapan bertingkat, bukan bungkam: publikasikan cakupan, proses, hasil agregat, jumlah risiko yang belum terselesaikan, dan status remediasi; berikan artefak sensitif kepada auditor independen atau badan pengawas yang berwenang dengan akses terkendali. Laporan juga perlu membedakan “belum diuji”, “telah diuji dan tidak ditemukan masalah”, serta “telah diuji tetapi hasilnya tidak konklusif”. Ketiganya merupakan klaim yang berbeda secara material. Menyatukannya dalam pernyataan umum bahwa sistem telah “dievaluasi” mengaburkan kekuatan bukti.
Pengawasan dewan perlu berfokus pada kemampuan organisasi membuktikan klaim publiknya. Direksi membutuhkan gambaran ringkas tentang risiko material, remediasi yang masih terbuka, pengecualian kebijakan, dan independensi evaluator. Mereka perlu bertanya apakah audit mencakup versi yang benar-benar diterapkan dan apakah perubahan model atau kondisi operasional memicu penilaian ulang. Komitmen sukarela memperoleh kredibilitas dari rangkaian bukti yang dapat ditelusuri, bukan dari bahasa komitmen itu sendiri.
Standar praktis audit keselamatan AI bukanlah membuka setiap artefak teknis seluas-luasnya. Yang dibutuhkan ialah rangkaian yang dapat ditelusuri: evaluasi mengidentifikasi risiko; penelaah mendokumentasikan metode dan keterbatasannya; penanggung jawab yang akuntabel menindaklanjuti temuan; perbaikan diuji ulang secara independen; dan pengawas mencatat apakah risiko yang tersisa dapat diterima. Interpretabilitas dapat menambahkan bukti diagnostik yang berguna ke dalam rangkaian tersebut, tetapi tidak dapat menggantikan satu pun mata rantainya.
Berbagai contoh riset ini menunjukkan potensi sekaligus batasnya. Gemma Scope 2 menyediakan perangkat interpretabilitas untuk empat skala model Gemma 3; penelusuran sirkuit Anthropic mengkaji jalur yang berkaitan dengan keluaran model; autoencoder bahasa alami berupaya menghasilkan deskripsi aktivitas internal yang mudah dipahami; sementara riset vektor persona dan introspeksi menyelidiki cara lain untuk menguji perilaku. (Sumber) (Sumber) (Sumber) (Sumber) (Sumber) Secara bersama-sama, metode tersebut memperluas jenis pertanyaan yang dapat diajukan evaluator. Namun, metode itu tidak menghilangkan kebutuhan untuk memvalidasi jawabannya melalui perilaku yang teramati dan penelaahan independen.
Rekomendasi kebijakannya jelas: perusahaan yang membuat komitmen keselamatan sukarela perlu mewajibkan protokol audit yang disetujui dewan, melindungi independensi auditor, merinci bukti dan pengungkapan yang diharapkan, serta mempertahankan remediasi risiko sampai pengujian ulang yang terdokumentasi memastikan temuan telah ditutup. Pada Oktober 2027, organisasi yang tidak dapat menghubungkan klaim keselamatan publik dengan evaluasi berversi dan tindak lanjut yang terverifikasi akan semakin sulit membuktikan bahwa komitmennya benar-benar mengatur sistem yang digunakan. Pastikan seluruh rangkaian itu dapat diperiksa sebelum model berikutnya dirilis, bukan setelah kegagalan berikutnya terjadi.