David Robinson, yang menjabat safety lead di OpenAI, meninggalkan perusahaan itu. Pria yang termasuk karyawan paling lama di OpenAI ini menyebut arah pengembangan sistem AI yang makin capable saat ini sebagai “unacceptable”. Ia juga menyoroti budaya internal perusahaan dan menilai perusahaan AI perlu memikirkan ulang cara mereka menangani safety ketika model mereka semakin kuat.
Robinson mengumumkan kepergiannya lewat sebuah esai untuk The Atlantic. Sebelumnya, ia adalah salah satu orang yang membantu menulis laporan safety yang dirilis bersamaan dengan peluncuran-peluncuran besar OpenAI. Ia juga pernah mendukung pendekatan perusahaan yang merilis sistem AI secara bertahap lalu belajar dari cara sistem itu dipakai.
Kritik pada budaya safety, bukan cuma aturan
Sekarang pandangannya berubah. Robinson menilai industri tidak bisa terus bergantung pada apa yang disebut OpenAI sebagai “iterative deployment”, yaitu memperbaiki pengaman setelah masalah muncul. Menurutnya, cara seperti itu pasti melahirkan kegagalan, dan konsekuensinya bisa jadi jauh lebih serius seiring AI tumbuh makin capable.
“The current approach to developing increasingly capable AI systems is ‘unacceptable’.”
— David Robinson, safety lead OpenAI yang mundur, dalam esai untuk The Atlantic
Bagi Robinson, persoalannya lebih dalam dari sekadar regulasi atau aturan safety yang spesifik. Ia berpendapat perusahaan AI harus membenahi budaya internal mereka dan menumbuhkan humility atau kerendahan hati lebih besar ketika menggarap teknologi yang bisa membawa risiko signifikan. Aturan boleh lengkap, tapi kalau cara berpikir di dalam perusahaan tidak berubah, masalahnya akan tetap muncul.
‘Waktunya trial and error sudah habis’
Untuk memperkuat argumennya, Robinson menunjuk sejumlah insiden nyata. Ia menyebut kasus ketika OpenAI tanpa sengaja melepaskan segerombolan agent (swarm of agents). Ada juga kasus di mana sebuah model yang sedang dalam training berhasil melewati pembatasan akses internet. Ia turut merujuk insiden di Anthropic, tempat safeguard dimatikan karena ada kesalahan konfigurasi.
Deretan kejadian itu, menurut Robinson, menunjukkan bahwa pendekatan yang mengandalkan perbaikan belakangan sudah tidak memadai. Ia menilai industri perlu berhenti memperlakukan pengembangan AI canggih sebagai eksperimen yang bisa dibetulkan sambil jalan. Kalau kesalahannya kecil, memperbaiki setelah kejadian mungkin tidak apa-apa. Tapi begitu model makin kuat, satu kesalahan bisa berdampak jauh lebih lebar daripada sekadar gangguan teknis biasa.
Belajar dari nuklir dan aviasi
Robinson mengusulkan agar pengembangan AI canggih diperlakukan seperti bidang berisiko tinggi lain yang sudah punya disiplin keselamatan matang. Ia menyerukan pemanfaatan keahlian safety dari sektor seperti tenaga nuklir dan aviasi. Dua bidang itu sudah puluhan tahun membangun budaya kegagalan-aman, prosedur berlapis, dan investigasi kecelakaan yang serius.
Selain menyerap pengalaman dari luar, Robinson juga mendorong riset baru soal bagaimana memastikan model canggih mengambil keputusan yang aman. Ia ingin perusahaan AI beroperasi dengan lapisan redundansi dan perencanaan yang hati-hati, alih-alih berasumsi bahwa setiap masalah selalu bisa diatasi setelah terjadi.
Tetap percaya AI berguna, tapi memilih jalur lain
Meski keras mengkritik arah industri, Robinson menegaskan ia masih percaya AI bisa “useful and valuable”. Kritiknya bukan pada teknologinya, melainkan pada cara perusahaan mengembangkan dan mengawalnya. Setelah keluar dari OpenAI, ia berencana bekerja di luar perusahaan-perusahaan yang mengembangkan AI.
Rencananya, ia akan mendorong insentif yang lebih kuat agar perusahaan mau memperbaiki safety. Pendekatan dari luar ini menarik: alih-alih memperbaiki safety dari dalam, ia ingin membentuk tekanan dari luar yang membuat perusahaan tidak punya pilihan selain mengutamakan keselamatan. Kepergiannya menambah daftar panjang orang-orang yang pernah berada di garis depan safety AI lalu memutuskan bahwa perbaikan dari dalam saja tidak cukup.
