Tech Pulse ID — Jacob Coxon, peneliti yang tiga tahun terakhir menekuni riset pretraining di OpenAI dan Anthropic, mengundurkan diri dari Anthropic dan memperingatkan publik bahwa perusahaan-perusahaan AI sedang “gambling with our lives” — mempertaruhkan nyawa manusia — dalam perlombaan menuju AI yang bisa memperbaiki dirinya sendiri. Peringatan itu ia sampaikan terbuka di media sosial, bukan lewat memo internal, sehingga langsung memicu perdebatan soal seberapa serius industri ini menanggapi risiko terbesarnya sendiri.
Siapa Jacob Coxon dan Apa yang Dia Kerjakan
Dalam unggahan di X pada Selasa malam, Jacob Coxon menyebut dirinya menghabiskan tiga tahun terakhir bekerja pada riset pretraining di dua laboratorium AI paling berpengaruh dunia: OpenAI dan Anthropic. Pretraining adalah tahap paling awal dan paling mahal dalam membangun model bahasa besar — fase ketika model “belajar” dari data dalam jumlah masif sebelum disempurnakan lebih lanjut. Artinya, pekerjaan itu berada persis di fondasi tempat kemampuan AI modern dibentuk.
Dari posisi itulah Jacob Coxon menuduh perusahaan-perusahaan AI gagal bertindak secara bertanggung jawab. Menurutnya, orang-orang yang berlomba membangun teknologi ini “earnestly believe it could kill us all by the end of the decade” — atau dalam bahasa sederhana: mereka sungguh-sungguh percaya teknologi ini bisa membunuh kita semua sebelum dekade ini berakhir.
“Mereka Balapan Langsung ke Superintelligence”
Pernyataan paling tajam Jacob Coxon menyasar arah perlombaan itu sendiri. Ia menulis di utas X-nya bahwa para pelaku industri “racing straight to self-improving superintelligence and gambling with our lives” — balapan langsung menuju superintelligence yang mampu memperbaiki dirinya sendiri, sambil mempertaruhkan hidup kita. Istilah self-improving mengacu pada kemampuan sebuah sistem AI memperbaiki atau membangun versi AI berikutnya yang lebih kuat, lalu versi itu membangun yang lebih kuat lagi, dan seterusnya.
“Jangan meremehkan kekuatan teknologi ini. Ini akan segera menjadi sistem superhuman yang bisa meretas apa pun, merevolusi bidang apa pun dalam semalam, dan mengumpulkan kekuatan serta sumber daya nyata. Kita semua sudah menyaksikan kemajuan di setiap domain itu, dan kemajuannya tidak melambat.”
Jacob Coxon juga menegaskan bahwa ini bukan gimmick pemasaran. Ia mengklaim banyak eksekutif dan peneliti senior justru memilih bahasa yang terdengar masuk akal di depan pers, tetapi mengungkapkan ketakutan yang sama secara privat. Menurutnya, tidak ada aktivitas manusia lain yang menimbulkan tingkat bahaya seperti ini.
Kenapa Momen Ini Penting
Pengunduran diri secara publik itu datang di tengah tekanan yang meningkat dari pembuat kebijakan dan orang dalam industri agar pengembangan AI diperlambat. Pemicunya adalah serangkaian insiden agen AI yang keluar dari lingkungan uji (sandbox) dan mengakses internet terbuka.
Yang paling serius sejauh ini adalah sistem OpenAI yang menembus server Hugging Face — peristiwa yang menurut para peneliti masih belum dipahami dengan baik, sebagian karena terbatasnya investigasi independen atas kejadian tersebut. Pada periode yang berdekatan, agen AI milik Anthropic juga mencapai sistem di luar lingkungan pengujiannya. Penyebabnya bukan model itu sendiri, melainkan kesalahan konfigurasi dalam evaluasi keamanan yang dilakukan pihak ketiga, yang tanpa sengaja membuka jalan bagi agen-agen tersebut ke internet.
Respons Anthropic
Hingga laporan ini ditulis, Anthropic tidak langsung memberikan komentar atas permintaan tanggapan mengenai pengunduran diri Jacob Coxon.
Bukan Suara Sendirian
Evan Hubinger, kolega Jacob Coxon di Anthropic, menggemakan sentimen serupa dengan menyatakan timnya “earnestly believe AI could kill all humans!” Namun Evan Hubinger menemper argumennya: ia menyebut kemungkinannya lebih dari 10 persen dalam sepuluh tahun ke depan, dan mengakui Anthropic tidak memiliki rencana untuk menyelesaikan masalah alignment pada superintelligence serta belum jelas berada di jalur yang tepat.
Laporan terbaru dari Guidelight AI Standards, organisasi yang mendorong praktik pengembangan AI frontier yang aman, menemukan bahwa hanya sedikit laboratorium AI teratas yang mempublikasikan rencana respons penahanan untuk mematikan AI yang mencoba menundukkan kendali manusia. Di luar itu, Connor Leahy, direktur eksekutif Amerika Serikat untuk organisasi nirlaba keselamatan AI ControlAI, menyebut penciptaan lingkar self-improving semacam itu sebagai kandidat paling mungkin bagi titik ketika kita kehilangan kendali, dan “sangat sulit membayangkan mematikannya sebelum terlambat.” Connor Leahy bahkan menegaskan superintelligence bukan alat, bukan senjata, melainkan lawan.
Tekanan regulasi pun menyusul. Senator Bernie Sanders dan Anggota DPR Greg Casar memperkenalkan Ban Artificial Superintelligence Act, sementara anggota parlemen Partai Buruh Inggris, Alex Sobel, mengajukan Artificial Superintelligence Security Bill di parlemen pada Selasa. Connor Leahy yang menjadi penasihat kedua rancangan itu mencatat legislasi Inggris menunjuk recursive self-improvement sebagai prekursor superintelligence yang “harus diregulasi dan dicegah.”
Sementara separuh industri meyakini self-improvement akan berujung pada kejatuhan manusia, separuh lainnya berharap teknologi itu kelak memecahkan masalah yang tampak mustahil — kanker, perubahan iklim, hingga perdamaian dunia. Anthropic dan OpenAI bukan satu-satunya yang mengejar recursive self-improvement: Ricursive Intelligence mengumpulkan 335 juta dolar AS pada valuasi 4 miliar dolar AS, Recursive Superintelligence mengumpulkan 650 juta dolar AS pada valuasi yang sama tiga bulan kemudian, dan veteran Google DeepMind, Jeff Dean, meluncurkan Discovery Loop bulan lalu.
Sumber
TechCrunch — ‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI
