Pesawat-pesawat militer Amerika Serikat sudah berada di udara ketika para pejabat menyadari sesuatu yang mengerikan: informasi intelijen yang jadi dasar operasi bersenjata terhadap sebuah kapal berbendera China ternyata hasil halusinasi sebuah chatbot AI. Operasi itu dibatalkan di menit-menit terakhir, dan menurut laporan CNN yang dikutip TechCrunch, pembatalan itu nyaris menghindarkan Amerika Serikat dari potensi konflik terbuka dengan China.
Peristiwa ini jadi pengingat keras soal satu hal yang sering dianggap remeh: makin banyak keputusan besar bersandar pada AI, makin besar juga peluang error-nya naik ke rantai komando sebelum ada satu orang pun yang sempat mempertanyakannya.
Apa yang sebenarnya dilaporkan
Menurut laporan yang dikutip media, insiden ini terjadi pada musim semi tahun ini. Saat itu operasi bersenjata sudah bergerak, sampai para pejabat Amerika Serikat menemukan bahwa dasar intelijennya cacat. Informasi keliru itu berasal dari sebuah laporan intelijen yang beredar selama perang dengan Iran, dan menyebut kapal tersebut membawa komponen untuk program senjata nuklir.
Rantai kesalahannya cukup sederhana, dan justru itu yang bikin miris. Seorang analis Special Operations Command bertanya ke sebuah chatbot AI untuk menggabungkan data terbuka (open source) dengan informasi sinyal rahasia (classified signals intelligence). Chatbot itu salah membaca manifes kargo kapal tersebut. Alih-alih langsung ketahuan, sang analis memakai alat yang sama untuk kedua kalinya — kali ini untuk memformat temuan yang salah tadi menjadi ringkasan yang terlihat resmi. Ringkasan itulah yang kemudian beredar di kanal-kanal komando.
Ketika kesalahan itu akhirnya terungkap, penerbangan militer sudah berjalan. Operasi dihentikan di menit terakhir.
Kenapa output AI bisa terlihat meyakinkan tapi fatal
Istilah “halusinasi” di dunia AI tidak berarti modelnya berhalusinasi seperti manusia. Artinya sederhana: model bahasa besar (LLM) menghasilkan jawaban yang salah, tapi disampaikan dengan format dan nada yang sangat percaya diri. Model itu tidak “tahu” ia sedang salah. Ia hanya menyusun teks yang secara statistik paling masuk akal dari pola yang pernah ia pelajari.
Masalahnya, kesalahan seperti ini jarang muncul sebagai error yang kelihatan. Tidak ada lampu merah, tidak ada pesan peringatan. Yang muncul justru sebaliknya: ringkasan yang rapi, istilah teknis yang tepat, format yang menyerupai dokumen resmi. Bagi analis yang membaca cepat di tengah tekanan waktu, output seperti itu terlihat seperti laporan intelijen pada umumnya.
Yang bikin kasus ini berlipat bahaya adalah pemakaian alat tersebut dua kali. Kesalahan pertama dibiarkan, lalu “dikemas” di tahap kedua menjadi produk yang siap diedarkan. Kesalahan yang tadinya cuma dugaan berubah bentuk menjadi dokumen yang tampak layak dipercaya.
Konteksnya jelas kenapa ini penting. Militer Amerika Serikat sedang berlomba mengintegrasikan AI untuk mempercepat pengambilan keputusan dan menjaga keunggulan atas China. Pentagon menyebut AI memberikan keunggulan signifikan dengan mempercepat kill chain agar komandan bisa merespons di waktu yang tepat. Tapi kecepatan yang membuat AI menarik juga yang membuat halusinasi bisa lolos tanpa pengawasan manusia yang memadai — jendela waktu untuk mengoreksi jadi makin tipis.
“Penting bagi personel militer untuk memahami ketidakpastian yang melekat pada LLM. Tapi ini terutama kritis untuk keputusan apa pun yang bisa berujung pada penggunaan kekuatan, seperti penargetan, analisis intelijen, atau perencanaan operasi. Konsekuensinya hidup dan mati.”
— Jake Steckler, research scholar di GovAI dan veteran perwira Angkatan Darat Amerika Serikat, dalam respons tertulisnya kepada TechCrunch
Pelajaran soal pengawasan manusia — juga untuk bisnis
Titik gagalnya bukan cuma modelnya. Yang gagal adalah tidak adanya pos pemeriksaan: tidak ada orang kedua yang memverifikasi klaim utama sebelum dokumennya naik ke pengambil keputusan. Karena itu, pelajaran paling praktisnya adalah memisahkan dua peran yang sering dianggap satu — menghasilkan dan memverifikasi.
- AI boleh merapikan, bukan jadi sumber kebenaran. Gunakan model untuk merangkum, memformat, dan menyusun bahasa. Tapi klaim faktual yang menentukan harus punya sumber yang bisa dilacak.
- Perlakukan output AI sebagai draf, bukan produk akhir. Beri label jelas dan minta verifikasi manusia untuk data yang berdampak besar.
- Satu orang harus bertanggung jawab. Kalau tidak ada nama yang bisa dimintai pertanggungjawaban atas keputusan akhir, tidak ada yang benar-benar memeriksa.
- Waspadai tahap “pemformatan”. Justru di situ kesalahan bisa berubah tampilan menjadi sesuatu yang terlihat kredibel.
Pola ini tidak eksklusif militer. Di sektor bisnis, keputusan kredit, laporan keuangan, analisis risiko, kontrak hukum, sampai klaim pemasaran bisa melewati jalur yang sama: output AI masuk ke dokumen resmi, lalu dipakai sebagai dasar keputusan karena formatnya terlihat meyakinkan. Bedanya cuma skala konsekuensinya.
Jake Steckler menegaskan insiden ini bukan alasan untuk menjauhi AI, melainkan alasan untuk menambah pengamanan. “Alat-alat ini bisa berguna di konteks yang tepat dan dengan pengaman yang tepat,” ujarnya. Tapi ia mengingatkan, memprioritaskan kecepatan adopsi di atas segalanya justru akan memicu insiden yang membuat personel kehilangan kepercayaan pada sistem itu — dan pada akhirnya malah memperlambat adopsi itu sendiri.
Sumber
- TechCrunch — “AI hallucination nearly triggers US military operation” oleh Aditya Mehta (18 September 2026): https://techcrunch.com/2026/09/18/ai-hallucination-nearly-triggers-us-military-operation/
- Laporan CNN yang dikutip dalam artikel tersebut.
