Pertanyaan yang paling sering dihindari dalam pembicaraan AI adalah ini: kalau AI salah, siapa yang harus bertanggung jawab?
Bukan salah ketik. Bukan salah bikin caption. Bukan salah bikin jokes receh.
Yang gue maksud: AI salah memberi rekomendasi kredit. AI salah membaca data kesehatan. AI salah menilai kandidat kerja. AI salah mengarahkan layanan publik. AI salah merangkum dokumen hukum. AI salah memprioritaskan komplain warga. AI salah mengelompokkan risiko anak. AI salah memberi rekomendasi operasional yang akhirnya merugikan orang.
Di titik itu, kita tidak bisa lagi menjawab, “ya namanya juga AI.”
Kalimat itu terlalu murah.
Kalau AI mulai dipakai dalam keputusan yang memengaruhi hidup orang, tanggung jawab tidak boleh hilang di balik layar model, vendor, API, dashboard, atau istilah teknis. Harus ada manusia dan organisasi yang bisa dimintai jawaban.
AI Tidak Bisa Jadi Kambing Hitam
Kesalahan pertama dalam membaca AI adalah memperlakukannya seperti subjek moral yang berdiri sendiri.
Padahal AI bukan manusia. AI tidak punya niat, rasa bersalah, empati, reputasi sosial, atau tanggung jawab hukum seperti manusia. AI adalah sistem yang dibuat, dilatih, dipilih, diintegrasikan, dipakai, dan diawasi oleh aktor manusia dan organisasi.
Jadi saat AI salah, pertanyaan yang benar bukan cuma “modelnya kenapa?”
- siapa yang memilih sistem AI itu;
- data apa yang dipakai;
- siapa yang menguji sebelum deployment;
- siapa yang menentukan AI boleh mengambil keputusan sejauh apa;
- siapa yang wajib melakukan review;
- siapa yang menerima komplain dari orang terdampak;
- siapa yang mencatat dan memperbaiki error.
Kalau semua pertanyaan itu tidak punya jawaban, berarti masalahnya bukan cuma AI. Masalahnya governance.
Di undercover.id/, ini masuk ke wilayah AI policy regulation: bagaimana sistem dibuat, dipakai, diawasi, dan dipertanggungjawabkan.
Keputusan AI Jarang Murni Keputusan AI
Sering kali, istilah “AI decision” itu menyesatkan.
Dalam banyak kasus, AI tidak benar-benar mengambil keputusan final. Ia memberi skor, rekomendasi, ranking, prediksi, ringkasan, atau opsi. Lalu manusia atau organisasi memakai output itu untuk mengambil keputusan.
Masalahnya, begitu output AI terlihat rapi, manusia bisa menjadi terlalu pasif. Rekomendasi model dianggap objektif. Skor dianggap netral. Ringkasan dianggap lengkap. Ranking dianggap hasil terbaik.
Padahal sistem AI selalu membawa asumsi: data apa yang masuk, variabel apa yang dipakai, konteks apa yang hilang, bias apa yang terbawa, dan tujuan bisnis apa yang diprioritaskan.
OECD lewat AI Principles menekankan pentingnya transparency, explainability, robustness, security, dan accountability untuk trustworthy AI. Kata accountability di sini krusial. Sistem bisa otomatis, tapi tanggung jawab tidak boleh otomatis hilang.
Kalau manusia hanya menjadi stempel atas rekomendasi mesin, itu bukan human oversight. Itu ceremonial approval.
Human-in-the-Loop Bukan Formalitas
Banyak organisasi suka memakai istilah human-in-the-loop. Kedengarannya aman: masih ada manusia kok.
Tapi pertanyaannya, manusia itu benar-benar punya kuasa atau cuma formalitas?
Kalau manusia tidak memahami output AI, tidak punya cukup waktu untuk review, tidak bisa mengakses data pendukung, dan tidak punya hak menolak rekomendasi sistem, maka human-in-the-loop hanya jadi hiasan compliance.
UNESCO dalam Recommendation on the Ethics of Artificial Intelligence menekankan pentingnya human oversight, transparency, fairness, auditability, dan accountability dalam sistem AI. Dalam bahasa sederhana: manusia harus tetap punya ruang untuk memahami, mengawasi, dan mengoreksi sistem.
Vendor Tidak Bisa Jadi Satu-satunya Tempat Melempar Salah
Perusahaan atau lembaga publik sering memakai vendor AI. Itu normal. Tidak semua organisasi bisa membangun model sendiri.
Tapi memakai vendor tidak berarti tanggung jawab selesai.
Kalau sebuah bank memakai sistem AI dari vendor untuk membantu scoring, bank tetap punya tanggung jawab terhadap konsumennya. Kalau sekolah memakai platform AI untuk murid, sekolah tetap punya tanggung jawab terhadap anak dan orang tua. Kalau pemerintah daerah memakai sistem AI untuk layanan warga, pemerintah tetap punya tanggung jawab terhadap warga.
Vendor punya tanggung jawab teknis dan kontraktual. Tapi organisasi pengguna tetap punya tanggung jawab operasional dan sosial.
Makanya NIST AI Risk Management Framework berguna sebagai rujukan karena tidak hanya bicara model, tapi risk management lintas lifecycle. Risiko AI harus dipetakan, diukur, dikelola, dan digovern sebelum dan sesudah sistem berjalan.
Data Owner Juga Harus Ikut Bertanggung Jawab
AI yang salah sering bermula dari data yang salah.
Data tidak lengkap. Data bias. Data lama. Data tidak punya konteks. Data dikumpulkan tanpa izin jelas. Data tidak mewakili kelompok tertentu. Data dari kota besar dianggap mewakili seluruh Indonesia. Data formal dianggap mewakili realitas lapangan.
Kalau output AI bermasalah karena datanya bermasalah, siapa yang bertanggung jawab?
Bukan hanya vendor model. Bukan hanya user akhir. Organisasi yang mengelola data juga harus bertanggung jawab.
Di sini data governance systems bukan jargon. Ia menentukan siapa pemilik data, bagaimana kualitas data diperiksa, bagaimana data sensitif dilindungi, bagaimana consent dikelola, dan bagaimana data lama diperbarui.
Perpres AI Harus Menjawab Pertanyaan Tanggung Jawab
Rencana Perpres AI Indonesia penting karena bisa memberi kerangka dasar soal siapa yang bertanggung jawab ketika AI dipakai di sektor publik, bisnis, dan masyarakat.
Komdigi menyebut Perpres AI sebagai fondasi tata kelola teknologi masa depan Indonesia. JDIH Komdigi juga memuat pembahasan RPerpres tentang Peta Jalan Kecerdasan Artifisial Nasional Tahun 2026-2029 dan RPerpres tentang Etika Kecerdasan Artifisial.
Tapi dokumen itu harus berani menyentuh pertanyaan sulit: siapa yang accountable?
Kalau AI dipakai pemerintah, apakah warga punya hak penjelasan? Kalau AI dipakai perusahaan, apakah konsumen bisa meminta koreksi? Kalau AI dipakai sekolah, apakah orang tua punya akses informasi? Kalau AI dipakai platform digital, apakah pengguna tahu kapan mereka sedang dinilai oleh sistem otomatis?
AI yang Bisa Menjelaskan Diri Belum Tentu Bisa Bertanggung Jawab
Explainability itu penting. Tapi jangan tertipu.
AI yang bisa memberi penjelasan belum tentu berarti sistemnya benar-benar bertanggung jawab. Penjelasan bisa dibuat setelah keputusan terjadi. Penjelasan bisa terlalu teknis. Penjelasan bisa tidak membantu orang terdampak. Penjelasan bisa terdengar masuk akal, tapi tetap tidak memberi jalan koreksi.
Akuntabilitas lebih luas dari explainability.
Akuntabilitas berarti ada pihak yang bisa diminta memperbaiki, mengganti, meninjau ulang, menghentikan, atau mempertanggungjawabkan keputusan.
Kesimpulan: Tanggung Jawab Tetap Harus Punya Alamat Manusia
AI bisa salah. Manusia juga bisa salah.
Bedanya, kesalahan AI bisa bergerak cepat, terlihat objektif, dan menyebar dalam skala besar kalau tidak ada governance.
Karena itu, saat AI salah mengambil keputusan, jangan berhenti menyalahkan model. Lihat sistemnya.
Siapa yang memilih model? Siapa yang memberi data? Siapa yang menentukan batas? Siapa yang review output? Siapa yang menerima dampak? Siapa yang bisa memperbaiki?
AI tidak boleh menjadi alasan untuk menghapus tanggung jawab manusia.
Kalau organisasi ingin memakai AI dalam keputusan serius, organisasi itu juga harus siap memikul konsekuensi serius.
Karena mesin boleh membantu mengambil keputusan. Tapi tanggung jawab tetap harus punya alamat manusia.