Siapa yang Harus Menjelaskan Keputusan AI di Layanan Publik?

Bayangin lo mengurus sebuah layanan pemerintah.

Permohonan masuk.

Beberapa hari kemudian statusnya: “Tidak diprioritaskan.”

Lo tanya alasannya.

Petugas bilang: “Dari sistem.”

Lo tanya lagi: “Sistemnya pakai apa?”

Jawaban: “AI.”

Conversation selesai.

Ini skenario yang tidak boleh menjadi normal.

Kalau AI dipakai di layanan publik, harus ada manusia dan institusi yang bisa menjelaskan keputusan.

Bukan berarti setiap petugas wajib memahami matematika model.

Bukan juga berarti pemerintah harus membuka source code.

Yang dibutuhkan adalah explanation yang cukup untuk membuat warga memahami apa yang terjadi dan apa yang bisa dilakukan jika hasilnya salah.

Jadi siapa yang harus menjelaskan?

Jawaban paling aman: instansi yang menggunakan AI dan bertanggung jawab atas layanan tersebut.

Bukan model.

Bukan sekadar vendor.

AI tidak punya kewenangan publik

Sistem AI bisa memberi rekomendasi.

Tapi kewenangan tetap berada pada institusi pemerintah.

UU Administrasi Pemerintahan menempatkan keputusan dan tindakan pada badan atau pejabat pemerintahan dan membangun kewajiban penyelenggaraan yang transparan, objektif, profesional, dan berdasarkan asas pemerintahan yang baik.

Teknologi tidak mengubah itu.

Kalau instansi menggunakan AI untuk membantu proses, mereka tetap bertanggung jawab terhadap outcome administratif.

Vendor mungkin membuat model.

Cloud provider mungkin menjalankan infrastructure.

Tapi warga berhubungan dengan negara.

Maka jawaban: “vendor yang menentukan” tidak cukup.

Outsourcing teknologi tidak berarti outsourcing tanggung jawab.

Penjelasan perlu disesuaikan dengan dampak

Tidak semua output AI butuh explanation panjang.

Kalau chatbot menjawab jam layanan kantor, cukup sederhana.

Kalau AI membantu menentukan prioritas permohonan, level penjelasannya lebih tinggi.

Kalau AI ikut memengaruhi hak seseorang, harus lebih kuat lagi.

Jadi explainability harus proportional.

Pertanyaannya: seberapa besar impact?

Semakin besar konsekuensi, semakin besar kebutuhan explanation.

Ini juga alasan kenapa satu standar transparansi untuk semua AI tidak masuk akal.

Sistem rekomendasi internal tidak sama dengan automated decision system.

Yang perlu dijelaskan bukan raw chain of thought

Ada kesalahpahaman bahwa explainable AI berarti kita harus melihat “pikiran” model.

Nggak.

Bagi warga, raw technical reasoning bahkan bisa useless.

Yang dibutuhkan adalah basis keputusan yang actionable.

Contoh buruk: “Model menghasilkan skor 0,37.”

User tetap bingung.

Contoh lebih berguna: “Permohonan Anda belum diprioritaskan karena dokumen X belum terverifikasi dan data Y masih tercatat pada status lama. Jika data tersebut tidak benar, koreksi melalui kanal Z.”

Itu explanation.

Tidak harus membocorkan model internals.

Yang penting warga tahu: faktor utama, data yang relevan, dan jalur koreksi.

Petugas frontline tidak boleh dibiarkan sendirian

Kalau semua tanggung jawab explanation dilempar ke petugas loket, juga nggak fair.

Petugas perlu dukungan sistem.

Interface seharusnya menampilkan alasan yang bisa dipahami.

Misalnya: keputusan, faktor, data source, confidence, exception, dan cara override.

Bukan dashboard penuh kode.

Kalau petugas tidak tahu kenapa AI memberi rekomendasi, mereka tidak bisa menjelaskan.

Maka desain explainability dimulai dari product.

Bukan training customer service.

Vendor harus menyediakan technical explanation

Instansi bertanggung jawab ke publik.

Vendor tetap punya tanggung jawab terhadap instansi.

Kalau model menghasilkan hasil tertentu, vendor harus bisa memberi informasi teknis yang cukup: fitur apa yang digunakan, bagaimana model dievaluasi, limitation, threshold, update, dan known failure mode.

Tidak harus membuka proprietary code.

Tapi black box total tidak cocok untuk high-impact public service.

Procurement internasional juga bergerak ke arah ini.

Panduan pengadaan AI pemerintah Inggris, misalnya, menekankan transparency, explainability, data assessment, risk assessment, dan avoidance terhadap vendor lock-in sebagai bagian procurement.

Itu bukan aturan Indonesia.

Tapi logic-nya relevan.

Pemerintah tidak seharusnya membeli sistem yang tidak bisa mereka pahami secara operasional.

Explainability perlu dua level

Gue melihat minimal ada dua audience.

Pertama, warga.

Mereka butuh: apa keputusan, kenapa, apa data yang dipakai, bagaimana koreksi.

Kedua, auditor atau regulator.

Mereka butuh: model version, evaluation, data lineage, risk assessment, threshold, logs, human oversight.

Dua explanation ini beda.

Jangan memberikan warga laporan teknis 100 halaman.

Jangan juga memberi auditor kalimat marketing.

Layered transparency lebih masuk akal.

Setiap audience mendapat detail yang relevan.

Keputusan AI harus bisa ditelusuri ke data

Kalau warga bilang data salah, instansi harus bisa melihat sumbernya.

Misalnya sistem membaca: status pekerjaan A.

Warga bilang: sudah berubah.

Instansi perlu tahu data itu berasal dari mana.

Database mana? Kapan update? Siapa produsen data?

Tanpa provenance, explanation berhenti.

“Datanya dari sistem.”

Sistem mana?

Data lineage penting.

Indonesia sudah punya kerangka Satu Data Indonesia yang membedakan peran produsen data, walidata, dan pembina data.

AI menambah urgency pada struktur itu.

Model tidak boleh mengambil data tanpa ada owner dan provenance.

Kalau keputusan salah, kita harus bisa mundur ke sumber.

Explainability juga penting untuk mendeteksi bias

Bayangkan satu kelompok warga terus lebih sering mendapat prioritas rendah.

Kalau tidak ada explanation, pattern sulit terlihat.

Kalau sistem punya factor logging, auditor bisa melihat apakah ada proxy yang bermasalah.

Misalnya lokasi.

Lokasi mungkin legitimate untuk layanan tertentu.

Tapi bisa menjadi proxy terhadap status sosial.

Atau jenis perangkat.

Bisa terlihat netral tetapi menguntungkan user digital tertentu.

Explainability membantu fairness audit.

Bukan berarti semua model harus linear.

Model kompleks tetap bisa digunakan.

Tapi outcome high impact harus punya interpretability yang cukup untuk governance.

Manusia yang approve harus benar-benar paham

Human in the loop sering dianggap solusi semua masalah.

Tidak.

Kalau manusia hanya melihat: AI score: 92. Recommendation: reject.

Lalu klik approve.

Dia belum punya basis independen.

Review manusia harus diberi evidence.

Kenapa skor 92? Data mana? Ada warning? Ada uncertainty?

Kalau tidak, manusia cuma menjadi tangan yang menekan tombol.

Responsibility secara formal manusia.

Control secara nyata model.

Ini bentuk accountability theatre.

Institutional explanation lebih penting dari individual explanation

Tidak realistis kalau setiap pegawai harus menjelaskan algoritma.

Yang dibutuhkan adalah organisasi punya sistem explanation.

Policy. Template. Documentation. Escalation.

Petugas frontline menjelaskan level pertama.

Kalau kasus kompleks, eskalasi ke unit teknis.

Kalau sengketa administratif, masuk jalur yang sesuai.

Kalau incident sistemik, governance team masuk.

Explanation harus institutional.

Bukan bergantung pada satu orang yang “paling ngerti AI”.

Kalau orang itu resign, knowledge hilang.

Warga harus tahu AI dipakai ketika relevan

Tidak semua fitur AI perlu banner.

Tapi kalau AI materially memengaruhi layanan, disclosure punya value.

“Proses ini menggunakan sistem otomatis untuk membantu klasifikasi.”

Kalimat sederhana sudah membantu.

Warga bisa bertanya.

Kalau sistem hanya dipakai internal untuk memperbaiki grammar, disclosure mungkin tidak perlu.

Proporsional lagi.

Yang penting jangan membuat AI invisible ketika ia punya pengaruh nyata.

Transparency by design lebih baik daripada transparency setelah scandal.

Penjelasan harus bisa diuji

Jangan sampai explanation cuma cerita yang dibuat setelah keputusan.

Misalnya sistem bilang: “berdasarkan kebutuhan.”

Tapi tidak ada evidence.

Explanation harus grounded pada log.

Data yang benar-benar dipakai. Rule yang benar-benar aktif. Model version.

Kalau tidak, kita punya post-hoc rationalization.

Cerita dibuat agar keputusan terlihat masuk akal.

Ini berbahaya.

Audit trail memastikan explanation bukan improvisasi.

Kalau model tidak bisa dijelaskan, batasi penggunaannya

Ini mungkin keputusan yang paling sulit.

Ada sistem dengan performa tinggi tetapi sulit diinterpretasi.

Untuk low-risk use case, mungkin fine.

Untuk high-impact government decision, trade-off harus dievaluasi.

Apakah peningkatan akurasi layak dibanding kehilangan explainability?

Tidak ada jawaban universal.

Tapi jangan otomatis memilih model paling kompleks.

Kadang model lebih sederhana yang cukup akurat dan lebih mudah dijelaskan lebih cocok untuk pemerintah.

Public sector punya nilai tambahan: due process.

Bukan hanya predictive performance.

Explanation juga harus mengakui uncertainty

Petugas tidak perlu pura-pura sistem pasti.

Bisa bilang: “Model menandai kasus ini sebagai risiko karena faktor X dan Y, tetapi hasilnya sedang ditinjau karena confidence rendah.”

Itu lebih jujur.

AI bersifat probabilistik.

Institutional communication seharusnya mencerminkan itu.

Masalah terjadi ketika probabilitas diubah jadi bahasa absolut.

“Tidak layak.” “Fraud.” “Berisiko.”

Padahal model hanya memberi kemungkinan.

Terminology matters.

Skor bukan fakta.

Pemerintah perlu membedakan.

Kalau warga menggugat, siapa hadir?

Bukan AI.

Bukan chatbot.

Pejabat dan institusi tetap harus bisa mempertanggungjawabkan keputusan.

Itu core principle.

Kalau instansi tidak bisa menjelaskan karena vendornya tidak memberi akses, procurement salah.

Kalau instansi tidak bisa menjelaskan karena log tidak disimpan, system design salah.

Kalau petugas tidak bisa menjelaskan karena tidak dilatih, operational design salah.

AI hanya memperlihatkan kelemahan.

Karena pada akhirnya, explanation bukan fitur kosmetik.

Ia bagian dari hak warga memahami bagaimana negara memperlakukan mereka.

Pemerintah boleh memakai model paling canggih.

Tapi ketika keputusan menyentuh manusia, teknologi tidak boleh membuat tanggung jawab semakin kabur.

Ada satu konsep yang layak dibangun sejak awal: explanation record. Setiap keputusan material tidak harus menyimpan seluruh percakapan model, tetapi setidaknya menyimpan versi sistem, data category yang relevan, faktor utama, rule yang aktif, dan apakah ada human review. Record ini menjadi fondasi ketika warga bertanya beberapa minggu kemudian.

Tanpa record, petugas bisa memberi alasan yang berbeda-beda. Hari ini bilang data tidak lengkap. Besok bilang skor risiko. Ini merusak trust.

Pemerintah juga perlu menguji explanation dengan warga nyata. Bahasa legal yang technically benar bisa tetap tidak dipahami. Misalnya kalimat: “permohonan tidak memenuhi threshold probabilistik.” Hampir tidak membantu. Ubah ke bahasa yang menjelaskan kondisi dan tindakan berikutnya.

Accessibility juga penting. Explanation tidak boleh hanya tersedia di aplikasi. Ada warga yang lebih nyaman datang ke kantor, menelepon, atau memakai kanal bantuan. Kalau AI membuat proses lebih digital tetapi mekanisme keberatan makin sulit diakses, teknologi justru memperlebar gap.

Dan ada kasus ketika pemerintah tidak bisa membuka semua alasan, misalnya untuk investigasi fraud yang sensitif. Di situ transparency perlu dibatasi secara sah dan proporsional. Tapi pembatasan bukan blank cheque. Instansi tetap perlu mekanisme oversight independen agar keputusan tidak menjadi black box yang kebal review.

Explainability yang matang bukan berarti semua orang mendapat semua informasi. Artinya setiap orang mendapat informasi yang cukup untuk menjalankan hak dan tanggung jawabnya.

Jawaban atas pertanyaan “siapa yang harus menjelaskan?” seharusnya selalu punya nama institusi.

Bukan: “sistem.”