Bayangin lo beli tiket pesawat.
Harga yang muncul Rp2,4 juta.
Teman lo buka beberapa menit kemudian, Rp2,1 juta.
Lo bertanya: “kok beda?”
Customer service menjawab: “harga ditentukan sistem.”
Jawaban kayak gini dulu mungkin cukup.
Di era AI, makin nggak cukup.
Karena “sistem” bisa berarti banyak hal.
Rule sederhana.
Dynamic pricing.
Profiling.
Recommendation model.
Fraud scoring.
AI decision support.
Pertanyaannya bukan apakah perusahaan harus membuka algoritma ke publik.
Pertanyaannya: seberapa banyak penjelasan yang dibutuhkan agar pelanggan diperlakukan fair?
Di Indonesia, belum ada satu aturan AI khusus yang mengatakan setiap perusahaan wajib menjelaskan seluruh logika model kepada pelanggan.
Tapi sudah ada lapisan kewajiban dan hak dari hukum yang berlaku.
UU Perlindungan Konsumen memberi hak konsumen atas informasi yang benar, jelas, dan jujur mengenai kondisi dan jaminan barang atau jasa, serta hak untuk didengar keluhannya.
UU PDP memberi hak atas informasi tertentu mengenai pemrosesan data pribadi dan hak keberatan terhadap keputusan yang hanya didasarkan pada pemrosesan otomatis ketika punya akibat hukum atau dampak signifikan.
Jadi transparansi AI bukan mulai dari nol.
Yang perlu dirumuskan adalah seberapa jauh.
Level pertama: bilang kalau AI materially dipakai
Kalau AI cuma grammar checker internal, pelanggan tidak perlu tahu.
Kalau AI menentukan apakah transaksi diblok, lebih relevan.
Kalau AI membuat personalized offer, mungkin perlu disclosure tertentu.
Kalau customer berinteraksi langsung dengan bot, sebaiknya jelas bahwa itu AI.
Materiality adalah kunci.
Jangan label semua.
Jangan sembunyikan yang penting.
Transparency overload juga buruk.
Kalau setiap email punya 20 disclosure, user tidak baca.
Informasi harus fokus ke hal yang memengaruhi keputusan.
Level kedua: jelaskan tujuan
Pelanggan perlu tahu AI dipakai untuk apa.
Fraud prevention?
Recommendation?
Credit assessment?
Personalization?
Customer support?
Purpose memberi konteks.
Kalau aplikasi bilang: “kami menggunakan automated systems untuk mencegah penipuan,” user paham.
Tidak harus menjelaskan neural network.
Purpose juga penting untuk data privacy.
Data dikumpulkan untuk tujuan tertentu.
Kalau digunakan untuk profiling baru, itu bukan detail kecil.
Perusahaan perlu memastikan legal basis dan transparency-nya sesuai.
Level ketiga: jelaskan faktor utama untuk keputusan berdampak
Kalau keputusan materially merugikan customer, explanation perlu lebih dalam.
Contoh: transaksi ditolak.
Jangan hanya: “security reasons.”
Kalau disclosure terlalu detail memang bisa membantu fraudster.
Jadi balance.
Bisa bilang: “transaksi ditahan karena pola aktivitas tidak konsisten dengan riwayat akun dan membutuhkan verifikasi tambahan.”
Cukup untuk user memahami action.
Tidak membuka rule rahasia.
Untuk kredit: “keputusan mempertimbangkan kemampuan pembayaran, histori tertentu, dan data yang Anda berikan.”
Kalau data salah, customer tahu harus koreksi.
Explainability harus actionable.
Level keempat: jangan buka trade secret yang tidak perlu
Perusahaan tidak wajib mempublikasikan model weights.
Source code.
Threshold detail.
Fraud rule.
Itu bisa merusak security dan IP.
Transparansi tidak sama dengan open source.
Yang dibutuhkan pelanggan adalah fairness.
Bukan kemampuan reverse engineer.
Regulator dan auditor bisa mendapat detail lebih tinggi melalui akses terbatas.
Layered transparency lebih masuk akal.
Public info.
Customer-specific explanation.
Auditor info.
Regulator info.
Masing-masing beda.
Level kelima: kalau keputusan tidak full otomatis, jangan pura-pura manusia selalu mengerti
Banyak perusahaan berkata: “AI hanya membantu, manusia yang memutuskan.”
Sounds safe.
Tapi bagaimana prosesnya?
Apakah manusia baca evidence?
Atau cuma klik recommendation?
Kalau 99 persen approved tanpa review, human oversight mungkin symbolic.
Perusahaan harus jujur secara internal.
Kalau customer challenge, siapa yang bisa override?
Manual reviewer perlu authority.
Human in the loop bukan kalimat marketing.
Ia operational control.
Level keenam: personalized pricing perlu attention khusus
AI memungkinkan pricing lebih granular.
Waktu.
Demand.
Behavior.
Location.
Segment.
Tidak semua dynamic pricing unfair.
Hotel dan airline sudah lama punya price variation.
Tapi kalau pricing menggunakan data pribadi atau profiling dengan cara yang tidak expected, transparency concern naik.
Apalagi jika dua pelanggan mendapat harga berbeda berdasarkan vulnerability.
Misalnya user dianggap desperate.
Ini ethical red flag.
Hukum konsumen punya prinsip fairness dan information.
UU PDP juga relevant jika data pribadi dipakai.
Perusahaan perlu policy yang bisa dipertanggungjawabkan.
Jangan hanya optimize revenue.
Level ketujuh: fraud detection butuh secrecy, tapi bukan silence total
Fraud model adalah contoh transparency tension.
Kalau perusahaan menjelaskan: “transaksi ditolak karena IP address X dan velocity Y,” fraudster belajar.
Jadi detail bisa dibatasi.
Tapi legitimate customer tetap perlu jalan keluar.
Verification.
Manual review.
Complaint.
Tidak perlu tahu exact fraud rule.
Yang penting tidak terjebak.
Security exception harus proporsional.
Jangan pakai “security” untuk menolak semua explanation.
Level kedelapan: recommendation juga bisa memengaruhi pelanggan
Orang sering menganggap recommendation low risk.
Kadang iya.
Netflix film.
Music.
Tapi recommendation marketplace bisa menentukan produk mana yang terlihat.
Financial app bisa mendorong produk tertentu.
E-commerce bisa ranking seller.
Kalau ada conflict of interest, transparency penting.
Apakah produk direkomendasikan karena paling cocok?
Atau sponsor?
AI tidak menghapus kewajiban membedakan iklan.
Recommendation system juga punya power distribusi.
Perusahaan perlu menjelaskan logic high level.
Tidak perlu full algorithm.
Level kesembilan: perusahaan perlu decision taxonomy
Sebelum bicara disclosure, mapping dulu.
Keputusan apa dibantu AI?
Low impact.
Medium.
High.
Untuk setiap tier, tentukan explanation.
Low: general policy.
Medium: purpose + factors.
High: specific reason + manual review + data correction.
Ini membuat consistency.
Customer di Blok M dan customer di Makassar mendapat standard sama.
Tidak tergantung mood customer service.
Decision taxonomy juga memudahkan audit.
Level kesepuluh: explanation harus konsisten lintas channel
App bilang satu hal.
Call center lain.
Email lain.
Problem.
Sistem perlu source of truth.
Reason code.
Bukan free-text improvisation.
AI bisa membantu generate explanation dari reason code, tapi underlying reason harus factual.
Jangan AI mengarang alasan.
Ini berbahaya.
Explanation generated after the fact bisa menjadi rationalization.
Simpan actual decision factors.
Level kesebelas: pelanggan perlu tahu data mana yang salah
Ini sangat praktis.
Kalau keputusan berdasarkan data: umur, alamat, status pekerjaan, riwayat transaksi,
dan salah satu tidak benar, customer harus bisa koreksi.
UU PDP memberi hak koreksi.
Product seharusnya support.
Jangan membuat pengguna harus menghapus akun hanya untuk memperbaiki satu field.
Data correction adalah explainability tool.
Kalau user tahu data yang dipakai, mereka bisa challenge.
Level kedua belas: perusahaan perlu membedakan model insight dan business rule
Kadang AI memberi score 70.
Business rule bilang: di atas 65 reject.
Siapa yang “memutuskan”?
Dua-duanya.
Model menghasilkan score.
Perusahaan memilih threshold.
Explanation harus mencerminkan itu.
Jangan menyalahkan model.
Threshold adalah policy decision manusia.
Kalau customer dirugikan, perusahaan bertanggung jawab pada rule yang dipilih.
Ini penting untuk governance.
Banyak keputusan “AI” sebenarnya kombinasi model dan business logic.
Level ketiga belas: vendor tidak boleh menjadi alasan
Perusahaan mungkin pakai SaaS global.
Vendor tidak mau buka model.
Tetap, perusahaan harus bisa memberi explanation minimum ke customer.
Kalau vendor tidak menyediakan reason code, maybe product tidak cocok untuk high-impact decision.
Procurement harus menilai explainability.
Bukan setelah complaint.
Kalau sistem membeli black box, perusahaan membeli liability juga.
Level keempat belas: jangan membuat disclosure yang manipulatif
Contoh: “AI digunakan demi pengalaman terbaik.”
Marketing language.
Tidak informative.
Lebih baik: “AI digunakan untuk menilai kemungkinan fraud pada transaksi dan dapat menahan transaksi untuk verifikasi tambahan.”
Clear.
Specific.
No hype.
Transparency bukan branding.
Level kelima belas: customer explanation perlu diuji
Tanya user.
Apakah mereka paham?
Kalimat legal panjang mungkin technically benar.
Practically useless.
User research bisa membantu.
Buat dua versi.
Lihat comprehension.
Especially untuk layanan finance, healthcare, government.
Low literacy user harus tetap paham.
Accessibility.
Bahasa Indonesia sederhana.
Tidak semua customer ngerti “profiling otomatis.”
Bisa dijelaskan: “sistem otomatis menganalisis data tertentu untuk membantu keputusan.”
Level keenam belas: tidak semua model output perlu explanation individual
Kalau AI mengatur urutan FAQ di website, tidak perlu notice per click.
Regulasi harus proportional.
Kalau semua keputusan mikro diwajibkan explanation, user experience kacau.
Fokus pada material impact.
Ini juga mengurangi compliance cost.
High-impact gets depth.
Low-impact gets general transparency.
Seberapa banyak perusahaan wajib menjelaskan?
Jawabannya: cukup banyak agar pelanggan tahu AI punya peran material, memahami tujuan dan faktor utama ketika keputusan berdampak, bisa mengoreksi data, dan punya jalan challenge.
Tapi tidak sampai perusahaan harus menyerahkan source code atau rule security ke setiap pengguna.
Ini middle ground.
Hak pelanggan tetap nyata.
Trade secret tetap dilindungi.
Security tetap jalan.
Kalau perusahaan bisa menjelaskan: apa yang terjadi, kenapa secara garis besar, data apa yang relevan, dan apa langkah user berikutnya,
Ada juga perbedaan antara explanation sebelum keputusan dan sesudah keputusan. Sebelum menggunakan layanan, pelanggan bisa diberi high-level disclosure bahwa automated system dipakai. Setelah keputusan material terjadi, mereka perlu reason yang lebih specific.
Dua tahap ini jangan dicampur.
Privacy policy umum tidak cukup untuk menjelaskan kenapa transaksi tertentu ditahan.
Sebaliknya, halaman keputusan tidak perlu mengulang seluruh privacy policy.
Product design bisa membuat progressive disclosure. User melihat reason singkat, lalu klik untuk detail lebih lanjut, data correction, atau manual review.
Ini lebih usable daripada satu dokumen panjang.
Perusahaan juga perlu mengukur apakah explanation mengurangi repeat contact dan dispute. Kalau setelah disclosure customer tetap bingung dan terus menelepon, wording-nya gagal. Transparency seharusnya menjadi metric product, bukan hanya compliance checkbox.
Dan satu hal penting, jangan biarkan model generatif membuat reason baru yang tidak sesuai decision engine. Explanation harus berasal dari fakta dan reason code yang benar. AI boleh memperhalus bahasa, bukan menciptakan dasar keputusan.
Kalau perusahaan belum bisa menjelaskan keputusan dengan bahasa sederhana, itu biasanya sinyal bahwa internal process-nya sendiri belum cukup jelas.
itu sudah jauh lebih baik daripada jawaban paling menyebalkan di era digital:
“Keputusan sistem, tidak bisa diubah.”
Bacaan terkait
Artikel ini berada dalam AI Governance & Regulation dan mengikuti metodologi editorial Undercover.id. Format terkait tersedia di Reports dan analisis mendalam.