Regulator Perlu Menguji AI Secara Nyata, Bukan Hanya Membaca Dokumen Vendor

Ada cara paling gampang untuk menilai sistem AI.

Minta vendor presentasi.

Mereka datang dengan deck.

Ada benchmark. Ada grafik. Ada klaim accuracy. Ada security certificate. Ada model card. Ada slide bertuliskan “responsible AI.”

Semua terlihat meyakinkan.

Masalahnya, dokumen hanya menunjukkan apa yang vendor pilih untuk ditampilkan.

Regulator butuh lebih dari itu.

Kalau AI dipakai untuk keputusan high-impact, regulator perlu kemampuan menguji sistem secara nyata.

Bukan hanya membaca.

Bukan hanya mendengar demo.

Tapi menjalankan test, mencoba edge case, melihat failure, dan membandingkan perilaku sistem dengan klaim yang dibuat.

Ini bukan sikap anti-vendor.

Justru ini normal di industri yang matang.

Pesawat diuji. Obat diuji. Perangkat medis diuji. Software security diuji.

AI seharusnya tidak mendapat pengecualian hanya karena produknya probabilistik.

Testing adalah bagian governance.

Dokumen vendor tetap penting

Jangan salah.

Model card. Risk assessment. Technical documentation. Security report.

Semua berguna.

Regulator butuh informasi awal.

Tapi dokumen tidak bisa menjadi satu-satunya evidence.

Vendor punya conflict of interest.

Mereka ingin produk lolos.

Bahkan vendor yang jujur tetap melihat sistem dari sudut developer.

Regulator perlu perspektif independen.

Apakah claim performance benar di data Indonesia?

Apakah model tetap aman ketika Bahasa Indonesia slang?

Apakah sistem bisa dibypass?

Apakah tool permission bekerja?

Pertanyaan ini perlu test.

NIST di Amerika Serikat sudah lama menempatkan testing, evaluation, verification, dan validation, atau TEVV, sebagai fondasi trustworthy AI.

NIST bahkan mengembangkan program khusus untuk menguji AI dalam konteks realistis, bukan hanya benchmark lab.

Indonesia tidak harus meniru struktur NIST.

Tapi prinsipnya relevan.

Trust butuh measurement.

Regulator harus punya testbed

Bayangin Komdigi atau regulator sektoral punya lingkungan pengujian AI.

Vendor mengirim model atau akses API.

Regulator menjalankan scenario.

Untuk customer service: hallucination. Privacy. Prompt injection.

Untuk credit scoring: bias. False rejection. Stability.

Untuk health: clinical safety. Generalization.

Untuk agent: unauthorized action. Transaction limit. Rollback.

Testbed tidak harus supercomputer nasional.

Bisa mulai kecil.

Yang penting ada capability.

Regulator tidak boleh sepenuhnya bergantung pada laptop vendor saat demo.

Independent environment memberi visibility.

Uji data Indonesia, bukan hanya benchmark global

Model bisa bagus di English benchmark.

Lalu buruk di Bahasa Indonesia.

Atau bagus di Bahasa Indonesia formal, buruk di bahasa campur.

Jaksel. Jawa. Sunda. Typo.

Indonesia punya context sendiri.

Regulator perlu dataset lokal.

Tidak semua harus public.

Private benchmark justru bisa mengurangi gaming.

Misalnya regulator keuangan punya dataset synthetic atau anonymized untuk credit evaluation.

Kemenkes punya clinical test set.

Komdigi punya safety benchmark Bahasa Indonesia.

Kalau semua test pakai benchmark yang sudah diketahui vendor, vendor bisa optimize spesifik.

Private eval membantu melihat generalization.

Uji failure, bukan cuma average performance

Vendor suka angka: 95 persen accuracy.

Regulator harus bertanya: 5 persen salah di mana?

Apakah random?

Atau terkonsentrasi di satu kelompok?

Untuk high-impact system, error distribution penting.

Model bisa punya average bagus tapi gagal pada daerah tertentu.

Atau dokumen tertentu.

Atau demographic tertentu.

Testing harus slicing.

Language. Region. Case type. Severity.

Fairness tidak terlihat dari satu angka.

NIST juga menekankan evaluasi bias, privacy, robustness, safety, security, explainability, dan reliability.

Trustworthy AI memang multidimensional.

Jangan puas benchmark IQ.

Red-team agentic AI

Era agent membuat testing lebih urgent.

Model tidak cuma menjawab.

Ia bisa bertindak.

Search. Email. Database. Payment.

Regulator perlu mencoba attack.

Prompt injection.

Malicious document.

Tool misuse.

Permission escalation.

Kalau agent membaca email yang berisi instruksi tersembunyi, apakah ia mengikuti?

Kalau iya, seberapa jauh?

Apakah bisa mengirim data?

Testing seperti ini tidak terlihat di model card.

Harus dieksekusi.

NIST pada April 2026 bahkan mengadakan pembahasan tentang evaluation probes untuk agentic AI ecosystems.

Ini menunjukkan testing AI bergerak dari model-level ke system-level.

Indonesia juga harus.

Uji human oversight

Vendor bisa bilang: “human in the loop.”

Regulator jangan langsung checklist.

Tes.

Beri 100 kasus.

Lihat reviewer.

Berapa detik per kasus?

Apakah bisa override?

Apakah interface menampilkan evidence?

Kalau manusia selalu mengikuti AI, oversight mungkin formal.

Human factors harus diuji.

Tidak cukup ada tombol override.

Apakah tombol digunakan?

Apakah reviewer tahu kapan harus pakai?

Operational truth lebih penting dari policy.

Uji fail-safe

Sistem high-impact harus punya cara gagal aman.

Regulator bisa simulasi.

Data source down.

Model timeout.

Confidence rendah.

Vendor API unavailable.

Apa yang terjadi?

Apakah sistem menebak?

Atau berhenti?

Apakah fallback manual?

Apakah transaksi tertahan?

Fail-safe testing penting.

Karena incident biasanya terjadi ketika kondisi tidak ideal.

Demo selalu ideal.

Regulator tugasnya melihat kondisi buruk.

Uji model update

Vendor bisa mengubah model.

Regulator perlu tahu apakah performance berubah.

High-impact system mungkin perlu regression testing.

Tidak semua update perlu approval penuh.

Tapi material change harus diuji.

Capability naik.

Tool baru.

Data policy berubah.

Model version berubah besar.

Regulator bisa punya threshold.

Major update: retest.

Minor: monitor.

Ini membuat oversight lifecycle.

Bukan sekali sertifikasi.

Uji klaim transparency

Vendor bilang: “system explainable.”

Coba.

Ambil keputusan nyata.

Tanya alasan.

Apakah explanation konsisten dengan actual factor?

Atau AI hanya membuat cerita yang terdengar masuk akal?

Ini penting.

Post-hoc generated explanation bisa misleading.

Regulator perlu compare reason dengan log.

Kalau model score datang dari faktor A dan B, explanation jangan tiba-tiba bilang C.

Testing explainability bukan membaca policy.

Ia memeriksa fidelity.

Uji privacy

Masukkan canary data.

Lihat apakah muncul ke user lain.

Test data isolation.

Retention.

Deletion.

Kalau user menghapus data, apakah benar hilang dari retrieval?

Kalau employee beda role, apakah akses berbeda?

AI system sering terhubung banyak data.

Privacy testing harus practical.

Bukan cuma contract review.

UU PDP memberi hak.

Technical test memastikan architecture mendukung.

Independent evaluator bisa membantu

Regulator tidak harus melakukan semua sendiri.

Bisa akreditasi lab.

Universitas.

Auditor.

Security firm.

Tapi standard harus jelas.

Conflict of interest.

Evaluator dibayar vendor bisa tetap independent jika governance kuat.

Atau regulator sampling.

Hybrid.

Indonesia perlu membangun ecosystem evaluator.

Karena jumlah AI system akan besar.

Satu kantor pemerintah tidak bisa test semuanya.

Focus high risk.

Regulator sektor paling paham context

Komdigi bisa punya baseline.

Tapi OJK lebih paham finance.

Kemenkes health.

Kemendikdasmen education.

High-risk testing perlu domain expert.

Model credit tidak cukup diuji engineer.

Butuh risk expert.

Medical AI butuh clinician.

Socio-technical.

NIST juga menekankan context dalam evaluation.

Metric valid di satu setting belum tentu valid di setting lain.

Indonesia perlu distributed testing capability.

Regulator juga harus menguji manfaat, bukan cuma risiko

Ini bagian yang sering lupa.

Vendor bilang AI meningkatkan efficiency 40 persen.

Buktikan.

Kalau sistem aman tetapi tidak memberi benefit, kenapa public institution membeli?

Regulator procurement atau auditor pemerintah bisa melihat value.

Time saved.

Error reduced.

Service improved.

AI governance bukan hanya “jangan bahaya.”

Juga “apakah layak.”

Public money harus punya outcome.

Testing benefit mencegah AI theater.

Ada terlalu banyak pilot yang impressive tapi tidak menyelesaikan masalah.

Testing harus reproducible

Satu evaluator dapat hasil bagus.

Evaluator lain beda.

Need protocol.

Dataset. Version. Metric. Environment.

Document.

Regulator harus bisa reproduce.

Ini penting untuk sengketa.

Vendor bilang sistem lulus.

Regulator bilang gagal.

Kalau method tidak jelas, debate.

Standard testing mengurangi.

Indonesia bisa bekerja dengan BSN, akademisi, dan regulator sektor.

Build national AI measurement science.

Bukan hanya regulation text.

Jangan hanya test sebelum launch

Production monitoring sama penting.

System behavior berubah.

Data drift.

User berubah.

Model update.

Regulator bisa meminta periodic report untuk high risk.

Sampling.

Incident.

Override rate.

Performance.

Komdigi pada Juli 2026 bahkan membuka permintaan masukan publik terhadap konsep laporan tahunan penyelenggaraan bidang AI, blockchain, dan IoT dalam kerangka perizinan berusaha berbasis risiko.

Ini bukan berarti sudah ada kewajiban audit AI high-risk universal.

Tapi menunjukkan reporting infrastructure sedang berkembang.

Ke depan, report sebaiknya berisi evidence.

Bukan hanya jumlah sistem.

Regulator perlu hak stop

Kalau testing menemukan risiko serius, apa action?

Warning.

Remediation.

Restrict.

Suspend.

Untuk high-impact system, regulator perlu tools.

Kalau hanya bisa memberi rekomendasi, testing kehilangan teeth.

Tentu due process.

Vendor bisa challenge.

Retest.

Tapi authority harus ada sesuai struktur hukum.

Regulation without enforcement is advice.

Testing without remediation is research.

Capacity adalah tantangan terbesar

Membangun lab AI mahal.

Talenta langka.

Model berubah cepat.

Tapi ini investasi strategic.

Indonesia sedang menuju AI governance lebih formal.

RPerpres AI selesai dibahas dan menunggu penetapan Presiden per konfirmasi pemerintah 28 Juli 2026.

Kalau nanti regulasi makin kuat, regulator harus punya kemampuan teknis yang setara.

Tidak cukup lawyer.

Butuh engineer.

Data scientist.

Security researcher.

Domain expert.

Auditor.

AI regulation adalah multidisciplinary enforcement.

Regulator Perlu Menguji AI Secara Nyata, Bukan Hanya Membaca Dokumen Vendor karena dokumen menunjukkan sistem versi ideal.

Testing menunjukkan sistem versi real.

Regulator juga perlu membangun katalog test scenario yang terus berkembang. Satu incident baru bisa menjadi kasus uji untuk sistem sejenis. Kalau ada agent yang pernah salah mengikuti instruksi dari dokumen eksternal, pola itu masuk regression suite. Vendor berikutnya diuji dengan skenario serupa.

Dengan cara ini, pengawasan punya institutional memory. Pengetahuan tidak hilang ketika pejabat atau auditor berganti.

Testing juga perlu memperhatikan cost dan latency. Sistem bisa sangat akurat tetapi terlalu lambat untuk layanan publik. Atau terlalu mahal sehingga instansi memotong human review demi budget. Performance ekonomi bisa berubah menjadi risk operasional.

Dan ketika regulator memakai pihak ketiga untuk test, metodologi mereka juga harus diaudit. Evaluator yang buruk bisa menghasilkan false confidence. Accreditation, proficiency testing, dan conflict-of-interest disclosure akan menjadi bagian penting ekosistem.

Pada akhirnya, kemampuan menguji bukan fasilitas tambahan. Itu syarat agar regulator tidak berada satu langkah di belakang vendor yang diawasi.

Dan masyarakat hidup dengan versi real.

Bukan dengan slide PowerPoint.