AI High-Risk di Indonesia: Sistem Apa Saja yang Seharusnya Masuk Kategori Ini?

Kalau Indonesia memakai pendekatan regulasi AI berbasis risiko, cepat atau lambat kita harus menjawab satu pertanyaan:

AI apa yang masuk high-risk?

Per Agustus 2026, Indonesia belum punya daftar final nasional high-risk AI yang setara dengan Annex III EU AI Act.

Jadi tulisan ini bukan daftar hukum yang sudah berlaku.

Ini proposal editorial berdasarkan konteks Indonesia, prinsip perlindungan hak, dan pembelajaran dari yurisdiksi yang lebih dulu membuat klasifikasi.

Kenapa perlu daftar?

Karena tanpa baseline, semua organisasi bisa bilang: “sistem kami cuma membantu.”

Padahal dampaknya besar.

High-risk bukan berarti sistem pasti berbahaya.

Artinya consequence ketika sistem salah cukup besar sehingga governance harus lebih ketat.

Kategori pertama: AI yang menentukan akses bantuan sosial

Ini obvious.

Bansos menyangkut kebutuhan dasar.

Kalau AI memengaruhi eligibility, scoring, atau priority, risk tinggi.

Error bisa membuat orang yang butuh tidak menerima bantuan.

Data sosial juga kompleks.

Outdated. Incomplete. Informal economy.

Maka sistem seperti ini perlu: impact assessment, human review, appeal, data correction, audit.

AI boleh membantu.

Jangan menjadi black-box gatekeeper.

Kategori kedua: AI dalam keputusan kredit untuk individu

Financial access penting.

Model bisa menilai: credit worthiness, fraud, limit.

Bank dan fintech sudah lama memakai scoring.

AI membuat model lebih kompleks.

Jika output memengaruhi apakah seseorang mendapatkan pinjaman, bunga, atau limit, impact besar.

High-risk treatment masuk akal.

Terutama jika menggunakan alternative data.

Location. Device. Behavior.

Proxy discrimination bisa muncul.

User perlu explanation dan correction.

Regulator sektor punya role.

Kategori ketiga: AI recruitment dan employment

CV screening.

Ranking kandidat.

Performance scoring.

Promotion.

Termination recommendation.

Ini berdampak langsung ke pekerjaan.

Human resources sering menganggap tool sebagai efficiency.

Tapi model bisa bias.

Gender. Usia. Universitas. Lokasi.

Proxy.

AI employment sebaiknya masuk kategori high risk jika materially memengaruhi decision.

Low-risk tool seperti grammar assistant HR tidak.

Sekali lagi use case matters.

Kategori keempat: AI kesehatan

Clinical decision support.

Diagnosis.

Treatment recommendation.

Patient triage.

Medical device.

Salah bisa berdampak keselamatan.

Jelas high risk.

Tapi chatbot kesehatan umum?

Depends.

Kalau hanya edukasi dengan disclaimer, mungkin risiko lebih rendah.

Kalau memberi diagnosis individual, naik.

Regulasi harus melihat intended use.

Hospital procurement juga perlu evidence lokal.

Model bagus di data Amerika belum tentu sama di populasi Indonesia.

Kategori kelima: biometric identification

Face recognition.

Voice biometric.

Gait.

Khususnya ketika digunakan pemerintah atau penegak hukum.

Risk ke privacy dan fundamental rights besar.

False match bisa menuduh orang salah.

Performance juga bisa berbeda antarpopulasi.

Sistem seperti ini perlu scrutiny tinggi.

Beberapa use case mungkin bahkan perlu prohibition atau warrant-like safeguards.

Indonesia harus debat terbuka.

Kategori keenam: AI untuk penegakan hukum

Predictive policing.

Risk scoring tersangka.

Evidence analysis.

Sentencing support.

Ini area sangat sensitif.

AI tidak boleh dianggap neutral.

Data historical law enforcement bisa membawa bias lama.

Kalau model memengaruhi deprivation of liberty, standard harus ekstrem.

Human review.

Explainability.

Audit.

Defense access.

Tidak cukup vendor bilang akurasi tinggi.

Kategori ketujuh: AI yang menentukan akses pendidikan

Admissions.

Scholarship.

Student placement.

Proctoring yang bisa memberi accusation.

AI grading untuk high-stakes exam.

Dampaknya ke masa depan siswa.

Indonesia punya diversity besar.

Bahasa. Daerah. Akses perangkat.

Sistem harus diuji fairness.

Proctoring AI misalnya bisa salah karena koneksi internet, lighting, behavior.

Jangan otomatis menghukum.

High risk.

Kategori kedelapan: AI dalam layanan publik dan perizinan

Permit. License. Tax. Immigration. Public complaint priority.

Kalau AI materially memengaruhi hak atau kewajiban warga, high-risk classification masuk akal.

Government punya power.

Transparency harus lebih tinggi.

Public AI registry bisa membantu.

Warga tahu sistem mana yang digunakan.

Kategori kesembilan: AI untuk critical infrastructure

Energy grid.

Air.

Transport.

Telecom.

Sistem yang mengontrol operasi kritis.

Kalau salah, dampak fisik atau ekonomi besar.

High risk.

Tapi AI untuk predictive maintenance yang hanya memberi alert mungkin beda dari autonomous control.

Autonomy lagi.

Semakin dekat AI ke actuator, risk naik.

Kategori kesepuluh: AI untuk insurance

Pricing.

Claim rejection.

Fraud scoring.

Insurance memengaruhi economic protection.

AI bisa membuat segmentation kompleks.

Transparency dan fairness penting.

Mungkin tidak semua insurance AI high risk.

Misalnya chatbot policy.

Tapi underwriting individual bisa.

Indonesia perlu diskusi dengan OJK dan industri.

Kategori kesebelas: AI anak

Sistem yang profil atau memengaruhi anak perlu standard tinggi.

Education recommendation.

Companion bot.

Emotion detection.

Personalized ads.

Anak lebih rentan manipulation.

PP TUNAS sudah memperkuat arah perlindungan anak digital.

AI regulation harus sinkron.

Beberapa use case mungkin high risk meskipun tidak high impact untuk adult.

Affected population matters.

Kategori kedua belas: AI yang bisa melakukan transaksi bernilai besar

Agentic AI membuat kategori baru.

AI diberi akses: transfer uang, purchase, approve contract, change permission.

Sistem ini mungkin bukan high risk karena domain klasik.

Tapi autonomy membuat risk besar.

Perlu threshold.

Agent beli stationery Rp100 ribu: low.

Agent approve payment Rp10 miliar: high.

Transaction limit bisa menjadi risk factor.

Regulasi 2026 ke depan harus memahami agent.

Bukan hanya model.

Kategori ketiga belas: AI untuk cyber defense dan attack

AI yang membantu security defensive bisa critical.

Kalau salah memblok jaringan, operasi terganggu.

AI offensive punya risk lebih tinggi.

Beberapa capability bisa dual use.

Kategori ini mungkin lebih cocok di security regulation daripada general AI law.

Tapi AI governance perlu coordination.

Kategori keempat belas: AI untuk media publik tertentu

Apakah AI journalism high risk?

Tidak selalu.

Tapi sistem yang otomatis menghasilkan informasi darurat atau pengumuman pemerintah bisa high impact.

Kalau salah, publik panic.

Use case: warning bencana.

Evacuation.

Health alert.

High risk.

Bukan karena content.

Karena consequence.

Kategori kelima belas: AI yang menilai emosi

Emotion recognition controversial.

Accuracy questionable di banyak konteks.

Kalau dipakai interview, sekolah, workplace, atau law enforcement, risk besar.

EU bahkan memberi pembatasan kuat pada beberapa penggunaan.

Indonesia perlu sangat hati-hati.

Jangan menjadikan “AI tahu emosi” sebagai fakta ilmiah otomatis.

Kategori high risk juga perlu pengecualian

Tidak semua sistem di sektor high risk otomatis high risk.

Contoh rumah sakit memakai AI untuk mengatur jadwal kantin.

Bukan.

Bank memakai AI untuk summarizing meeting.

Bukan.

Sekolah memakai AI untuk desain poster.

Bukan.

Classification harus berdasarkan use case.

Ini mencegah overregulation.

Sektor sensitif saja tidak cukup.

Impact matters.

Bagaimana menentukan high risk?

Indonesia bisa pakai beberapa pertanyaan.

Apakah sistem memengaruhi hak?

Keselamatan?

Akses ekonomi?

Apakah menyentuh kelompok rentan?

Apakah menggunakan data sensitif?

Apakah autonomous?

Apakah keputusan reversible?

Berapa skala?

Apakah error mudah dideteksi?

Dari kombinasi itu, risk tier.

Tidak semua high risk sama.

Level juga bisa.

High.

Critical.

Control menyesuaikan.

Apa kewajiban high-risk?

Minimal menurut gue:

AI impact assessment sebelum deploy.

Data governance.

Technical documentation.

Human oversight.

Logging.

Performance evaluation lokal.

Incident reporting.

Appeal atau correction.

Vendor transparency.

Periodic review.

Untuk sistem pemerintah, public registry.

Untuk sistem tertentu, independent audit.

Ini memang lebih mahal.

Tapi high-risk system memang tidak seharusnya dipasang seperti plugin WordPress.

Cost of failure besar.

High-risk bukan stempel selamanya

Use case berubah.

Model update.

Risk bisa naik.

Sistem awalnya advisory.

Lalu otomatis.

Reclassify.

Sebaliknya, control baru mungkin menurunkan risk residual.

Tapi kategori inherent impact tetap.

Monitoring.

Material change assessment.

Ini harus lifecycle.

Daftar high-risk harus bisa update

EU pada 2026 sudah melakukan review atas daftar high-risk dan prohibited practices.

Indonesia harus meniru prinsip adaptif ini.

Bukan daftar persis.

Review tahunan atau dua tahunan.

Incident data.

Technology trends.

Public consultation.

Kalau muncul use case baru seperti autonomous purchasing agent skala besar, regulator bisa merespons tanpa menunggu UU baru.

Technical list bisa ada di aturan turunan.

UU memberi kriteria.

Itu lebih future-proof.

Jangan semua hal dimasukkan high-risk

Ada temptation.

Kalau ada potensi harm sedikit, masuk.

Akhirnya list terlalu luas.

Compliance resources habis.

High risk harus reserved untuk consequence material.

Regulasi yang terlalu luas membuat perusahaan fokus paperwork.

Bukan safety.

Prioritization matters.

Indonesia juga harus melihat enforcement capacity.

Berapa sistem bisa diaudit?

Berapa evaluator?

Mulai dari kategori paling obvious.

Government. Health. Finance. Employment. Biometric. Education high stakes.

Expand jika evidence.

AI High-Risk di Indonesia seharusnya bukan daftar teknologi yang kelihatan menyeramkan.

Harus menjadi daftar fungsi yang punya kemampuan nyata mengubah hidup seseorang.

Kalau model salah membuat caption, lo edit.

Kalau model salah menolak kredit, memblok bantuan, menuduh fraud, atau memengaruhi diagnosis, dunia orang yang terkena bisa berubah.

Itu threshold yang seharusnya membedakan.

Ada satu kategori yang menurut gue juga perlu diperhatikan: AI yang melakukan profiling skala besar untuk menentukan perlakuan berbeda terhadap warga atau konsumen. Misalnya harga individual, prioritas layanan, atau fraud flag yang memengaruhi akses.

Personalization biasa belum tentu high risk.

Tapi ketika profiling menghasilkan consequence material dan orang sulit keluar dari sistem, levelnya beda.

Indonesia juga perlu memikirkan AI dalam migrasi dan perbatasan. Visa, immigration risk scoring, dan document verification bisa memengaruhi hak perjalanan dan status seseorang. EU memasukkan area tertentu seperti migration, asylum, dan border control ke kategori high-risk. Indonesia tidak harus otomatis sama, tetapi impact-nya cukup besar untuk dibahas.

Selain daftar kategori, kita butuh test untuk system yang tidak jelas masuk mana. Regulatory catch-all bisa memakai kriteria dampak. Misalnya system dianggap high-risk bila secara signifikan memengaruhi akses ke layanan esensial, keselamatan, pekerjaan, pendidikan, atau hak hukum.

Ini mencegah perusahaan lolos hanya karena use case baru belum masuk daftar.

Tapi catch-all juga harus punya threshold agar tidak semua AI ikut terseret.

Regulator perlu memberi advisory process. Perusahaan bisa bertanya sebelum launch: “Use case kami high risk atau tidak?”

Kalau ada channel klasifikasi seperti ini, compliance lebih predictable.

Dan untuk startup, kepastian seperti itu sangat valuable. Mereka bisa tahu sejak awal apakah product architecture perlu audit, logging, human review, dan budget compliance lebih besar.

High-risk bukan tentang seberapa futuristik AI terlihat.

High-risk tentang seberapa mahal kesalahannya bagi manusia.

Scroll to Top