HealthTech Harus Menjelaskan Kapan AI Tidak Tahu

Di teknologi consumer, jawaban “gue nggak tahu” terasa buruk. User bertanya. System seharusnya menjawab. Semakin cepat dan confident, semakin terasa pintar. Di healthcare, logika itu bisa berbahaya.

FormatArtikel Undercover.id
Terbit31 August 2026
Waktu baca7 menit
KonteksHealthTech & Digital Health
Daftar isi
  1. Uncertainty ada di medicine, bukan cuma AI
  2. Confidence score bukan jawaban lengkap
  3. System juga harus tahu kapan source conflict
  4. Abstention adalah kemampuan penting
  5. User harus tahu scope sebelum bertanya
  6. Source provenance membantu system tahu kapan tidak tahu
  7. Dokter juga perlu melihat uncertainty, bukan hanya recommendation
  8. Uncertainty harus masuk quality metric
  9. Communication ke pasien harus sederhana
  10. HealthTech perlu resist tekanan product metric
  11. Bacaan terkait

Di teknologi consumer, jawaban “gue nggak tahu” terasa buruk.

User bertanya.

System seharusnya menjawab.

Semakin cepat dan confident, semakin terasa pintar.

Di healthcare, logika itu bisa berbahaya.

Kadang jawaban terbaik memang:

“Data belum cukup.”

“Model tidak yakin.”

“Kasus ini di luar scope.”

“Perlu pemeriksaan manusia.”

HealthTech yang matang bukan yang selalu punya jawaban.

Ia tahu kapan tidak tahu.

Ini bukan kelemahan produk.

Ini safety feature.

Uncertainty ada di medicine, bukan cuma AI

Dokter juga hidup dengan uncertainty.

Gejala overlap.

Test punya false positive.

Imaging punya ambiguity.

Treatment response berbeda.

Diagnosis berubah setelah data baru.

Medicine bukan mesin jawaban deterministik.

AI yang selalu terdengar pasti malah tidak mencerminkan realitas klinis.

HealthTech harus membantu user memahami uncertainty secara proporsional.

Bukan membuat mereka panik.

Bukan juga menghapus uncertainty demi UX yang mulus.

WHO pada 2026 terus menekankan transparency, human verification, risk-based governance, dan accountability dalam pemanfaatan AI untuk kesehatan.

Acknowledge uncertainty juga merupakan prinsip komunikasi kesehatan yang sudah lama penting.

AI membuat prinsip itu makin urgent karena model sangat fluent.

“Tidak tahu” perlu dibedakan jenisnya

System tidak tahu bisa karena beberapa alasan.

Data kurang.

Input buruk.

Case di luar training distribution.

Evidence ilmiah memang belum jelas.

Model confidence rendah.

Source konflik.

Tool tidak punya akses data terbaru.

Use case di luar intended scope.

Semua berbeda.

Kalau hanya bilang “maaf, saya tidak tahu”, user tidak belajar.

Lebih baik system menjelaskan:

“Foto terlalu buram untuk dinilai.”

“Informasi obat belum lengkap.”

“Guideline yang tersedia berbeda menurut kondisi tertentu.”

“Model ini tidak dirancang untuk menentukan diagnosis.”

“Untuk pertanyaan ini diperlukan pemeriksaan klinis.”

Uncertainty explanation harus actionable.

User tahu apa data berikutnya.

Atau tahu kapan pindah ke manusia.

Confidence score bukan jawaban lengkap

“Confidence 67 persen.”

Kedengarannya scientific.

Tapi user tidak tahu artinya.

Apakah 67 persen cukup untuk action?

Apakah probability itu calibrated?

Pada population mana?

Untuk task apa?

Angka bisa memberi false precision.

HealthTech sebaiknya tidak melempar score mentah ke consumer tanpa context.

Lebih baik category:

high confidence untuk task low-risk tertentu, needs review, insufficient data.

Kalau probability ditampilkan, jelaskan.

Clinical user mungkin membutuhkan angka lebih detail.

Consumer berbeda.

Interface harus sesuai audience.

System juga harus tahu kapan source conflict

Kesehatan punya guideline yang bisa berbeda.

Country.

Professional society.

Population.

Version.

Condition.

AI bisa menemukan dua recommendation yang tidak identik.

Jangan diam-diam memilih satu lalu menyajikannya sebagai absolute truth.

Bisa bilang:

“Ada perbedaan rekomendasi tergantung guideline dan konteks pasien.”

Lalu tunjukkan source.

Ini jauh lebih trustworthy.

HealthTech sering takut user bingung.

Tapi menyembunyikan disagreement juga buruk.

Tugas desain adalah menjelaskan complexity secara sederhana.

Bukan menghapus complexity.

“Tidak tahu” harus memicu escalation

Kalau AI tidak yakin pada task high-risk, harus ada next step.

Call clinician.

Request better image.

Repeat measurement.

Ask more history.

Refer to emergency pathway.

Human review.

Jangan membuat dead end.

Uncertainty detection tanpa escalation hanya membuat user frustrasi.

Dalam clinical workflow, system bisa membuat queue untuk case uncertain.

AI menangani obvious case.

Manusia fokus ambiguous case.

Ini sebenarnya use case bagus.

Model tidak perlu menyelesaikan 100 persen.

Ia membantu prioritization.

HealthTech yang selalu mengejar automation rate 100 persen mungkin justru salah objective.

Abstention adalah kemampuan penting

Dalam machine learning, ada konsep model abstention.

System memilih tidak membuat prediction ketika confidence atau input quality tidak cukup.

Di healthcare, ini sangat valuable.

Model radiology bisa bilang:

“Image quality insufficient.”

Chatbot bisa bilang:

“Symptom pattern tidak cukup untuk safe guidance.”

Voice AI bisa bilang:

“Saya tidak yakin mendengar nama obatnya.”

Ini mengurangi confident error.

Product team perlu mengukur abstention quality.

Apakah system menolak terlalu sering?

Kalau terlalu sering, utility rendah.

Apakah terlalu jarang?

Risk naik.

Threshold harus diuji.

Tidak ada angka universal.

Context menentukan.

User harus tahu scope sebelum bertanya

Salah satu cara terbaik mengelola uncertainty adalah menjelaskan scope dari awal.

“Tool ini membantu menjelaskan hasil lab, bukan mendiagnosis.”

“Tool ini membantu scheduling, bukan memberikan advice obat.”

“Tool ini screening awal dan tidak menggantikan pemeriksaan.”

Kalau mental model user benar, expectation lebih sehat.

Banyak health AI gagal karena interface terlalu general.

Satu chat box.

User bisa bertanya apa saja.

System mencoba menjawab apa saja.

Capability creep.

Product yang matang punya boundary.

Bahkan kalau underlying model bisa melakukan lebih.

Safety ditentukan product design, bukan raw model capability.

Source provenance membantu system tahu kapan tidak tahu

WHO pada April 2026 meluncurkan beta ChatHRP untuk membantu policy-maker dan health worker menemukan evidence sexual and reproductive health.

Yang menarik adalah tool tersebut dibatasi ke research dan guidance dari HRP serta WHO, dengan referenced content.

Ini contoh architecture yang memilih source scope.

Kalau jawabannya tidak ada di knowledge base, system punya alasan lebih jelas untuk tidak mengarang.

Retrieval-grounded system bukan otomatis sempurna.

Tapi provenance membantu.

HealthTech sebaiknya lebih sering bertanya:

source universe apa yang dipercaya?

Daripada:

bagaimana membuat model menjawab semua topik?

Narrow but reliable sering lebih valuable daripada broad but uncertain.

Dokter juga perlu melihat uncertainty, bukan hanya recommendation

Clinical AI interface kadang terlalu simple.

Merah.

Kuning.

Hijau.

Dokter melihat label tapi tidak tahu confidence.

High-risk decision support sebaiknya memberi context.

Input quality.

Confidence.

Reason.

Missing data.

Population limitation.

Alternative.

Tidak semua perlu ditampilkan sekaligus.

Bisa progressive disclosure.

Yang penting clinician bisa interrogate.

WHO pada Juli 2026 memperingatkan bahwa health worker yang dilatih percaya sistem AI yang tidak bisa mereka interrogate berisiko membuat kesalahan di luar kontrol mereka.

Itu framing yang kuat.

AI harus bisa dipertanyakan.

Bukan oracle hitam.

Uncertainty harus masuk quality metric

Product dashboard jangan hanya punya accuracy.

Tambahkan:

uncertain case rate, abstention rate, escalation rate, false reassurance, human override, missing data frequency, out-of-distribution alert.

Ini membantu melihat safety.

Kalau model tiba-tiba jauh lebih confident setelah update, apakah memang improve atau calibration rusak?

Monitoring uncertainty membantu detect drift.

High confidence bukan selalu kabar baik.

Model overconfident justru berbahaya.

Communication ke pasien harus sederhana

Jangan bilang:

“Epistemic uncertainty exceeds aleatoric threshold.”

Pasien tidak butuh jargon.

Bilang:

“Hasil ini belum cukup jelas untuk ditafsirkan dengan aman.”

Atau:

“AI tidak bisa memastikan dari data yang tersedia.”

Lalu next step.

Bahasa jujur.

Tidak menakutkan.

Tidak paternalistik.

User dewasa bisa menerima ketidakpastian kalau dijelaskan.

Masalahnya bukan uncertainty.

Masalahnya uncertainty yang disamarkan sebagai kepastian.

HealthTech perlu resist tekanan product metric

PM mungkin ingin completion rate tinggi.

Customer support ingin containment rate tinggi.

Investor ingin automation tinggi.

Clinical team ingin safety.

Conflict bisa muncul.

Kalau setiap escalation dianggap failure, system akan didorong untuk menjawab lebih banyak daripada seharusnya.

KPI harus seimbang.

Safe escalation bisa menjadi success.

Abstention tepat bisa menjadi success.

Human handoff cepat bisa menjadi success.

Healthcare berbeda dari chatbot sales.

Tidak semua conversation harus ditutup machine.

Ini perubahan mindset penting.

“Gue nggak tahu” membangun trust kalau dipakai benar

Bayangkan dua dokter.

Dokter pertama selalu yakin.

Dokter kedua bilang:

“Saya belum yakin. Kita perlu pemeriksaan tambahan.”

Mana yang lebih dipercaya?

Sering justru yang kedua.

Karena honesty tentang batas menunjukkan competence.

AI juga bisa seperti itu.

System yang kadang abstain terasa kurang magical, tetapi lebih credible.

Over time, user belajar bahwa kalau AI memberi answer, ada quality gate tertentu.

Trust tumbuh bukan dari selalu yakin.

Dari konsistensi antara confidence dan evidence.

HealthTech 2026 harus berhenti menganggap uncertainty sebagai bug yang harus disembunyikan.

Uncertainty adalah bagian medicine.

Yang harus diperbaiki adalah cara mengelolanya.

Detect.

Explain.

Escalate.

Monitor.

Kalau empat hal itu bagus, AI bisa menjadi decision support yang jauh lebih aman.

Model paling berguna bukan model yang punya jawaban untuk semua.

Model paling berguna adalah yang cukup pintar untuk mengenali batas pengetahuannya sebelum batas itu berubah menjadi risiko untuk pasien.

Design team juga bisa menguji uncertainty communication dengan user research. Apakah orang memahami “low confidence”? Apakah mereka mengira berarti diagnosis ringan? Apakah warna hijau dianggap aman?

Jangan asumsi.

Test.

Healthcare UI punya consequence.

Satu label yang dimaksudkan teknis bisa ditafsirkan emosional.

Uncertainty design harus diuji seperti clinical feature lain.

Di healthcare, kejujuran soal batas bukan friksi.

Ia bagian dari kualitas.

System yang tahu kapan tidak tahu memberi manusia kesempatan mengambil alih sebelum uncertainty berubah menjadi harm.

Ada perbedaan lain antara uncertainty dan error. Kalau system bilang “gue tidak yakin”, itu uncertainty yang terlihat. Kalau system salah tetapi sangat yakin, itu error yang tersamarkan.

HealthTech perlu fokus pada calibration supaya confidence punya hubungan dengan actual performance.

Ini bukan sekadar technical metric.

Ia memengaruhi behaviour manusia.

Kalau dokter tahu low-confidence prediction memang lebih sering salah, mereka bisa memperlakukan dengan tepat.

Kalau confidence random, interface menipu.

System juga perlu mendeteksi input quality.

Foto gelap.

Audio terlalu noisy.

Dokumen terpotong.

Data lab tanpa unit.

Medical history tidak lengkap.

Jangan langsung process seolah input normal.

Quality gate sebelum inference bisa mencegah banyak masalah.

AI yang “tidak tahu” kadang sebenarnya “tidak bisa melihat”.

Bedakan.

Selain itu, uncertainty bisa berubah karena data baru. HealthTech yang baik harus bisa memperbarui answer.

Misalnya hasil pemeriksaan tambahan masuk.

Recommendation berubah.

System perlu menunjukkan apa yang berubah dan kenapa.

Jangan seolah answer baru selalu benar sementara answer lama dilupakan.

Versioned reasoning membantu clinician memahami evolution.

Ini sangat penting untuk longitudinal care.

Medicine bergerak dari incomplete information menuju picture yang lebih lengkap.

AI seharusnya mendukung proses itu, bukan berpura-pura semua sudah jelas dari awal.

Ketidakpastian harus terlihat sebelum keputusan dibuat, bukan sesudah masalah muncul.

Bacaan terkait

Artikel ini berada dalam HealthTech & Digital Health dan mengikuti metodologi editorial Undercover.id. Format terkait tersedia di Explainer teknologi dan kebijakan digital.