“Model ini akurat berapa persen?”

Akurasi hanyalah salah satu layer.

Clinical safety membutuhkan jauh lebih banyak.

Akurasi bisa menyembunyikan class imbalance

Bayangkan penyakit punya prevalence 1 persen.

Model bodoh yang selalu bilang “tidak ada penyakit” bisa terlihat 99 persen akurat.

Secara klinis, useless.

Karena itu metric harus sesuai use case.

Sensitivity.

Specificity.

Positive predictive value.

Negative predictive value.

Calibration.

False positive.

False negative.

Semua penting.

Untuk screening, sensitivity mungkin sangat critical.

Untuk treatment recommendation, error type bisa punya consequence berbeda.

Tidak ada satu metric universal.

Angka headline bagus untuk marketing.

Clinical evaluation butuh confusion matrix.

Dan tetap belum selesai.

External validation lebih penting dari internal benchmark

Model bisa hebat di dataset training environment.

Begitu pindah hospital, performance turun.

Kenapa?

Device berbeda.

Population berbeda.

Protocol berbeda.

Prevalence berbeda.

Language berbeda.

Data quality berbeda.

Clinical workflow berbeda.

Ini distribution shift.

Clinical AI perlu external validation.

Idealnya multicenter kalau deployment luas.

Indonesia juga perlu local evidence.

Model yang diuji di hospital Amerika atau Eropa tidak otomatis cocok untuk population Indonesia.

Bukan berarti tidak bisa dipakai.

Tapi hospital harus tahu gap.

Local validation bukan nationalism.

Itu science.

Subgroup performance wajib dilihat

Average bisa menipu.

Model 92 persen overall.

Tapi apakah sama pada older adults?

Pada gender berbeda?

Pada skin tone berbeda untuk visual model?

Pada device berbeda?

Pada comorbidity tertentu?

Pada location berbeda?

AI bisa punya systematic performance gap.

WHO pada 2026 terus menyoroti bias, equity, dan governance sebagai isu sentral health AI.

Clinical deployment harus punya subgroup audit.

Tidak semua subgroup harus dibentuk sembarangan.

Harus clinically relevant dan tetap menjaga fairness serta privacy.

Tujuannya bukan profiling.

Tujuannya menemukan siapa yang paling mungkin dirugikan.

Calibration sangat penting

Kalau model bilang 80 persen risk, apakah kira-kira delapan dari sepuluh kasus dengan score seperti itu memang punya outcome?

Itulah calibration secara sederhana.

Clinical decision sering membutuhkan probability.

Model bisa punya ranking bagus tetapi probability buruk.

Kalau score overconfident, clinician bisa terlalu percaya.

Kalau underconfident, useful case bisa diabaikan.

Calibration bisa berubah antarpopulation.

Maka perlu check local.

High AUROC tidak otomatis berarti probability clinically usable.

Ini salah satu alasan metric headline tidak cukup.

Workflow bisa menghancurkan model bagus

Model accurate tetapi result keluar terlambat.

Useless.

Model bagus tetapi alert muncul 30 kali sehari.

Clinician ignore.

Useless.

Model bagus tetapi output sulit dipahami.

Adoption rendah.

Model bagus tetapi integration ke EHR buruk.

Manual copy-paste.

Error baru.

Clinical AI adalah socio-technical system.

Performance model hanya satu komponen.

Human factor.

Timing.

Interface.

Role.

Escalation.

Fallback.

Semua menentukan outcome.

Hospital harus menguji workflow impact.

Bukan cuma lab accuracy.

Prospective evaluation lebih kuat

Retrospective study berguna.

Kita pakai data lama.

Lihat model bisa predict apa.

Lebih aman untuk tahap awal.

Tapi real deployment butuh prospective evidence.

Apa yang terjadi ketika clinician melihat output?

Apakah mereka berubah keputusan?

Apakah waktu lebih cepat?

Apakah patient outcome lebih baik?

Apakah unnecessary testing naik?

Apakah missed diagnosis turun?

Prospective study menangkap interaction antara manusia dan model.

Ini penting karena AI bisa memengaruhi behaviour.

Tidak ada di retrospective benchmark.

Silent deployment bisa jadi jembatan

Sebelum output memengaruhi care, model bisa dijalankan silent.

System membuat prediction.

Clinician tidak melihat dulu.

Hospital membandingkan dengan outcome.

Ini membantu local validation tanpa langsung menambah risk.

Setelah cukup evidence, baru controlled pilot.

Approach tergantung use case dan regulation.

Tidak semua model butuh langkah identik.

Tapi principle staged deployment sehat.

Jangan langsung hospital-wide karena demo bagus.

Mulai kecil.

Measure.

Expand.

FDA 2026 menunjukkan intended use sangat menentukan

FDA pada Januari 2026 menerbitkan final guidance Clinical Decision Support Software.

Konteksnya regulasi Amerika Serikat.

Tidak bisa dicopy langsung ke Indonesia.

Tapi satu lesson penting adalah software health harus dilihat berdasarkan fungsi dan intended use.

Apakah untuk healthcare professional?

Patient?

Apakah recommendation bisa independently reviewed?

Apakah software function termasuk medical device?

Risk berubah berdasarkan jawaban.

Clinical AI tidak bisa diregulasi sebagai satu kategori besar.

Chatbot education beda dengan radiology detection.

Documentation assistant beda dengan treatment recommendation.

Procurement hospital perlu memahami intended use, bukan cuma model capability.

Transparency juga belum cukup kalau user tidak mengerti

Vendor bisa kasih explainability.

Heatmap.

Feature importance.

Rationale.

Apakah clinician benar-benar paham?

Explainability harus clinically meaningful.

Heatmap warna merah bukan otomatis explanation.

Kalau dokter tidak tahu bagaimana output dihasilkan atau kapan tidak reliable, oversight jadi formalitas.

Clinical user perlu training.

Apa limitation?

Apa input requirement?

Apa population validation?

Apa failure mode?

Kapan ignore?

Training bukan satu webinar saat launch.

Harus ongoing.

Apalagi kalau model update.

Drift membuat akurasi masa lalu tidak menjamin masa depan

AI hidup dalam environment berubah.

Device baru.

EHR upgrade.

Coding berubah.

Population berubah.

Seasonality.

Protocol.

Disease prevalence.

Semua bisa mengubah input distribution.

Model drift.

Karena itu post-market monitoring wajib.

Clinical AI harus punya health metric.

Performance trend.

Override rate.

Error.

Complaint.

Subgroup gap.

Downtime.

Calibration.

Alert response.

Kalau signal memburuk, ada action.

Rollback.

Retraining.

Revalidation.

Suspend.

Jangan menunggu incident besar.

Cybersecurity juga bagian clinical safety

Model bisa akurat.

Tapi kalau system insecure, patient safety tetap terancam.

Data poisoning.

Unauthorized access.

Ransomware.

Model tampering.

Credential theft.

Availability.

Healthcare AI adalah software infrastructure.

Security harus masuk risk assessment.

Clinical team dan cybersecurity team perlu bicara.

AI tidak boleh menjadi jalur baru ke medical record tanpa kontrol.

Akurasi tinggi tidak berarti secure.

Akurasi tinggi tidak berarti compliant.

Akurasi tinggi tidak berarti reliable.

Patient outcome harus menjadi ujung pengukuran

Pada akhirnya kita tidak deploy clinical AI untuk memenangkan benchmark.

Tujuannya:

lebih cepat diagnosis, lebih sedikit missed case, lebih sedikit unnecessary test, lebih baik treatment, lebih rendah burden, lebih baik access, lebih aman patient.

Kalau model accuracy naik tetapi outcome tidak berubah, value perlu dipertanyakan.

Mungkin bottleneck ada di referral.

Mungkin clinician tidak menggunakan output.

Mungkin intervention tidak tersedia.

Clinical AI harus dinilai sebagai bagian care pathway.

Bukan isolated prediction.

Health economics juga penting

Sistem bisa clinically useful tetapi terlalu mahal.

Hardware.

License.

Integration.

Training.

Maintenance.

Monitoring.

Cybersecurity.

Support.

Semua biaya.

Hospital perlu melihat total cost.

Apakah saving real?

Apakah capacity naik?

Apakah downstream testing bertambah?

Cost-effectiveness menjadi bagian keputusan.

AI tidak otomatis murah hanya karena software.

Clinical deployment punya hidden cost.

Jangan hanya lihat subscription.

High accuracy juga bisa menimbulkan automation bias

Semakin sering model benar, semakin mudah clinician berhenti skeptis.

Lalu rare error terlewat.

Ini paradox.

Model bagus membutuhkan oversight yang tetap aktif.

UI bisa membantu.

Tampilkan uncertainty.

Jangan terlalu authoritative.

Beri akses ke source data.

Encourage independent check untuk high-risk decision.

Human-in-the-loop harus benar-benar berpikir.

Bukan cuma klik approve.

WHO pada 2026 menekankan human oversight dan multidisciplinary governance dalam AI kesehatan.

Ini bukan anti-automation.

Ini cara mempertahankan accountability.

Clinical AI 2026 harus dinilai dari package lengkap.

Evidence.

Validation.

Workflow.

Bias.

Calibration.

Security.

Privacy.

Monitoring.

Cost.

Outcome.

Governance.

Kalau satu vendor cuma menjual angka akurasi, pertanyaan kita belum selesai.

Akurasi tinggi adalah tiket masuk.

Bukan garis finish.

Healthcare terlalu kompleks untuk menyerahkan keputusan ke satu angka yang terlihat keren di slide.

Model yang layak dipakai bukan model yang paling mengesankan saat demo.

Ia model yang tetap aman, useful, dan accountable ketika masuk rumah sakit nyata, bertemu pasien nyata, dan menghadapi data yang tidak sebersih benchmark.

Procurement juga perlu menanyakan siapa yang bertanggung jawab ketika performance berubah setelah model update. Apakah vendor memberi notice? Apakah hospital bisa menolak update? Apakah ada changelog? Apakah revalidation diperlukan?

Software AI bisa berubah lebih cepat daripada medical workflow.

Version governance penting.

Model 3.2 yang divalidasi bukan otomatis sama dengan model 3.4.

Hospital harus tahu kapan change material terjadi.

Kalau vendor tidak bisa menjelaskan lifecycle, risk bukan hanya technical.

Risk-nya governance.

Satu angka bisa memulai conversation.

Tidak boleh mengakhiri due diligence.

Clinical AI yang matang perlu evidence yang cukup untuk menjelaskan kapan ia berguna, kapan ia gagal, dan siapa yang harus mengambil alih saat failure terjadi.

Clinical AI juga perlu dibandingkan dengan baseline yang jujur. Kalau dokter tanpa AI sudah punya performance sangat tinggi, improvement kecil mungkin tidak sebanding dengan biaya, complexity, dan risk baru. Sebaliknya, di area dengan specialist shortage, improvement kecil bisa punya value besar karena membantu memperluas capacity.

Jadi pertanyaan “lebih akurat dari manusia atau tidak?” sering terlalu simplistik.

Bandingkan workflow.

Human alone.

AI alone bila memang relevan untuk research.

Human plus AI.

Kadang kombinasi terbaik bukan model yang mengalahkan clinician, tetapi model yang membantu clinician paling banyak pada case yang sulit.

Human-AI complementarity lebih penting daripada kompetisi.

Rumah sakit juga perlu menilai alert burden. Model bisa sangat sensitif dan menangkap banyak case, tapi kalau clinician menerima terlalu banyak false alert, attention habis. Dalam beberapa minggu, warning mulai diabaikan.

Ini alarm fatigue.

Clinical AI harus mengoptimalkan value of attention.

Tidak semua prediction perlu ditampilkan.

Prioritization dan threshold perlu disesuaikan dengan workflow nyata.

Selain itu, audit harus punya jalur corrective action. Kalau subgroup performance turun, siapa yang bertindak? Vendor? Clinical governance committee? IT? Department head? Jangan hanya punya dashboard merah tanpa owner.

Clinical AI governance yang matang selalu menghubungkan signal ke action.

Monitor.

Investigate.

Mitigate.

Revalidate.

Kalau perlu, stop.

Kemampuan mematikan sistem dengan aman adalah bagian dari safety architecture.