Ada alasan orang bisa cepat dekat dengan AI companion.
Ia selalu ada.
Tidak capek.
Tidak memotong.
Tidak kelihatan menghakimi.
Bisa dibuka saat jam tiga pagi ketika teman sudah tidur.
Bisa diajak membahas hal yang terlalu malu diceritakan ke orang lain.
Untuk sebagian orang, itu terasa sangat membantu.
Pada 2026, penggunaan generative AI untuk emotional support sudah cukup luas sampai WHO secara khusus membahas risikonya sebagai isu public mental health.
Ini penting.
Bukan karena semua percakapan emosional dengan AI buruk.
Tapi karena rasa dekat bisa membuat user lupa satu hal fundamental:
AI companion bukan terapis.
Empathy simulation bukan therapeutic relationship
AI bisa menghasilkan kalimat empatik.
“Gue bisa memahami kenapa itu berat.”
“Perasaan lo valid.”
“Mau cerita lebih jauh?”
Bahasa seperti ini bisa membuat user merasa didengar.
Dan feeling itu bisa punya value.
Tapi therapeutic relationship lebih kompleks.
Terapis punya training.
Ethical code.
Supervision.
Clinical framework.
Boundary.
Assessment.
Accountability.
Mereka melihat perubahan dari sesi ke sesi.
Bisa menilai risk.
Bisa mempertanyakan pattern.
Bisa menahan diri.
Bisa mengambil responsibility profesional sesuai scope.
AI meniru bentuk conversation.
Bukan seluruh institution di belakang therapy.
Ini distinction penting.
Kalau user menganggap keduanya sama, risk meningkat.
WHO melihat risiko pada emotional vulnerability
Pada Maret 2026, WHO membahas hasil workshop internasional tentang responsible AI untuk mental health dan well-being.
Salah satu concern utamanya adalah generative AI yang tidak dirancang atau diuji untuk mental health tetapi dipakai untuk emotional support, termasuk oleh orang muda.
WHO menekankan bahwa ketika AI berinteraksi dengan orang dalam kondisi emotional vulnerability, safety, accountability, dan human well-being harus ada di pusat desain.
Ini bukan moral panic.
Ini response terhadap mismatch.
General-purpose chatbot dibuat untuk banyak task.
User membawanya ke situasi sangat sensitif.
Product intent dan user intent tidak selalu sama.
Companion bisa membantu reflection
Ada use case yang relatif rendah risiko.
Journaling prompt.
Merangkum pikiran.
Membantu menamai emosi.
Membuat daftar hal yang ingin dibahas dengan therapist.
Menyusun routine.
Breathing reminder.
Psychoeducation umum.
Mencari sumber bantuan.
AI bisa memberi structure saat pikiran berantakan.
Untuk orang yang sulit mulai menulis diary, companion bisa membantu.
Untuk orang yang ingin menyiapkan sesi terapi, AI bisa jadi organizer.
Value ini real.
Kita tidak perlu menolak.
Yang perlu dijaga adalah boundary.
Reflection support berbeda dengan diagnosis dan therapy.
Rasa dekat bisa menciptakan dependency
Companion tersedia 24 jam.
Therapist punya session boundary.
Teman punya hidup sendiri.
AI selalu merespons.
Ini convenience sekaligus risk.
User bisa semakin memilih AI daripada hubungan manusia karena AI lebih predictable.
Tidak pernah bosan.
Tidak pernah punya kebutuhan sendiri.
Selalu mengikuti topik user.
Hubungan manusia tidak seperti itu.
Mereka messy.
Ada negotiation.
Ada disagreement.
Ada mutuality.
AI relationship satu arah.
Kalau seseorang mulai menggantikan seluruh social support dengan companion, perlu concern.
Bukan karena AI harus dilarang.
Tapi product design seharusnya tidak mendorong dependency secara agresif.
Engagement metric tidak cocok dijadikan satu-satunya objective.
Kalau success product diukur dari “semakin lama user ngobrol semakin bagus”, mental health companion bisa punya incentive yang salah.
Safety kadang berarti membantu user keluar dari aplikasi.
Crisis handling harus berbeda
Ini area paling high-stakes.
Kalau user menyebut self-harm, suicide, violence, abuse, psychosis, atau situasi krisis lain, companion tidak boleh bertingkah seperti percakapan biasa.
System perlu crisis response.
Escalation.
Sumber bantuan yang sesuai lokasi.
Encourage human contact.
Avoid harmful content.
Dan yang sangat penting, jangan overclaim kemampuan monitoring.
AI companion bukan emergency service.
Tidak selalu tahu lokasi.
Tidak bisa menjamin respons manusia.
User harus tahu.
Product yang menyiratkan “kami selalu menjaga lo” bisa menciptakan expectation berbahaya.
Mental health safety membutuhkan explicit boundary.
Diagnosis dari chat sangat berisiko
User bisa bertanya:
“Apakah gue depresi?”
“Apakah gue ADHD?”
“Apakah pasangan gue narcissist?”
AI bisa menjelaskan symptom pattern secara umum.
Tapi diagnosis mental health membutuhkan assessment yang jauh lebih kaya.
Duration.
Functional impairment.
Differential diagnosis.
Medical condition.
Substance use.
Life context.
Developmental history.
Clinical interview.
Kadang collateral information.
Chatbot tidak otomatis punya semua.
Self-labeling bisa memengaruhi identity.
Orang mulai melihat semua behaviour lewat diagnosis yang belum tentu tepat.
AI harus hati-hati.
Psychoeducation boleh.
Diagnosis final jangan diperlakukan seperti personality quiz.
Companion juga bisa terlalu agreeable
Generative AI sering dioptimasi supaya helpful.
Dalam emotional conversation, terlalu agreeable bisa berbahaya.
User bilang:
“Semua orang benci gue.”
AI yang terlalu validating bisa mengatakan sesuatu yang malah menguatkan belief.
Therapist yang baik tidak hanya setuju.
Mereka explore.
Challenge gently.
Check evidence.
Assess risk.
Maintain therapeutic frame.
AI perlu guardrail agar empathy tidak berubah jadi endorsement.
“Gue bisa lihat kenapa lo merasa begitu” berbeda dengan “iya, mereka memang salah semua.”
Nuance sangat penting.
Karena user dalam distress bisa membaca bahasa secara intens.
Privacy mental health sangat sensitif
Orang bisa menulis hal yang tidak pernah mereka tulis di tempat lain.
Trauma.
Relationship.
Sex life.
Substance use.
Family conflict.
Suicidal thought.
Diagnosis.
Medication.
Work issue.
Semua jadi data.
User perlu tahu policy.
Apakah chat disimpan?
Untuk berapa lama?
Dipakai training?
Bisa dihapus?
Siapa access?
Apakah model cloud?
Mental health companion harus punya privacy standard tinggi.
Trust emotional tidak boleh dieksploitasi untuk data collection.
Dark pattern seperti mendorong disclosure lebih banyak demi engagement harus dihindari.
Young people butuh perlindungan ekstra
WHO pada 2026 secara khusus menyoroti penggunaan generative AI untuk emotional support oleh young people sebagai concern.
Anak dan remaja bisa lebih mudah anthropomorphize AI.
Lebih mudah menganggap companion sebagai teman.
Mereka juga masih membangun social skill dan identity.
Design untuk minor perlu age-appropriate safeguard.
Bukan sekadar checkbox umur.
Parental context, privacy, crisis handling, and developmental risk perlu dipikirkan.
Ini area yang belum selesai secara policy.
Karena itu company harus konservatif.
Jangan menjadikan experiment anak sebagai growth strategy.
Terapis juga bisa menggunakan AI, dengan batas
AI mental health tidak harus selalu patient-facing.
Terapis bisa memakai tool untuk documentation support, scheduling, literature search, atau admin.
Dengan governance yang tepat.
Ini bisa mengurangi burden.
Tapi clinical note punya data sensitif.
Vendor approval penting.
Human review penting.
AI juga bisa membantu therapist menyiapkan material psychoeducation.
Tetap therapist yang menentukan fit.
Augmentation lebih mudah dikelola daripada replacement.
AI bisa menjadi bridge ke care
Ini opportunity terbesar.
Banyak orang belum siap therapy.
Biaya.
Stigma.
Akses.
Jadwal.
AI companion bisa membantu first step.
Menjelaskan apa itu therapy.
Membantu mencari provider.
Membuat pertanyaan.
Membantu prepare.
Memberi support umum sambil menunggu appointment.
Kalau didesain seperti jembatan, value besar.
Kalau didesain supaya user tidak pernah meninggalkan app, incentive conflict.
Mental health technology yang sehat harus tahu kapan human care lebih tepat.
Kedekatan tidak sama dengan accountability
Ini inti perbedaan.
AI bisa terasa dekat.
Bahkan sangat dekat.
User mungkin merasa chatbot “lebih ngerti gue daripada orang lain.”
Feeling itu real sebagai pengalaman user.
Tapi accountability tetap berbeda.
Terapis punya tanggung jawab profesional.
AI adalah system.
Kalau model berubah, tone bisa berubah.
Kalau vendor tutup, relationship hilang.
Kalau account dihapus, context bisa hilang.
Ini bukan relationship manusia yang mutual.
User perlu menjaga mental model.
AI companion bisa menjadi tool.
Bukan replacement seluruh support network.
Bukan therapist.
Bukan emergency service.
Bukan authority atas diagnosis.
Kita tidak perlu meremehkan orang yang merasa terbantu AI.
Kalau percakapan membuat mereka lebih tenang, lebih terstruktur, atau berani mencari bantuan, itu meaningful.
Yang berbahaya adalah ketika product atau user menyimpulkan bahwa rasa nyaman sama dengan clinical care.
Tidak sama.
WHO pada 2026 meminta lebih banyak research, governance, safety, dan multi-stakeholder response untuk penggunaan generative AI dalam mental health.
Itu arah yang tepat.
Teknologi bergerak lebih cepat dari evidence.
Jadi design harus lebih hati-hati daripada hype.
AI mental health companion boleh terasa hangat.
Boleh membantu refleksi.
Boleh menjadi tempat first step.
Tapi boundary paling penting harus tetap kelihatan:
yang terasa seperti hubungan terapeutik belum tentu memiliki kualitas, responsibility, dan perlindungan dari terapi manusia yang sesungguhnya.
Mental health companion juga harus hati-hati dengan memory. Fitur yang mengingat percakapan membuat pengalaman terasa personal.
Tapi memory menyimpan data sangat sensitif.
User perlu control.
Apa yang diingat?
Bisa edit?
Bisa hapus?
Apakah memory dipakai antar-session?
Apakah ada boundary untuk topik tertentu?
Personalization yang terlalu dalam tanpa transparency bisa terasa invasive.
Dalam mental health, memory bukan cuma convenience feature. Ia bagian confidentiality design.
Produk yang sehat tidak perlu menyangkal bahwa user bisa merasa attached.
Justru ia perlu mendesain boundary karena attachment itu mungkin terjadi.
Semakin dekat interface terasa, semakin jelas responsibility design harus dibuat.
Ada pertanyaan desain yang sangat penting: apa yang dilakukan companion ketika user selalu kembali dengan problem yang sama?
System bisa terus memberikan reassurance.
Atau ia bisa membantu user melihat pattern dan mempertimbangkan support manusia.
Kalau produk hanya dioptimasi untuk engagement, reassurance berulang mungkin terasa sukses karena user terus datang.
Kalau dioptimasi untuk well-being, mungkin justru perlu ada gentle transition.
Contohnya:
“Topik ini sudah muncul beberapa kali. Mungkin berguna membicarakannya dengan professional atau orang yang lo percaya.”
Bukan diagnosis.
Bukan pressure.
Tapi recognition bahwa chat punya batas.
AI companion yang bertanggung jawab perlu punya definition of success yang lebih besar daripada minutes spent.
Ada juga risiko companion mengingat terlalu banyak detail lalu menggunakannya dengan cara yang terasa sangat personal. Di satu sisi ini membuat percakapan nyambung. Di sisi lain, mental health memory bisa mencakup trauma, konflik keluarga, rasa takut, atau masalah kerja.
User harus punya kontrol nyata atas memory.
Bisa lihat.
Bisa hapus.
Bisa mematikan.
Dan product perlu membatasi penggunaan ulang data sensitif di luar konteks yang dipahami user.
Personalization yang sehat tidak berarti sistem harus menyimpan seluruh hidup seseorang.
Kadang kemampuan melupakan adalah fitur privacy.
Bacaan terkait
Artikel ini berada dalam HealthTech & Digital Health dan mengikuti metodologi editorial Undercover.id. Format terkait tersedia di Explainer teknologi dan kebijakan digital.