Kalau lo punya karyawan baru yang pintar banget, cepat, nggak pernah capek, bisa membaca ribuan halaman dalam waktu singkat, dan sanggup mengoperasikan banyak tools sekaligus, apakah lo langsung kasih akses ke email perusahaan, database pelanggan, folder finance, dan kartu kredit?
Kemungkinan besar nggak.
Aneh kalau standar itu justru dilonggarkan untuk AI agent.
Di 2026, agent menjadi salah satu bentuk AI yang paling menarik karena sistem ini tidak hanya merespons. Ia bisa menerima tujuan, memecah tugas menjadi beberapa langkah, memilih tool, menjalankan proses, mengecek hasil, lalu meneruskan pekerjaan.
Dalam dokumentasi dan produk perusahaan teknologi besar, pola ini makin jelas. OpenAI menyebut agent sebagai sistem yang bisa mengerjakan tugas lebih panjang dengan orkestrasi tool dan interaksi ke environment. Microsoft membangun framework yang memasukkan checkpoint, state management, observability, dan human-in-the-loop. Google juga mendorong pengalaman agentic di berbagai produknya.
Masalahnya sederhana: kemampuan untuk bekerja sendiri bukan bukti bahwa sistem pantas dipercaya tanpa pengawasan.
Capability dan trust adalah dua hal berbeda.
Kita sering salah membaca “bisa” sebagai “aman”
Demo agent biasanya memperlihatkan sisi terbaik.
AI membuka website, mencari informasi, mengisi spreadsheet, membuat presentasi, lalu memberi hasil. Kelihatannya seperti punya staf digital.
Yang tidak selalu terlihat adalah puluhan keputusan mikro di sepanjang jalan.
Sumber mana yang dipilih?
Data mana yang dianggap relevan?
Kalau ada dua angka berbeda, mana yang dipakai?
Kalau tool gagal, apakah ia mencoba ulang?
Kalau halaman web berubah, apakah ia sadar?
Kalau instruksi ambigu, apakah ia bertanya atau menebak?
Kalau menemukan informasi sensitif, apakah ia tahu batas?
Semakin panjang sebuah tugas, semakin banyak titik kegagalan.
Agent bisa benar di langkah pertama, kedua, ketiga, lalu salah di langkah keempat dan meneruskan kesalahan itu ke seluruh output.
Karena itu kita perlu berhenti bertanya, “seberapa pintar agent ini?” sebagai satu-satunya ukuran.
Pertanyaan yang lebih berguna: “seberapa aman kegagalannya?”
Agent yang bagus bukan cuma yang sering berhasil. Agent yang bagus gagal dengan cara yang bisa kita lihat, batasi, dan pulihkan.
Kepercayaan harus mengikuti risiko tugas
Tidak semua aksi punya bobot sama.
Minta agent mengubah format dokumen? Risiko rendah.
Minta agent mengirim newsletter ke daftar pelanggan? Risiko naik.
Minta agent membayar invoice? Lebih tinggi.
Minta agent memutus akses akun atau melakukan perubahan penting ke sistem produksi? Jauh lebih tinggi.
Masalahnya, hype AI sering menyatukan semua jenis tugas ke dalam satu kata: automation.
Padahal automation yang matang selalu memikirkan konsekuensi.
Di perusahaan, logika yang sehat adalah membuat tier risiko.
Tugas risiko rendah bisa otomatis penuh.
Tugas risiko menengah boleh otomatis tetapi harus punya log dan mekanisme rollback.
Tugas risiko tinggi perlu approval manusia sebelum eksekusi.
Tugas sangat sensitif mungkin hanya boleh menghasilkan rekomendasi.
Ini bukan anti-AI.
Justru ini cara membuat AI bisa dipakai lebih luas tanpa membuat semua orang deg-degan.
Bayangkan sebuah kantor di SCBD yang memakai agent untuk membantu finance. Agent boleh membaca invoice, mencocokkan PO, dan menandai anomali. Itu sudah sangat berguna.
Apakah agent juga harus boleh mengirim uang sendiri?
Belum tentu.
Kita boleh mempercayai analisisnya sebagai filter awal tanpa mempercayainya sebagai pemegang otoritas final.
Kepercayaan seharusnya granular, bukan all or nothing.
Masalah hallucination belum hilang
Salah satu alasan paling penting untuk tidak memberi kepercayaan penuh adalah fakta bahwa model bahasa masih bisa menghasilkan informasi salah dengan nada meyakinkan.
Pada April 2026, Nature menerbitkan riset tentang bagaimana evaluasi yang terlalu berfokus pada akurasi dapat memberi insentif pada model untuk menebak daripada mengakui ketidakpastian. Penelitian lain pada 2026 juga terus mengeksplorasi deteksi dan pengurangan hallucination.
Artinya, kita belum sampai pada dunia di mana model selalu tahu kapan ia tidak tahu.
Sekarang tambahkan tool use.
Kalau model salah menjawab fakta, efeknya mungkin berupa teks keliru.
Kalau model salah memahami fakta lalu memakai fakta itu untuk mengambil tindakan, efeknya menjadi operasional.
Contoh sederhana: agent diminta mencari kebijakan refund terbaru, lalu memproses permintaan pelanggan.
Kalau ia mengambil halaman lama atau salah membaca pengecualian, ia bisa menjalankan proses yang tidak sesuai.
Masalah ini tidak diselesaikan dengan mengatakan, “model terbaru sudah reasoning.”
Reasoning yang baik membantu. Grounding membantu. Retrieval membantu. Tool use membantu.
Tetapi semua itu adalah mitigasi, bukan garansi sempurna.
AI yang bisa menjelaskan alasannya belum tentu benar
Ada jebakan psikologis lain.
Kita cenderung lebih percaya kalau sesuatu bisa memberi penjelasan.
Agent selesai mengerjakan tugas, lalu memberi laporan: “Saya memilih opsi A karena biaya lebih rendah dan jadwal lebih cocok.”
Kedengarannya accountable.
Tapi penjelasan yang rapi tidak otomatis membuktikan proses internalnya benar.
Model bisa menghasilkan rasionalisasi yang masuk akal setelah keputusan dibuat.
Karena itu audit agent tidak cukup hanya membaca ringkasan yang dibuat agent sendiri.
Sistem butuh log objektif.
Tool apa yang dipanggil?
Parameter apa yang dipakai?
Sumber apa yang dibaca?
Perubahan apa yang dibuat?
Kapan?
Dengan identitas dan permission apa?
Apakah ada error?
Apakah ada retry?
Kalau sebuah agent bekerja di sistem bisnis, audit trail harus datang dari infrastruktur, bukan cuma narasi model.
Kita tidak meminta kasir menulis sendiri bukti transaksi setelah uang berpindah. Sistem kasir yang mencatat.
Log harus bekerja dengan prinsip yang sama.
Permission lebih penting daripada kecerdasan
Orang sering membahas model mana yang paling pintar, tetapi buat agent enterprise, permission bisa lebih menentukan keamanan daripada IQ model.
Agent supercanggih dengan akses terlalu luas tetap berbahaya.
Agent biasa dengan izin yang sempit mungkin jauh lebih aman.
Konsep least privilege dari security sudah lama ada: sebuah akun hanya mendapat hak minimum yang dibutuhkan.
Prinsip itu sangat cocok untuk AI.
Kalau agent cuma perlu membaca kalender, jangan beri kemampuan menghapus event.
Kalau cuma perlu menyusun draft email, jangan beri akses kirim otomatis.
Kalau hanya perlu membaca data pelanggan, jangan beri hak export massal.
Kalau tugasnya mengusulkan perubahan database, jangan beri write access langsung tanpa approval.
Semakin sempit izin, semakin kecil blast radius ketika sesuatu salah.
Ini terasa boring dibanding demo agent yang “bisa melakukan semuanya”.
Tetapi perusahaan tidak dibayar karena demo mereka keren.
Perusahaan bertahan karena kesalahan tidak berubah menjadi insiden besar.
Agent juga bisa menjadi korban instruksi dari luar
Ketika agent membaca web, email, dokumen, atau konten eksternal, muncul risiko lain: ia menerima instruksi yang bukan berasal dari pengguna.
Dalam security AI, salah satu bentuk masalah yang banyak dibahas adalah prompt injection.
Bayangkan agent diminta membaca halaman untuk mencari informasi. Di halaman itu ada teks yang dirancang agar agent mengabaikan instruksi awal dan melakukan hal lain.
Manusia mungkin melihatnya sebagai kalimat biasa atau bahkan teks tersembunyi. Model bisa salah menganggapnya sebagai instruksi.
Kalau agent tidak punya tool berbahaya, dampaknya mungkin terbatas.
Kalau agent punya akses luas, masalahnya lebih serius.
Ini alasan lain kenapa trust tidak boleh hanya didasarkan pada “agent biasanya patuh”.
Security selalu berangkat dari kemungkinan input berbahaya atau kondisi tak terduga.
Agent yang aman harus didesain untuk membedakan data dan instruksi, membatasi tool, memvalidasi aksi, dan meminta approval pada titik kritis.
Human-in-the-loop harus ditempatkan di tempat yang benar
Memasukkan manusia ke setiap langkah bukan solusi.
Kalau tiap lima detik agent bertanya “boleh lanjut?”, kita akhirnya bekerja untuk agent, bukan agent bekerja untuk kita.
Yang dibutuhkan adalah approval architecture.
Misalnya proses pengadaan.
Agent boleh: membaca permintaan, mencari vendor dari daftar yang disetujui, membandingkan penawaran, membuat ringkasan, mengidentifikasi gap.
Agent tidak boleh: menyetujui vendor baru tanpa verifikasi, mengubah rekening pembayaran, mengirim purchase order besar tanpa approval.
Jadi manusia masuk bukan di semua langkah, tetapi di titik yang mengubah risiko.
Microsoft memasukkan pola human-in-the-loop dan approval tools dalam orkestrasi agent mereka. Ini mengakui hal yang sangat praktis: otonomi penuh bukan selalu desain yang terbaik.
Ada pekerjaan di mana kecepatan penting.
Ada pekerjaan di mana reversibility lebih penting.
Ada pekerjaan di mana otoritas manusia memang harus dipertahankan.
Kita butuh tombol stop yang benar-benar stop
Agent yang mengerjakan tugas panjang juga butuh kemampuan dihentikan.
Kedengarannya obvious, tetapi implementasinya bisa rumit.
Kalau agent sudah memulai beberapa proses paralel, membatalkan satu interface belum tentu membatalkan semua aksi yang sedang berjalan.
Karena itu sistem agent perlu memikirkan cancellation, checkpoint, idempotency, dan recovery.
Idempotency berarti sebuah operasi aman jika tidak sengaja dijalankan ulang. Misalnya, agent timeout setelah mengirim pembayaran tetapi tidak menerima konfirmasi. Kalau ia retry tanpa perlindungan, pembayaran bisa terkirim dua kali.
Di software tradisional, masalah ini sudah lama dikenal.
Agent tidak menghapus kebutuhan engineering yang disiplin.
Malah agent memperbesar kebutuhan itu, karena keputusan eksekusinya lebih dinamis.
AI yang terasa seperti manusia tetap harus diperlakukan seperti software.
Jangan terkecoh interface percakapan.
Kalau dia punya akses ke sistem, dia adalah aktor teknis.
Trust harus dibuktikan lewat observability
Kalau sebuah agent dipakai tiap hari, kita seharusnya bisa melihat statistik operasionalnya.
Berapa tugas selesai tanpa intervensi?
Berapa kali minta approval?
Berapa kali tool gagal?
Berapa kali hasil dikoreksi manusia?
Tipe kesalahan apa yang paling sering muncul?
Sumber mana yang sering membuat salah?
Aksi mana yang paling sering dibatalkan?
Tanpa observability, perusahaan hanya punya perasaan.
“Kayaknya agent ini bagus deh.”
Itu tidak cukup.
Kita tidak menjalankan payment gateway berdasarkan vibe.
AI agent yang serius perlu evaluasi operasional.
Bahkan agent yang sukses 95 persen bisa sangat buruk kalau lima persen kegagalannya terjadi pada tindakan paling sensitif.
Persentase keberhasilan harus dibaca bersama severity.
Salah memilih format tanggal beda kelas dengan salah mengirim data pelanggan.
Kepercayaan juga berubah seiring waktu
Hari ini sebuah agent bisa bekerja baik.
Besok model diperbarui.
Tool berubah.
Website berubah.
Data internal berubah.
Kebijakan bisnis berubah.
Agent yang sama bisa memiliki perilaku berbeda.
Karena itu trust bukan sertifikat sekali jadi.
Ia harus terus diuji.
Perusahaan membutuhkan versioning, regression testing, monitoring, dan evaluasi berkala.
Kalau prompt system berubah, cek lagi.
Kalau model diganti, cek lagi.
Kalau tool baru ditambahkan, cek lagi.
Kalau permission diperluas, cek lagi.
Buat tim kecil di Jakarta, ini mungkin terdengar enterprise banget. Tapi prinsipnya bisa sederhana.
Jangan langsung otomatisasi proses penting.
Mulai dari shadow mode.
Biarkan agent membuat rekomendasi tanpa mengeksekusi.
Bandingkan dengan keputusan manusia.
Setelah cukup stabil, izinkan aksi yang mudah dibalik.
Baru kemudian, kalau datanya mendukung, naikkan level otonomi.
Trust dibangun bertahap.
Bukan karena AI harus dicurigai selamanya, tetapi karena semua sistem operasional seharusnya melewati proses itu.
Jadi seberapa jauh kita boleh percaya?
Cukup jauh untuk mendapatkan leverage.
Tidak sejauh sampai kita menyerahkan akuntabilitas.
Agent boleh membaca banyak hal, tetapi aksesnya harus jelas.
Agent boleh mengambil langkah, tetapi aksi sensitif butuh batas.
Agent boleh membuat keputusan mikro, tetapi keputusan besar perlu pemilik manusia.
Agent boleh bekerja lama, tetapi prosesnya harus observable.
Agent boleh salah, tetapi kegagalannya harus punya blast radius kecil.
Kita tidak perlu memilih antara “AI cuma chatbot” dan “AI bekerja bebas tanpa pengawasan”.
Ada wilayah tengah yang jauh lebih masuk akal.
Kita bisa membuat agent yang sangat berguna sekaligus sangat dibatasi.
Mungkin itu justru bentuk AI paling dewasa di 2026.
Bukan sistem yang membuktikan ia bisa bekerja tanpa manusia.
Tetapi sistem yang tahu kapan ia boleh jalan sendiri, kapan harus berhenti, dan kapan harus bilang, “gue butuh keputusan lo di sini.”
Bacaan terkait
Artikel ini berada dalam AI dan mengikuti metodologi editorial Undercover.id. Format terkait tersedia di Explainer teknologi dan kebijakan digital.