Agen AI membaca email, halaman web, file, dan tiket untuk menyelesaikan tugas. Masalahnya, konten yang dibaca dapat berisi instruksi yang dirancang untuk mengubah perilaku agen. Serangan tidak harus datang dari prompt pengguna; ia dapat bersembunyi dalam dokumen biasa.
Agen AI memperluas permukaan serangan karena ia dapat membaca dan bertindak. Konten yang dulu hanya dilihat manusia kini dapat diperlakukan mesin sebagai instruksi, sementara konektor memberi jalan menuju email, file, kode, atau pembayaran.
Instruksi jahat dapat bersembunyi di dokumen biasa
Filter kata tidak cukup karena instruksi dapat disamarkan, dipecah, atau disesuaikan. Pertahanan memerlukan isolasi konten, kebijakan alat, izin minimum, validasi tindakan, dan monitoring. Model tetap harus dianggap dapat terpengaruh input adversarial.
Indirect prompt injection memanfaatkan ketidakmampuan model membedakan data dan instruksi secara sempurna. Agen dapat diarahkan mengabaikan tujuan awal, membuka file, mengirim informasi, atau menjalankan alat. Semakin luas aksesnya, semakin besar dampak.
Bagi tim keamanan, pengembang, pengguna enterprise, dan pimpinan, implikasi prompt injection agen AI tidak berhenti pada pemilihan produk. Dua keputusan awal dapat ditulis sederhana: “Pisahkan data dari instruksi sistem” dan “Batasi alat dan data berdasarkan tugas”. Keduanya membuat diskusi berpijak pada tindakan yang dapat diperiksa, bukan pada kesan dari demo.
Saat teks berubah menjadi perintah
Ada batas yang perlu dijaga: rujukan di bawah menjelaskan kerangka dan risiko prompt injection agen AI, bukan membuktikan bahwa setiap produk memiliki perilaku yang sama. Implementasi tetap harus dinilai dari konfigurasi, data, pengguna, dan lingkungan operasionalnya.
Agen perlu curiga pada semua konten eksternal
- Pisahkan data dari instruksi sistem.
- Batasi alat dan data berdasarkan tugas.
- Sanitasi serta tandai konten eksternal.
- Gunakan konfirmasi untuk tindakan sensitif.
- Red-team agen dengan skenario dokumen dan email berbahaya.
Organisasi Indonesia yang menghubungkan AI ke email, drive, dan code repository perlu menganggap semua konten eksternal tidak tepercaya. Persetujuan manusia harus muncul sebelum tindakan sensitif, bukan setelah data terkirim.
Pembahasan ini bertumpu pada NIST CAISI: Securing AI Agent Systems dan NIST: Identity and Authority of Software Agents. Sumber tersebut membantu menjelaskan arah dan batas prompt injection agen AI, tetapi tidak menggantikan pengujian pada produk, kebijakan, atau organisasi tertentu.
Prompt injection bukan trik percakapan. Dalam sistem agentik, ia adalah jalur serangan yang dapat mengubah teks menjadi tindakan. Dalam isu prompt injection agen AI, yang patut dipertahankan bukan rasa kagum pada teknologi, melainkan kemampuan manusia untuk memahami dan mengoreksi keputusan.
Bacaan lanjutan: Instruksi jahat dapat bersembunyi di dokumen biasa
AI Agent dengan Akses Email dan Pembayaran: Risiko Insider Baru, Machine Identity untuk AI Agent: Siapa yang Sebenarnya Mengakses Sistem, Cybersecurity & Trust dan metodologi editorial Undercover.id.