AI agents ในปัจจุบันมีความสามารถในการท่องเว็บ ค้นหาข้อมูล และดำเนินการแทนผู้ใช้ ซึ่งทำให้การโจมตีแบบ Prompt injection มีความซับซ้อนมากขึ้น
การโจมตีแบบ Prompt injection ในยุคแรกอาจทำได้ง่ายๆ เพียงการแก้ไขบทความ Wikipedia เพื่อใส่คำสั่งโดยตรงให้กับ AI agent ที่เข้าไปอ่าน แต่ในทางปฏิบัติ การโจมตีที่ซับซ้อนกว่านั้น เช่น การใช้ email สามารถประสบความสำเร็จได้ถึง 50% หากไม่มีระบบป้องกันที่เหมาะสม
เรามองว่าการโจมตีเหล่านี้ควรถูกจัดการในมุมเดียวกับการจัดการความเสี่ยงด้านวิศวกรรมสังคมที่ใช้กับมนุษย์ โดยเฉพาะเมื่อ AI agent มีอำนาจในการดำเนินการต่างๆ เช่น การออกบัตรของขวัญหรือคืนเงิน
สำหรับ ChatGPT Canvas และ ChatGPT Apps นั้น ได้นำแนวทางนี้มาใช้ โดยให้ Agent สร้างและใช้งานแอปพลิเคชันต่างๆ ภายในสภาพแวดล้อม Sandbox ที่สามารถตรวจจับการสื่อสารที่ไม่คาดคิดและขอความยินยอมจากผู้ใช้ได้
ศัพท์ที่ควรรู้
- AI agents – คือปัญญาประดิษฐ์ที่สามารถทำงานต่างๆ แทนผู้ใช้ได้ เช่น การท่องเว็บหรือการดำเนินการ
- Prompt injection – คือการโจมตีโดยการใส่คำสั่งที่ไม่พึงประสงค์เข้าไปใน Input ของ AI เพื่อให้ AI ทำตามคำสั่งนั้น
- Sandbox – คือสภาพแวดล้อมจำลองที่ถูกแยกออกมาเพื่อทดสอบหรือรันโค้ด/แอปพลิเคชัน โดยไม่กระทบต่อระบบหลัก
- ChatGPT Canvas & ChatGPT Apps – คือเครื่องมือของ OpenAI ที่ช่วยให้ AI agent สามารถสร้างและใช้งานแอปพลิเคชันได้
ที่มา: OpenAI