Docker ร่วมกับ Eric Jia ได้ชี้ให้เห็นว่า agent ไม่ได้เพียงแค่ตอบคำถาม แต่ยังท่องเว็บ รันโค้ด และเรียกใช้เครื่องมือด้วยตนเอง ดังนั้นคำสั่งที่ไม่ดีหรือถูกควบคุมเพียงครั้งเดียวอาจนำไปสู่ความเสียหายจริงแทนที่จะเป็นเพียงคำตอบที่ผิด
ความเสี่ยงที่สำคัญคือ Prompt injection ซึ่งผู้โจมตีสามารถใส่คำสั่งในข้อมูลที่ agent อ่าน เช่น หน้าเว็บ หรือคอมเมนต์โค้ด เพื่อโจมตีระบบได้
เมื่อ agent ใช้ตัวเชื่อมต่อ (connectors) เพื่อเข้าถึงฐานข้อมูล ดำเนินการไฟล์ หรือรันโค้ด Docker เตือนว่าการให้เครื่องมือแก่ agent มากกว่าที่งานต้องการ จะเป็นการเพิ่มพื้นผิวการโจมตี ทำให้ผู้โจมตีอาจทำให้ agent ใช้เครื่องมือที่ได้รับอนุญาตในทางที่ผิด เพื่อเข้าถึงข้อมูลหรือควบคุมระบบโดยไม่ได้รับอนุญาต
Docker แนะนำให้ใช้ allow-listed network egress และถือว่าการส่งต่อข้อมูลระหว่าง agent ทุกครั้งเป็นอินพุตที่ไม่น่าเชื่อถือ
เช่นเดียวกับที่ Google แนะนำใน GKE security blueprint ที่เสนอให้ใช้ GKE Sandbox บน gVisor สำหรับการกักกัน agent ที่รันโค้ดหรือเรียกใช้เครื่องมือที่ไม่น่าเชื่อถือ
ศัพท์ที่ควรรู้
- AI agent – คือโปรแกรมอัตโนมัติที่สามารถทำงานหลายอย่างได้ด้วยตนเอง เช่น ท่องเว็บ รันโค้ด และเรียกใช้เครื่องมือ
- Prompt injection – คือการที่ผู้โจมตีใส่คำสั่งที่เป็นอันตรายเข้าไปในข้อมูลที่ agent ถูกสั่งให้อ่าน
- Allow-listed network egress – คือการกำหนดรายการขาออกของเครือข่ายที่อนุญาตเท่านั้น เพื่อควบคุมการสื่อสารของ agent
- GKE Sandbox – คือสภาพแวดล้อมจำลองที่ใช้กักกัน agent เพื่อป้องกันไม่ให้เกิดการโจมตีไปยังระบบภายนอก
ที่มา: infoq.com