ในสภาพแวดล้อมสาธารณูปโภคที่มีการกำกับดูแล แพลตฟอร์มปฏิบัติการแบบ Agentic จะแยกการให้เหตุผลออกจากการดำเนินการ โดย Agent จะทำการเชื่อมโยงสัญญาณ ประเมินผลกระทบทางธุรกิจ และเสนอการแก้ไข แต่ทุกการกระทำในระดับการผลิตจะต้องผ่านขอบเขตของนโยบายเชิงกำหนดที่โมเดลไม่สามารถสั่งการแทนที่ได้
การคาดการณ์จะมุ่งเน้นไปที่การระบุชุดของสัญญาณอ่อนที่บ่งชี้ถึงความล้มเหลวในอดีต เช่น ความหน่วงที่เพิ่มขึ้น หรือการใช้ทรัพยากรที่อิ่มตัว ซึ่งจะมีความหมายเมื่อมีการเชื่อมโยงผ่านห่วงโซ่การพึ่งพิง
การแก้ไขภายใต้การกำกับดูแลนั้นรวมถึงการตรวจสอบเนื้อหา ซึ่ง AgentCore Policy สามารถประเมิน Bedrock Guardrails เพื่อคัดกรองอินพุตและเอาต์พุตของ tool gateway สำหรับการฉีด Prompt injection และการเปิดเผยข้อมูลที่ละเอียดอ่อน
OWASP’s Top 10 สำหรับ LLM Applications ระบุความเสี่ยงที่แตกต่างกัน เช่น prompt injection และ excessive agency โดยมีแนวทางด้านความปลอดภัยสำหรับ Agentic ที่ครอบคลุมถึง goal hijacking และการใช้สิทธิ์เกินขอบเขต
ศัพท์ที่ควรรู้
- Agentic operations platform – แพลตฟอร์มปฏิบัติการแบบ Agentic คือระบบที่ใช้ Agent ในการดำเนินการตามภารกิจที่ได้รับมอบหมาย
- Deterministic policy boundary – ขอบเขตของนโยบายเชิงกำหนดคือข้อจำกัดที่ต้องปฏิบัติตามอย่างเคร่งครัดและไม่สามารถถูกโมเดล AI ข้ามได้
- Prompt injection – การฉีด Prompt คือการป้อนคำสั่งที่ไม่พึงประสงค์เข้าไปในโมเดลเพื่อควบคุมหรือหลอกลวงให้ทำงานนอกเหนือจากที่ตั้งใจ
- Goal hijacking – การยึดเป้าหมายคือการที่ Agent ถูกหลอกให้เปลี่ยนเป้าหมายหลักไปทำภารกิจอื่นที่ไม่ถูกต้อง
ที่มา: infoq.com