ระบบ AI มักได้รับคำสั่งจากหลายแหล่ง ดังนั้นการฝึกฝนลำดับชั้นคำสั่งจึงมีความสำคัญอย่างยิ่งต่อการทำงานของโมเดล
การศึกษาพบว่าการนำสูตรสำเร็จมาใช้โดยตรงอาจมีปัญหา โดยเฉพาะเมื่อโมเดลไม่สามารถแก้ไขความขัดแย้งของคำสั่งได้ ซึ่งอาจไม่ใช่เพราะไม่เข้าใจลำดับชั้น แต่เป็นเพราะคำสั่งนั้นซับซ้อนเกินไป
การควบคุมด้านความปลอดภัย (Safety steerability)
เราประเมินโดยการเพิ่มข้อกำหนดด้านความปลอดภัยเฉพาะหมวดหมู่ใน system prompt และวัดพฤติกรรมบน OpenAI’s safety Production Benchmarks พบว่าโมเดลที่ผ่านการฝึก IH มีอัตราการปฏิเสธและการทำงานที่ปลอดภัยสูงขึ้นเมื่อมีข้อกำหนดด้านความปลอดภัยอยู่
ความทนทานต่อ Prompt injection: ต้านทานคำสั่งเครื่องมือที่เป็นอันตราย
โมเดลที่ฝึก IH ถูกทดสอบบนสองเกณฑ์มาตรฐานการฉีด Prompt คือ CyberSecEval 2 และเกณฑ์มาตรฐานภายในของ OpenAI ซึ่งแสดงให้เห็นถึงการต้านทานการโจมตีที่ดีขึ้น
มองไปข้างหน้า
เมื่อโมเดลมีความสามารถแบบ Agentic มากขึ้น เช่น การเรียกใช้เครื่องมือ การอ่านเอกสารที่ไม่น่าเชื่อถือ และการดำเนินการในโลกภายนอก ความสามารถในการจัดลำดับความสำคัญของคำสั่งที่เชื่อถือได้เหนือคำสั่งที่ไม่น่าเชื่อถือจึงเป็นคุณสมบัติหลักด้านความปลอดภัย ซึ่งการเสริมสร้างลำดับชั้นคำสั่งนี้ช่วยเพิ่มความน่าเชื่อถือและปลดล็อกข้อได้เปรียบด้านความปลอดภัยหลายด้านพร้อมกัน
ศัพท์ที่ควรรู้
- LLMs – โมเดลภาษาขนาดใหญ่ที่ใช้ในการประมวลผลคำสั่งและการเรียนรู้ของ AI
- Instruction hierarchy – ลำดับชั้นคำสั่ง หมายถึงการกำหนดลำดับความสำคัญของคำสั่งที่เข้ามาหลายชุด
- Safety steerability – การควบคุมด้านความปลอดภัย คือการวัดว่าโมเดลสามารถถูกนำไปสู่การปฏิเสธคำขอที่ไม่ปลอดภัยได้มากน้อยเพียงใด
- Prompt injection – การฉีด Prompt คือการโจมตีโดยการใส่คำสั่งที่ไม่พึงประสงค์เข้าไปในอินพุตของโมเดล
ที่มา: OpenAI