บทคัดย่อ
LLM ในปัจจุบันมีความอ่อนแอต่อการโจมตี เช่น prompt injection หรือ jailbreak ซึ่งผู้ไม่หวังดีสามารถใช้ prompt ของตนเองเขียนทับคำสั่งเดิมของโมเดลได้
งานวิจัยนี้ชี้ว่าจุดอ่อนหลักคือ LLM มักให้ความสำคัญกับ prompt ระบบ (เช่น ข้อความจากนักพัฒนา) เท่ากับ prompt จากผู้ใช้ที่ไม่น่าเชื่อถือ ดังนั้นจึงเสนอ Instruction Hierarchy เพื่อกำหนดลำดับการตอบสนองเมื่อคำสั่งขัดแย้งกัน
พร้อมทั้งเสนอวิธีการสร้างข้อมูลเพื่อสอนให้ LLM เลือกที่จะเพิกเฉยต่อคำสั่งที่มีสิทธิ์ต่ำกว่า และเมื่อทดสอบกับ GPT-3.5 พบว่าช่วยเพิ่มความทนทานต่อการโจมตีได้อย่างมาก โดยลดผลกระทบต่อความสามารถพื้นฐานน้อยที่สุด
ศัพท์ที่ควรรู้
- LLMs – โมเดลภาษาขนาดใหญ่ที่ถูกฝึกฝนมาเพื่อทำความเข้าใจและสร้างข้อความ
- Prompt Injection – การฉีดคำสั่งที่ไม่พึงประสงค์เข้าไปในโมเดลเพื่อให้มันทำตามคำสั่งของผู้โจมตี
- Jailbreaks – เทคนิคการหลบเลี่ยงมาตรการความปลอดภัยของ AI เพื่อให้โมเดลทำในสิ่งที่ถูกจำกัดไว้
- Instruction Hierarchy – การจัดลำดับชั้นของคำสั่ง เพื่อให้โมเดลรู้ว่าคำสั่งใดสำคัญกว่ากัน
ที่มา: OpenAI