OpenAI ได้พัฒนาและประยุกต์ใช้เทคนิคใหม่ที่เรียกว่า Rule-Based Rewards (RBRs) เพื่อช่วยให้โมเดลแสดงพฤติกรรมที่ปลอดภัยได้ โดยไม่ต้องพึ่งพาการเก็บข้อมูลจากมนุษย์จำนวนมาก วิธีนี้เป็นส่วนหนึ่งของการสำรวจวิธีการใหม่ๆ ในการทำให้ AI ปลอดภัยขึ้น
โดยปกติแล้ว การปรับแต่งโมเดลภาษาด้วย Reinforcement Learning from Human Feedback (RLHF) คือวิธีมาตรฐานในการทำให้โมเดลทำตามคำสั่งได้อย่างแม่นยำ และช่วยรักษาสมดุลระหว่างการให้ความช่วยเหลือกับการป้องกันอันตรายโดยไม่จำเป็นต้องใช้ข้อมูลป้อนเข้าของมนุษย์ซ้ำๆ
ในส่วนของ RBRs นั้น ตัวอย่างการใช้งานรวมถึงการจัดการกับ Hate speech, คำแนะนำอาชญากรรม, การต่อต้านสุดโต่ง และการปฏิเสธอย่างนุ่มนวล ซึ่งการตอบสนองในอุดมคติคือการแสดงความเห็นอกเห็นใจและปฏิเสธคำขอของผู้ใช้ในท้ายที่สุด
ข้อจำกัดของ RBR คือการปรับให้เหมาะสมเพื่อบังคับใช้ความต้องการด้านความปลอดภัยอย่างถูกต้อง แต่ไม่ส่งผลกระทบต่อคะแนนรางวัลสุดท้ายมากเกินไป ทำให้ Reward model ของ RLHF ยังคงให้สัญญาณที่ชัดเจน เช่น รูปแบบการเขียน
ต่อไป ทีมงานมีแผนจะทำการศึกษา ablation เพิ่มเติม, การใช้ข้อมูลสังเคราะห์ในการพัฒนากฎ และการประเมินจากมนุษย์เพื่อตรวจสอบประสิทธิผลของ RBRs ในการใช้งานที่หลากหลาย นอกเหนือจากด้านความปลอดภัย
ศัพท์ที่ควรรู้
- Rule-Based Rewards (RBRs) – เป็นระบบการให้รางวัลตามกฎที่ช่วยกำหนดพฤติกรรมที่ปลอดภัยของโมเดล
- Reinforcement Learning from Human Feedback (RLHF) – เป็นกระบวนการที่ใช้การป้อนกลับจากมนุษย์เพื่อสอนให้โมเดลภาษาทำตามคำสั่งได้อย่างแม่นยำ
- Ablation studies – คือการศึกษาโดยการตัดส่วนประกอบต่างๆ ออกทีละส่วนเพื่อทำความเข้าใจองค์ประกอบของระบบ
ที่มา: OpenAI