The OpenAI o model series ถูกฝึกฝนด้วย reinforcement learning ในระดับใหญ่ เพื่อให้สามารถให้เหตุผลโดยใช้ chain of thought ซึ่งความสามารถในการให้เหตุผลขั้นสูงนี้ช่วยเปิดแนวทางใหม่ในการปรับปรุงความปลอดภัยและความแข็งแกร่งของโมเดล
โมเดลสามารถให้เหตุผลเกี่ยวกับนโยบายความปลอดภัยของตนเองเมื่อตอบคำถามที่มีความเสี่ยง ซึ่งช่วยให้ o3-mini มีประสิทธิภาพเทียบเท่ากับงานวิจัยชั้นนำในด้านต่างๆ เช่น การสร้างคำแนะนำที่ผิดกฎหมาย หรือการตกเป็นเหยื่อของ Jailbreak ที่ทราบกันดี
ภายใต้ Preparedness Framework ทีม Safety Advisory Group (SAG) ของ OpenAI ได้ให้คำแนะนำว่า o3-mini (Pre-Mitigation) มีความเสี่ยงโดยรวมระดับ Medium โดยมีความเสี่ยงระดับ Medium ในด้าน Persuasion, CBRN และ Model Autonomy และระดับ Low ในด้าน Cybersecurity
แม้ว่า o3-mini จะเป็นโมเดลแรกที่บรรลุระดับ Medium ในด้าน Model Autonomy แต่ก็ยังคงทำได้ไม่ดีในการประเมินที่ทดสอบความสามารถด้านการวิจัย ML ในโลกแห่งความเป็นจริง ซึ่งจำเป็นสำหรับการจัดประเภทระดับ High
ผลลัพธ์เหล่านี้เน้นย้ำถึงความจำเป็นในการสร้างวิธีการปรับให้เข้ากัน (alignment methods) ที่แข็งแกร่ง การทดสอบความมีประสิทธิภาพอย่างละเอียด และการรักษาโปรโตคอลการจัดการความเสี่ยงอย่างพิถีพิถัน
ศัพท์ที่ควรรู้
- Chain of Thought – เป็นกระบวนการที่โมเดลใช้ในการให้เหตุผลเป็นขั้นตอนเพื่อไปถึงคำตอบ
- Reinforcement Learning – เป็นวิธีการฝึกโมเดลโดยการให้รางวัลหรือลงโทษตามผลลัพธ์ของการตอบสนอง
- Preparedness Framework – เป็นกรอบการทำงานที่ใช้ในการประเมินระดับความเสี่ยงของโมเดลก่อนการปรับใช้
- Jailbreaks – คือวิธีการที่ผู้ใช้ใช้เพื่อหลอกให้โมเดลละเมิดข้อจำกัดด้านความปลอดภัย
- SAG (Safety Advisory Group) – คือกลุ่มที่ปรึกษาด้านความปลอดภัยของ OpenAI ที่ทำการประเมินโมเดล
ที่มา: OpenAI