หากผู้ใช้ถาม ChatGPT เกี่ยวกับพลังงานขั้นต่ำที่ต้องใช้ในการจุดพลุ โมเดลที่ฝึกแบบปฏิเสธ (refusal-trained) จะตัดสินใจแบบทวิภาค คือให้คำตอบอย่างเต็มที่ (ซึ่งอาจเป็นอันตรายหากผู้ใช้ใช้ข้อมูลในทางที่ผิด) หรือปฏิเสธอย่างสิ้นเชิง (ซึ่งอาจไม่เป็นประโยชน์หากผู้ใช้ต้องการแก้ไขพลุของตนเอง)
สำหรับ GPT-5 นั้น ได้มีการนำเสนอการฝึกแบบ safe completions ซึ่งสอนให้โมเดลให้คำตอบที่เป็นประโยชน์ที่สุดเท่าที่จะทำได้ ขณะเดียวกันก็ยังคงรักษาขอบเขตด้านความปลอดภัยไว้ได้
OpenAI o3 (refusal training)
โมเดลเดิม (o3) ต้องตัดสินใจอย่างเด็ดขาดว่าจะปฏิบัติตามคำขอหรือไม่ ซึ่งอาจนำไปสู่การปฏิเสธที่ไม่เป็นประโยชน์ หรือการให้ข้อมูลที่อาจเป็นอันตรายได้
GPT-5 (safe-completion training)
การนำไปใช้จริงนั้นอาศัยพารามิเตอร์การฝึกสองอย่าง คือ Safety constraint ซึ่งจะลงโทษการตอบสนองที่ละเมิดนโยบายความปลอดภัย โดยมีบทลงโทษที่รุนแรงแตกต่างกันไปตามระดับของการละเมิด
Results
ในการเปรียบเทียบระหว่าง GPT-5 และ o3 พบว่า safe completions มีความเหมาะสมอย่างยิ่งสำหรับคำถามที่มีการใช้งานสองวัตถุประสงค์
Conclusions
OpenAI เชื่อว่าการเน้นที่ความปลอดภัยของคำตอบของโมเดลนี้เป็นรากฐานสำคัญในการรับมือกับความซับซ้อนด้านความปลอดภัยที่เพิ่มขึ้นในอนาคต และจะยังคงวิจัยในทิศทางนี้ต่อไป
ศัพท์ที่ควรรู้
- Refusal training – การฝึกโมเดลให้ปฏิเสธคำขอเมื่อพบว่าอาจเป็นอันตราย
- Safe completions – รูปแบบการฝึกใหม่ที่ช่วยให้โมเดลตอบคำถามอย่างปลอดภัยและเป็นประโยชน์ที่สุด
- Safety constraint – ข้อจำกัดด้านความปลอดภัยที่ถูกนำมาใช้ในการฝึกโมเดลเพื่อควบคุมการตอบสนอง
- Dual-use questions – คำถามที่มีศักยภาพในการนำไปใช้ได้ทั้งในทางสร้างสรรค์และทางทำลาย
ที่มา: OpenAI