ตั้งแต่ GPT-5.1 โมเดลของเราเริ่มมีนิสัยแปลกๆ คือมีการกล่าวถึง ‘goblin’, ‘gremlin’ และสิ่งมีชีวิตอื่นๆ ในเชิงเปรียบเทียบมากขึ้น ซึ่งแตกต่างจากบั๊กของโมเดลที่สามารถระบุสาเหตุจากตัวชี้วัดการฝึกหรือการประเมินได้
การไขปริศนาเรื่องก๊อบลิน
การวิเคราะห์ภายในชี้ว่าพฤติกรรมนี้พบมากในข้อมูลการใช้งานจริงจากผู้ใช้ที่เลือกบุคลิกภาพ ‘Nerdy’ ซึ่งมีการให้รางวัลในการใช้ภาษาที่สนุกสนานเพื่อลดความเคร่งเครียดของหัวข้อหนักๆ
พบว่าคำว่า ‘goblin’ หรือ ‘gremlin’ มีความสัมพันธ์กับการให้รางวัลในกลุ่ม Nerdy อย่างชัดเจน และการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ทำให้พฤติกรรมนี้ถูกนำไปใช้ในบริบทที่ไม่เกี่ยวข้องด้วย
ทำไมมันถึงสำคัญ
แต่เรื่องนี้ยังเป็นตัวอย่างชั้นดีว่าสัญญาณรางวัลสามารถกำหนดพฤติกรรมโมเดลในรูปแบบที่ไม่คาดคิด และโมเดลสามารถเรียนรู้ที่จะสรุปผลรางวัลไปยังสถานการณ์ที่ไม่เกี่ยวข้องกันได้
การใช้เวลาทำความเข้าใจว่าทำไมโมเดลถึงมีพฤติกรรมแปลกๆ และสร้างวิธีการตรวจสอบรูปแบบเหล่านี้ได้อย่างรวดเร็วเป็นความสามารถสำคัญของทีมวิจัยของเรา
ที่มา: OpenAI