ในช่วงไม่กี่ปีที่ผ่านมา โมเดลภาษาขนาดใหญ่ได้พัฒนาความสามารถในการให้เหตุผลหลายขั้นตอนที่ซับซ้อนอย่างมาก เราสามารถฝึกโมเดลรางวัลให้ตรวจจับภาพหลอน (hallucination) ได้โดยใช้ either outcome supervision ซึ่งให้ข้อเสนอแนะจากผลลัพธ์สุดท้าย หรือ process supervision ซึ่งให้ข้อเสนอแนะสำหรับแต่ละขั้นตอนใน Chain-of-Thought
กราฟแสดงให้เห็นว่าโมเดลรางวัลที่กำกับด้วยกระบวนการคิดนั้นมีประสิทธิภาพเหนือกว่าในทุกด้าน และช่องว่างด้านประสิทธิภาพจะกว้างขึ้นเมื่อเราพิจารณาคำตอบมากขึ้นสำหรับแต่ละปัญหา
แม้ว่าผลลัพธ์เหล่านี้จะยังไม่ทราบว่าจะสามารถนำไปใช้ได้กว้างขวางนอกเหนือจากขอบเขตของคณิตศาสตร์หรือไม่ แต่เราเห็นว่าการสำรวจผลกระทบของ process supervision ในโดเมนอื่นเป็นสิ่งสำคัญสำหรับงานในอนาคต
บทนำ
ในช่วงไม่กี่ปีที่ผ่านมา โมเดลภาษาขนาดใหญ่ได้พัฒนาความสามารถในการให้เหตุผลหลายขั้นตอนที่ซับซ้อนอย่างมาก เราสามารถฝึกโมเดลรางวัลให้ตรวจจับภาพหลอน (hallucination) ได้โดยใช้ either outcome supervision ซึ่งให้ข้อเสนอแนะจากผลลัพธ์สุดท้าย หรือ process supervision ซึ่งให้ข้อเสนอแนะสำหรับแต่ละขั้นตอนใน Chain-of-Thought
การแก้ปัญหาคณิตศาสตร์
กราฟแสดงให้เห็นว่าโมเดลรางวัลที่กำกับด้วยกระบวนการคิดนั้นมีประสิทธิภาพเหนือกว่าในทุกด้าน และช่องว่างด้านประสิทธิภาพจะกว้างขึ้นเมื่อเราพิจารณาคำตอบมากขึ้นสำหรับแต่ละปัญหา
แม้ว่าผลลัพธ์เหล่านี้จะยังไม่ทราบว่าจะสามารถนำไปใช้ได้กว้างขวางนอกเหนือจากขอบเขตของคณิตศาสตร์หรือไม่ แต่เราเห็นว่าการสำรวจผลกระทบของ process supervision ในโดเมนอื่นเป็นสิ่งสำคัญสำหรับงานในอนาคต
ที่มา: OpenAI