การทำให้โมเดลภาษาผลิตข้อความที่ผู้ใช้เข้าใจได้นั้นเป็นสิ่งสำคัญอย่างยิ่ง โดยเฉพาะเมื่อต้องจัดการกับงานที่ซับซ้อน เช่น การแก้ปัญหาทางคณิตศาสตร์
เราพบว่าเมื่อเราปรับกระบวนการแก้ปัญหาของโมเดลที่แข็งแกร่งให้มุ่งเน้นแต่การได้คำตอบที่ถูกต้อง อาจทำให้คำตอบนั้นยากต่อการทำความเข้าใจ ซึ่งเมื่อให้ผู้ประเมินที่เป็นมนุษย์ที่มีเวลาจำกัดประเมิน พวกเขาทำผิดพลาดเกือบสองเท่าเมื่อเทียบกับคำตอบที่ไม่ได้รับการปรับให้เหมาะสมเช่นนั้น
การฝึกโมเดลภาษาขั้นสูงให้สร้างข้อความที่โมเดลที่อ่อนแอกว่าสามารถตรวจสอบได้ง่าย ทำให้เราพบว่ามนุษย์สามารถประเมินข้อความเหล่านั้นได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งเราเรียกว่าการปรับปรุงความชัดเจน (improving legibility)
นี่คือจุดที่เกม Prover-Verifier เข้ามามีบทบาท โดยเกมนี้เกี่ยวข้องกับสองผู้เล่น คือ “prover” ที่สร้างคำตอบ และ “verifier” ที่ตรวจสอบความถูกต้อง
เราใช้โมเดลจากตระกูล GPT‑4 ทั้งขนาดใหญ่และขนาดเล็ก ซึ่งมีความแตกต่างของพลังการคำนวณในการฝึกเบื้องต้นประมาณ 3 อันดับ เพื่อสลับกันระหว่างสองเฟส คือ การฝึก Verifier โดยการนำคำตอบที่ไม่ถูกต้องไปใช้ในการฝึก Verifier ในรอบถัดไป ทำให้ Prover ต้องสำรวจกลยุทธ์ที่แตกต่างกันในแต่ละรอบ
ศัพท์ที่ควรรู้
- Prover – ผู้สร้างคือผู้ที่สร้างคำตอบหรือข้อเสนอในการแก้ปัญหา
- Verifier – ผู้ตรวจสอบคือผู้ที่ทำหน้าที่ตรวจสอบความถูกต้องของคำตอบที่ถูกสร้างขึ้น
- Legibility – ความชัดเจนในบริบทนี้หมายถึงความง่ายในการทำความเข้าใจและตรวจสอบข้อความที่โมเดลสร้างขึ้น
- GPT‑4 – คือตระกูลโมเดลภาษาขั้นสูงที่ถูกนำมาใช้ในการทดลองนี้
ที่มา: OpenAI