เราได้ฝึกฝนระบบที่สามารถแก้โจทย์คณิตศาสตร์ระดับชั้นประถมด้วยความแม่นยำเกือบสองเท่าของโมเดล GPT-3 ที่ผ่านการปรับแต่งเฉพาะทาง ระบบนี้สามารถแก้โจทย์ได้มากถึง 90% ของที่เด็กจริงๆ ทำได้ โดยพบว่าระบบของเราทำคะแนนได้ 55% ในชุดข้อมูลเดียวกันกับที่นักเรียนอายุ 9-12 ปีทำได้ 60%
การพัฒนาครั้งนี้มีความสำคัญอย่างยิ่ง เนื่องจาก AI ในปัจจุบันยังคงมีความอ่อนแอในการให้เหตุผลหลายขั้นตอนที่ต้องอาศัยสามัญสำนึก ซึ่งเป็นสิ่งที่เด็กระดับประถมสามารถทำได้ง่าย
โจทย์ในชุดข้อมูล GSM8K แต่ละข้อต้องใช้การคำนวณพื้นฐาน 2 ถึง 8 ขั้นตอน และคำตอบจะมาจากการดำเนินการทางคณิตศาสตร์พื้นฐาน (+ − × ÷) เพื่อให้ได้คำตอบสุดท้าย การคงไว้ซึ่งภาษาธรรมชาติทำให้คำตอบที่โมเดลสร้างขึ้นสามารถตีความได้ง่ายสำหรับมนุษย์
ในการฝึกฝน เราเชื่อว่าตัวตรวจสอบ (verifiers) อาจเกิดภาวะ Overfit โดยการท่องจำคำตอบสุดท้ายในชุดข้อมูลฝึก แทนที่จะเรียนรู้คุณสมบัติที่มีประโยชน์ของการให้เหตุผลทางคณิตศาสตร์
ศัพท์ที่ควรรู้
- GPT-3 – โมเดลภาษาขนาดใหญ่ที่สามารถเลียนแบบรูปแบบการเขียนและมีความรู้ข้อเท็จจริงกว้างขวาง
- GSM8K dataset – ชุดข้อมูลโจทย์คณิตศาสตร์ที่แต่ละข้อต้องใช้การคำนวณ 2 ถึง 8 ขั้นตอน
- Multistep reasoning – การให้เหตุผลหลายขั้นตอน ซึ่งหมายถึงการแก้ปัญหาที่ต้องทำหลายอย่างต่อเนื่องกัน
- Verifiers – โมเดลที่ถูกใช้เพื่อตรวจสอบความถูกต้องของคำตอบที่โมเดลสร้างขึ้น
ที่มา: OpenAI