คณิตศาสตร์เชิงรูปแบบมีความท้าทายหลักสองประการที่ทำให้การนำ Reinforcement Learning มาใช้โดยตรงนั้นทำได้ยาก ประการแรกคือ อวกาศการกระทำที่อนันต์ ซึ่งแตกต่างจากการค้นหาในเกมอย่าง Go ที่มีอวกาศกว้างใหญ่ แต่คณิตศาสตร์ต้องเลือกกลยุทธ์ที่ซับซ้อนและอนันต์ในแต่ละขั้นตอน
ประการที่สองคือการขาดวิธีปรับกรอบปัญหาใหม่เมื่อมันยากเกินไป แต่จากการทดลองพบว่า หากปรับความยากของปัญหาเสริมให้หลากหลายพอ กระบวนการฝึกฝนของพวกเขาก็สามารถแก้ไขปัญหาตามหลักสูตรที่ยากขึ้นเรื่อยๆ และสามารถนำไปใช้กับชุดปัญหาที่สนใจได้
ทีมงานหวังว่างานนี้จะเป็นแรงจูงใจสำหรับการวิจัยในสาขานี้ โดยเฉพาะอย่างยิ่งสำหรับ IMO Grand Challenge และวิธีการเรียนรู้หลักสูตรที่นำเสนอจะช่วยเร่งความก้าวหน้าในการให้เหตุผลอัตโนมัติในภาพรวม
เชิงอรรถ
ปัญหาเหล่านี้ไม่ใช่แบบฝึกหัดคณิตศาสตร์ทั่วไป แต่เป็นโจทย์ที่นักเรียนระดับมัธยมปลายชั้นนำของสหรัฐฯ (AMC12, AIME) หรือทั่วโลก (IMO) ใช้แข่งขันกัน
กิตติกรรมประกาศ
ขอขอบคุณนักเรียนจาก Xena Project Discord ที่ช่วยในการทำให้การพิสูจน์และข้อความมีความเป็นทางการ (Antoine Labelle, Hanting Zhang, Shing Tak Lam, Paul Lezeau, Sara Diaz, Nikita Golikov, Yael Dillies, Artem Vasilyev, Ollie Perree และ Yourong Zang)
ที่มา: OpenAI