นักวิจัยกลุ่มเล็กทำการทดลองในปี 2022 โดยฝึกเครือข่ายประสาทเทียมขนาดเล็กมากกับงานบวกแบบโมดูลาร์ (modular addition) หรือคณิตศาสตร์นาฬิกา เช่น 8 บวก 7 ในนาฬิกา 12 ชั่วโมง จะได้ 3
เครือข่ายเรียนรู้งานนี้ได้เกือบทันที ภายใน 1,000 training steps ตอบคำถามฝึกฝนทุกข้อถูกต้องแล้ว
แต่สิ่งแปลกคือ ความเข้าใจของโมเดลยังลึกซึ้งขึ้นไปเรื่อยๆ นานหลายพันขั้นตอนหลังจากที่ loss ลดลงจนต่ำสุดแล้ว — ปรากฏการณ์นี้เรียกว่า grokking
ศัพท์ที่ควรรู้
- Grokking – ปรากฏการณ์ที่โมเดล AI เข้าใจงานลึกซึ้งขึ้นไปเรื่อยๆ หลังจากที่การฝึกอบรมดูเหมือนจบสิ้นแล้ว
- Modular arithmetic – คณิตศาสตร์แบบโมดูลาร์ หรือ “คณิตศาสตร์นาฬิกา” ที่ตัวเลขวนกลับมาที่ศูนย์เมื่อถึงค่าที่กำหนด
- Neural network – เครือข่ายประสาทเทียม โครงสร้างคำนวณที่เลียนแบบสมองมนุษย์ ใช้เรียนรู้รูปแบบจากข้อมูล
- Training steps – ขั้นตอนการฝึกอบรม หน่วยนับจำนวนครั้งที่โมเดลได้รับข้อมูลและปรับน้ำหนักภายใน
- Generalization – ความสามารถของโมเดลในการนำสิ่งที่เรียนรู้ไปใช้กับข้อมูลใหม่ที่ไม่เคยเห็นมาก่อนได้ถูกต้อง
ที่มา: towardsdatascience.com