การบรรจบกันแบบดับเบิลของโมเดลในโครงข่ายประสาทเทียมเชิงลึก

การทดสอบและฝึกฝนข้อผิดพลาดตามขนาดโมเดลและจำนวนขั้นตอนการปรับค่าที่เหมาะสมที่สุดแสดงให้เห็นปรากฏการณ์ double descent สำหรับจำนวนขั้นตอนการปรับค่าที่คงที่ ข้อผิดพลาดจะแสดง double descent ตามขนาดโมเดล และสำหรับขนาดโมเดลที่คงที่ ข้อผิดพลาดจะลดลง เพิ่มขึ้น และลดลงอีกตามการฝึกฝน ซึ่งเราเรียกว่า epoch-wise double descent

โดยทั่วไป จุดสูงสุดของข้อผิดพลาดในการทดสอบจะปรากฏอย่างเป็นระบบเมื่อโมเดลสามารถพอดีกับชุดข้อมูลฝึกฝนได้อย่างหวุดหวิด ซึ่งบ่งชี้ว่าในภาวะที่ข้อมูลไม่สมบูรณ์ โมเดลที่ดีต้องสามารถพอดีกับชุดข้อมูลฝึกฝนและทำงานได้ดีกับชุดข้อมูลทดสอบด้วย

อย่างไรก็ตาม ในภาวะที่มีพารามิเตอร์เกินพอ มีโมเดลจำนวนมากที่พอดีกับชุดข้อมูลฝึกฝน และ stochastic gradient descent (SGD) มีอคติโดยปริยายที่นำไปสู่โมเดลที่ดีเหล่านี้ ซึ่งเป็นคำถามเปิดที่สำคัญที่เรายังไม่เข้าใจกลไกทั้งหมด

ศัพท์ที่ควรรู้

• Double descent – ปรากฏการณ์ที่ข้อผิดพลาดของโมเดลแสดงการลดลงและเพิ่มขึ้นสลับกันไปตามขนาดโมเดลหรือจำนวนรอบการฝึกฝน
• Test error – ข้อผิดพลาดที่เกิดขึ้นเมื่อโมเดลถูกนำไปทดสอบกับข้อมูลที่ไม่เคยเห็นมาก่อน
• Train error – ข้อผิดพลาดที่เกิดขึ้นเมื่อโมเดลถูกนำไปประเมินกับชุดข้อมูลที่ใช้ในการฝึกฝน
• Epoch-wise double descent – การเปลี่ยนแปลงของข้อผิดพลาดที่เกิดขึ้นระหว่างการฝึกฝนแต่ละรอบของโมเดล
• Over-parameterized regime – สภาวะที่โมเดลมีจำนวนพารามิเตอร์มากกว่าที่จำเป็นสำหรับงานนั้นๆ

ที่มา: OpenAI