เมื่อการเทรน AI แบบกระจายขนาดใหญ่ขึ้น ความล้มเหลวของทั้งฮาร์ดแวร์และซอฟต์แวร์ที่เกิดขึ้นระหว่างการทำงานจะขัดขวางความคืบหน้าของการเทรน ทำให้การกู้คืนที่รวดเร็วและเชื่อถือได้เป็นสิ่งจำเป็น
ในการศึกษาที่ Meta พบว่า แม้แต่ละ GPU จะทำงานได้ 99.9% ต่อวัน แต่การรันงานที่ใช้ 10,000 GPUs ติดต่อกันโดยไม่สะดุดนั้นมีความน่าจะเป็นเพียง 0.005% เท่านั้น ซึ่งแสดงให้เห็นว่างานที่ใหญ่ที่สุดมีความเสี่ยงสูงสุด
สำหรับการกู้คืนใน Slurm job arrays แต่ละงานที่ล้มเหลวจะถูกกู้คืนแยกกัน และระบบจะหยุดกู้คืนเมื่อพบว่าความล้มเหลวเป็นแบบเชิงระบบ ซึ่งในแผนงานในอนาคตจะมีการจำแนกความล้มเหลวที่แม่นยำขึ้นและบันทึกการตัดสินใจกู้คืนใน Dashboard และ API
ศัพท์ที่ควรรู้
- Distributed AI training – การฝึกโมเดล AI ที่ใช้ทรัพยากรคอมพิวเตอร์หลายส่วนทำงานร่วมกัน
- GPU – หน่วยประมวลผลกราฟิก (Graphics Processing Unit) ที่ใช้ในการคำนวณหนัก
- Stragglers – โหนดหรือส่วนประกอบที่ทำงานช้ากว่าส่วนอื่นในระบบ ทำให้การทำงานทั้งหมดล่าช้า
- Slurm job arrays – ระบบจัดการงานที่ช่วยให้งานที่ใหญ่ถูกแบ่งย่อยและจัดการเป็นชุด
ที่มา: developer.nvidia.com