Netflix ได้อธิบายถึงการสร้างแพลตฟอร์มความน่าเชื่อถือสำหรับงานฝึกฝนและการอนุมาน GPU ขนาดใหญ่ โดยใช้การตรวจสอบสุขภาพแบบหลายชั้น การแก้ไขอัตโนมัติ และการฝึกฝนที่ทนทานต่อข้อผิดพลาด เพื่อให้งานยังคงดำเนินต่อไปได้แม้เกิดความล้มเหลวของฮาร์ดแวร์
การตรวจสอบระดับอุปกรณ์ใช้ NVIDIA DCGM เพื่อเฝ้าดูข้อผิดพลาดของ GPU, หน่วยความจำ, การเชื่อมต่อ และอุณหภูมิ ขณะที่การตรวจสอบเครือข่ายจะตรวจสอบสถานะและจำนวนอินเตอร์เฟซ Elastic Fabric Adapter ความสามารถเหล่านี้ถูกรวมเข้ากับ Karpenter สำหรับการซ่อมแซมโหนดอัตโนมัติ
Netflix ยังใช้ NVIDIA MIG สำหรับงานอนุมานขนาดเล็ก และกำลังพัฒนา Kubernetes Dynamic Resource Allocation (DRA) เพื่อการจัดวางทรัพยากรที่เหมาะสมที่สุด โดยเน้นการตรวจจับข้อผิดพลาดของฮาร์ดแวร์ รวมถึง Silent Data Corruption (SDC) ในคลัสเตอร์ AI ขนาดใหญ่
สถาปัตยกรรมของ Netflix เน้นการปิดวงจรการทำงานอย่างมาก: ตรวจสอบฮาร์ดแวร์ก่อนกำหนดตาราง, เฝ้าติดตามระหว่างดำเนินการ, ระบุโดเมนความล้มเหลว, บำบัดรักษาอัตโนมัติ และวัดผลผลิตที่ดีขึ้น
ทั้งสองแนวทางสะท้อนความเป็นจริงเดียวกันว่า เมื่อมี GPU นับพัน การรักษาความน่าเชื่อถือไม่สามารถมองว่าเป็นเพียงการทำให้เครื่องแต่ละเครื่องพร้อมใช้งานได้อีกต่อไป
ศัพท์ที่ควรรู้
- GPU – หน่วยประมวลผลกราฟิก ซึ่งเป็นชิปที่ใช้ในการประมวลผลงานด้าน AI และการเรียนรู้ของเครื่อง
- Distributed Training Workload – งานฝึกฝนแบบกระจาย ซึ่งคือการแบ่งงานการเรียนรู้ของเครื่องออกไปยังหลายหน่วยประมวลผลเพื่อทำงานพร้อมกัน
- NVIDIA DCGM – เครื่องมือของ NVIDIA ที่ใช้ในการตรวจสอบสถานะของ GPU เช่น ข้อผิดพลาด, หน่วยความจำ และอุณหภูมิ
- Karpenter – ระบบที่ช่วยในการซ่อมแซมโหนด (Node Auto-repair) โดยอัตโนมัติในคลัสเตอร์คอมพิวเตอร์
- Silent Data Corruption (SDC) – ข้อผิดพลาดของข้อมูลที่เกิดขึ้นโดยที่ระบบไม่ได้แจ้งเตือน ทำให้ข้อมูลเสียหายโดยที่เราไม่รู้ตัว
ที่มา: infoq.com