ใน AI Workload แบบกระจายศูนย์ ข้อผิดพลาดเพียงครั้งเดียวอาจก่อให้เกิดอาการที่ต่อเนื่องกัน ในคลัสเตอร์ขนาดใหญ่ที่รองรับ RDMA ระบบสามารถเชื่อมโยงข้อผิดพลาดของพอร์ต, การรีเซ็ตการเชื่อมต่อ, และเหตุการณ์ของ scheduler เพื่อระบุรูปแบบที่เกี่ยวข้องกับโฮสต์และพอร์ตสวิตช์เฉพาะ ทำให้ทีมสามารถกำหนดเป้าหมายการซ่อมแซมส่วนประกอบและปรับแต่งการรับมือกับภาวะติดขัดได้
NVIDIA Attribution Service และสถาปัตยกรรม Blueprint ช่วยรวบรวมหลักฐานของ Workload จากแหล่งข้อมูลต่างๆ และส่งไปยัง Attribution Service เพื่อวิเคราะห์ ก่อนจะเขียนการวินิจฉัยที่มีโครงสร้างไปยังปลายทางการแสดงผลต่างๆ
นักพัฒนาสามารถเพิ่มกฎสำหรับรูปแบบความล้มเหลวใหม่ๆ หรือติดตั้งตัวเชื่อมต่อสำหรับ scheduler และแบ็กเอนด์ telemetry ของตนเอง เพื่อส่งผลลัพธ์ AttributionBlueprint ไปยังระบบจัดการเหตุการณ์และการกู้คืนต่อไป
คู่มือการเขียนกฎใน Repository อธิบายถึงวิธีการเลือกรูปแบบกฎที่เหมาะสม การลงทะเบียนอาการใหม่ และการตรวจสอบแคตตาล็อกทั้งหมด
ศัพท์ที่ควรรู้
- Distributed AI Workloads – AI Workload แบบกระจายศูนย์ คือการประมวลผล AI ที่ถูกแบ่งไปยังหลายส่วนประกอบพร้อมกัน
- RDMA-backed cluster – คลัสเตอร์ที่รองรับ RDMA คือกลุ่มคอมพิวเตอร์ที่ใช้เทคโนโลยีการสื่อสารความเร็วสูงเพื่อการแลกเปลี่ยนข้อมูล
- Attribution Service – Attribution Service คือบริการที่ทำหน้าที่วิเคราะห์และระบุสาเหตุของปัญหาที่เกิดขึ้นในระบบ
- Attribution Blueprint – Attribution Blueprint คือรูปแบบข้อมูลที่มีโครงสร้างที่ใช้บันทึกผลการวินิจฉัยของปัญหา
- Scheduler – Scheduler คือส่วนประกอบที่ทำหน้าที่จัดการและจัดตารางการทำงานของ Workload ต่างๆ
ที่มา: developer.nvidia.com