เมื่อกลุ่ม GPU มีขนาดใหญ่ขึ้น การดำเนินงานครอบคลุมทั้งส่วนการคำนวณ เครือข่าย ฮาร์ดแวร์ และการจัดตารางเวลา ทำให้ SRE ต้องตรวจสอบหลายแดชบอร์ดเพื่อหาสาเหตุของประสิทธิภาพการฝึกที่ตกต่ำ
สถาปัตยกรรมนี้ใช้โมเดลเปิด NVIDIA Nemotron ที่ให้บริการในเครื่อง โดยทำงานบนกลุ่มการผลิต NVIDIA DGX H100, NVIDIA DGX B200 และ NVIDIA DGX GB300
Agent ต่างๆ เช่น Job Recovery Agent, Hardware Agent และ Observability Agent ทำหน้าที่วิเคราะห์ปัญหาในระดับลึก ตั้งแต่การตรวจจับข้อผิดพลาดของฮาร์ดแวร์ไปจนถึงการสอบถามบันทึก Prometheus และ Grafana Loki เพื่อสร้างแดชบอร์ดแบบไดนามิก
NVIDIA ยังคงปรับปรุงเฟรมเวิร์กนี้อย่างต่อเนื่อง โดยวัดความแม่นยำของการวิเคราะห์รากเหา และเปิดให้ผู้ใช้สามารถเชื่อมต่อ MCP servers และ API ของตนเองได้ด้วย
การปรับใช้สำหรับองค์กรอื่นสามารถใช้ Local หรือ Cloud inference endpoint โดยขึ้นอยู่กับอธิปไตยของข้อมูล ขนาดของคลัสเตอร์ และความจุของ GPU ที่มีอยู่
สถาปัตยกรรม: การใช้พิมพ์เขียวของ NVIDIA และโมเดลเปิด
การอนุมานของ Agent ใช้โมเดลเปิด NVIDIA Nemotron ที่ให้บริการในเครื่อง ขณะที่เฟรมเวิร์กทำงานบนกลุ่มการผลิต NVIDIA DGX H100, NVIDIA DGX B200 และ NVIDIA DGX GB300
AI Factory Operations Agent, sub-agents และเครื่องมือ
Job Recovery Agent ตรวจจับความล้มเหลวของงานและภาวะประสิทธิภาพลดลง พร้อมวิเคราะห์สาเหตุรากเหาหลายชั้นและแนะนำขั้นตอนการกู้คืน
Hardware Agent วินิจฉัยข้อผิดพลาดของฮาร์ดแวร์ในระดับอุปกรณ์ เช่น ข้อผิดพลาด PCIe, ECC, GPU, NVMe และความผิดปกติทางความร้อน
Observability Agent สอบถามบันทึก Prometheus, telemetry และ Grafana Loki เพื่อสร้างแดชบอร์ดแบบไดนามิก และ Research Agent ค้นหาในเอกสารประกอบต่างๆ รวมถึงคู่มือ NVIDIA Mission Control
สิ่งที่ได้เรียนรู้จากการใช้ Agent ในศูนย์ข้อมูล
NVIDIA ยังคงปรับปรุงเฟรมเวิร์กโดยการวัดความแม่นยำของการวิเคราะห์รากเหา (RCA) และติดตามข้อตกลงของ SRE รวมถึงการขยายระบบนิเวศของ Agent
การนำการดำเนินงานที่ขับเคลื่อนด้วย Agent มาสู่ AI factory ของคุณ
การปรับใช้รูปแบบอื่นๆ สามารถใช้ local หรือ cloud inference endpoint โดยขึ้นอยู่กับอธิปไตยของข้อมูล ขนาดคลัสเตอร์ และความจุ GPU ที่มีอยู่ โดยการปรับใช้ขนาดเล็กสามารถใช้ RTX PRO Workstation หรือ DGX Spark ได้
ศัพท์ที่ควรรู้
- GPU clusters – กลุ่มของหน่วยประมวลผลกราฟิกที่ทำงานร่วมกันเพื่อการคำนวณขนาดใหญ่
- SREs – Site Reliability Engineers คือวิศวกรที่รับผิดชอบในการรักษาเสถียรภาพของระบบคอมพิวเตอร์ขนาดใหญ่
- Agent inference – การอนุมานของ Agent คือการที่โมเดล AI ทำงานตามที่ถูกกำหนดไว้เพื่อวิเคราะห์หรือตัดสินใจ
- NVIDIA Nemotron – โมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดที่ NVIDIA ใช้เป็นพื้นฐานในการทำงานของ Agent
- Prometheus, Grafana Loki – เครื่องมือเก็บและวิเคราะห์บันทึก (logs) ที่ใช้ในการตรวจสอบสถานะของระบบในอดีต
ที่มา: developer.nvidia.com