การกำหนดค่าและปรับแต่ง Kubernetes สำหรับฮาร์ดแวร์ GPU ใหม่ เช่น NVIDIA Vera Rubin นั้นมีความซับซ้อนและมีโอกาสเกิดข้อผิดพลาดสูง
การเปลี่ยนแปลงจาก GB200 NVL72: การวางแผนการอัปเกรด
Topology ของ NIC/GPU/Direct Memory Access (DMA) ใน Vera Rubin NVL72 นั้นแตกต่างจาก GB200 ดังนั้นต้องตรวจสอบการจัดวาง GPU ไปยัง NIC และ NUMA สำหรับเวิร์กโหลดที่เน้น I/O เช่น เครือข่าย RDMA และ GPUDirect Storage
3. สแน็ปช็อตและตรวจสอบ
การตรวจสอบต้องผ่านหลายเฟส เช่น การตรวจสอบสถานะของ deployment operator, การตรวจสอบทรัพยากร Kubernetes ที่คาดหวัง, และการตรวจสอบ nvidia-smi บนทุกโหนด
การตรวจสอบขั้นสูง เช่น conformance สำหรับ ai-service-metrics และ conformance gang-scheduling ได้ถูกดำเนินการ และมีการวัดประสิทธิภาพ NCCL all-reduce ข้ามโหนดที่สูงถึง 744.71 GB/s
หลักฐานการตรวจสอบและวงจรป้อนกลับ
แม้แต่ภาพของ vLLM ที่ใหม่ที่สุดก็ยังคงมีโค้ดสำหรับส่งข้อมูลโดยไม่มีเคอร์เนลที่คอมไพล์แล้ว สำหรับ ai-dynamo เวอร์ชันล่าสุด (v1.4.2) นั้นใช้ vllm-openai v0.26.0 ซึ่งเก่ากว่าโค้ดทั้งหมด ขณะที่ main branch ที่ยังไม่เผยแพร่นั้นใช้ v0.28.0 ซึ่งไม่ได้สร้างขึ้นสำหรับ 13.4
ศัพท์ที่ควรรู้
- Kubernetes – ระบบจัดการคอนเทนเนอร์ที่ใช้ในการจัดการแอปพลิเคชันในสภาพแวดล้อมที่มีการขยายขนาด
- NVIDIA Vera Rubin – ฮาร์ดแวร์ GPU รุ่นใหม่ที่ถูกนำมาใช้ในระบบนี้
- RDMA – เทคโนโลยีที่ช่วยให้การเข้าถึงหน่วยความจำระหว่างคอมพิวเตอร์เกิดขึ้นได้โดยไม่ต้องผ่าน CPU ทั้งหมด
- GPUDirect Storage – เทคโนโลยีที่ช่วยให้ GPU สามารถเข้าถึงข้อมูลดิบจากอุปกรณ์จัดเก็บโดยตรง
- NCCL all-reduce – อัลกอริทึมที่ใช้ในการรวมผลลัพธ์การคำนวณจากหลาย GPU เข้าด้วยกัน
ที่มา: developer.nvidia.com