วิธีการประเมินผล
การทดสอบใช้ GPU Blackwell Ultra รันโมเดล Kimi K2.5 แบบ FP4 ผ่าน NVIDIA Dynamo และ TensorRT LLM ความยาวอินพุต 8K โทเคน และเอาต์พุต 1K โทเคน ที่ศูนย์ข้อมูล Nscale แคมปัส Verne ใน Keflavík ไอซ์แลนด์ ใช้พลังงานหมุนเวียนทั้งหมด
ผลการวัดแสดงให้เห็น
DSX MaxLPS เพิ่ม GPU ที่จัดการได้จาก 140 เป็น 192 ตัว (+37.1%) ผลรวม throughput ขึ้นจาก 1.08 ล้านเป็น 1.62 ล้านโทเคน/วินาที (+49.2%) พลังงาน GPU เฉลี่ยเพิ่ม 35.9% แต่ throughput ต่อวัตต์ที่จัดสรรดีขึ้น 49.2% ในขณะ latency ต่ออินสแตนซ์คงที่
วิธีผู้ดูแลระบบตรวจสอบ DSX MaxLPS
อนุมัติคอนฟิกก็ต่อเมื่อบรรลุเป้าหมาย throughput และ latency อยู่ในงบพลังงาน สงวนสำรองไว้ตามที่กำหนด และทำงานคาดเดาได้ระหว่างข้อผิดพลาดหรือการเปลี่ยนโหมด
วางแผนไซต์สำหรับเป้าหมายการทำงานที่ตรวจสอบแล้ว
ระบบไฟฟ้า การทำความเย็น ผ้าเครือข่าย พื้นที่ และตำแหน่งราคาควรออกแบบรองรับเป้าหมายวงชีวิตที่ผ่านการตรวจสอบ แม้วันแรกจะติดตั้งราคาน้อยกว่า
ศัพท์ที่ควรรู้
- AI Factory – โรงงาน AI หมายถึงศูนย์ข้อมูลขนาดใหญ่ที่ออกแบบมาเฉพาะสำหรับฝึกและรันโมเดลปัญญาประดิษฐ์
- Throughput – ผ่านพุทธิ์/อัตราการประมวลผล จำนวนงานหรือโทเคนที่ระบบทำได้ต่อหน่วยเวลา
- Latency – ความหน่วง เวลาที่ระบบใช้ตอบสนองต่อคำขอหนึ่งครั้ง
- Power Budget – งบพลังงาน ขีดจำกัดการใช้ไฟฟ้าสูงสุดที่ระบบได้รับอนุญาต
- FP4 – รูปแบบตัวเลข 4 บิต ใช้ในการคำนวณ AI เพื่อลดหน่วยความจำและเพิ่มความเร็ว
- NVL72 – ระบบเซิร์ฟเวอร์ NVIDIA ที่รวม GPU 72 ตัวในราคาเดียวเชื่อมต่อด้วย NVLink
ที่มา: developer.nvidia.com