NVIDIA DSX AI Factory Platform ได้รวบรวมเทคโนโลยีต่าง ๆ เพื่อช่วยให้ระบบนิเวศสามารถออกแบบ สร้าง และดำเนินการโรงงาน AI ที่มีประสิทธิภาพมากขึ้น ซึ่งรวมถึงส่วนประกอบซอฟต์แวร์แบบโมดูลาร์ที่รองรับการทำงานแบบหลายผู้เช่า (multi-tenant) และการปรับขนาด
ในส่วนของ NVIDIA DSX AI Factory Platform นั้น Workload Map ช่วยให้ตัวจัดตาราง (integrated schedulers) และแพลตฟอร์มต่าง ๆ สามารถตีความประเภทของ Workload ที่รองรับได้ โดยไม่ต้องคงโค้ดสำหรับการแยกวิเคราะห์เฉพาะของแต่ละ Framework เอาไว้
โครงสร้าง Workload ของ Kubernetes ที่ใช้ร่วมกัน
Workload Map มีแคตตาล็อกของคำจำกัดความสำเร็จรูปที่ผ่านการทดสอบสำหรับ JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet และ NVIDIA Dynamo
การเขียนคำจำกัดความ Workload สำหรับ JobSet
JobSet ไม่ได้รายงานสถานะ “Running” ตรงไปตรงมา ดังนั้นคำจำกัดความจึงอนุมานสถานะนั้นจาก jq expression บน replicatedJobsStatus และแมปเงื่อนไข Completed และ Failed ดั้งเดิมไปยังคำศัพท์ร่วมที่ผู้บริโภคใช้งานอยู่แล้ว
การใช้คำจำกัดความสำเร็จรูปนี้ช่วยลดความจำเป็นในการดูแลตรรกะการแยกวิเคราะห์เฉพาะของแต่ละ Framework สำหรับ Nova ซึ่งแสดงให้เห็นว่าโมเดลคำอธิบาย Workload เดียวกันสามารถรองรับผู้บริโภคการจัดตารางและแพลตฟอร์มที่แตกต่างกันได้
ศัพท์ที่ควรรู้
- NVIDIA DSX AI Factory Platform – แพลตฟอร์มที่ช่วยให้การสร้างและดำเนินการโรงงาน AI มีประสิทธิภาพมากขึ้น
- Workload Map – เครื่องมือที่ช่วยให้ระบบต่าง ๆ ตีความประเภทของ Workload ที่รองรับได้
- Kubernetes workload structure – โครงสร้างของ Workload ที่ใช้ในระบบ Kubernetes
- JobSet – หนึ่งในประเภทของ Workload ที่ Workload Map รองรับ
- jq expression – การใช้คำสั่งสำหรับประมวลผลข้อมูลเพื่ออนุมานสถานะของ JobSet
ที่มา: developer.nvidia.com