เมื่อทีมงานติดตั้งและปรับขนาด AI Workload โดยใช้ NVIDIA Dynamo, Kubeflow หรือ Slurm การติดตามสิ่งที่ทำงานจริงนั้นต้องมองให้ไกลกว่าการตั้งค่าแพลตฟอร์มที่บันทึกไว้ในสูตร เนื่องจากโหนดสองตัวอาจรันโค้ดต่างกันภายใต้แท็กเดียวกัน หรือโหนดที่ดึงข้อมูลในสัปดาห์หน้าอาจได้รับอิมเมจที่ไม่ได้ผ่านการตรวจสอบความปลอดภัยก่อนหน้า
AICR ซึ่งเป็นส่วนประกอบโอเพนซอร์สของ NVIDIA DSX AI Factory Platform ได้เพิ่มส่วนประกอบ Qualified AI Bill of Materials (AIBOM) เพื่ออุดช่องว่างนี้ โดยแต่ละสูตรจะบันทึกการกำหนดค่าที่ต้องการสำหรับส่วนประกอบ เวอร์ชัน ข้อจำกัด และการตรวจสอบที่ผ่านการทดสอบแล้ว
สองด้านของปัญหาเดียวกัน
AICR จะบันทึกเจตนาการติดตั้งที่ผ่านการรับรองและประเมินเทียบกับคลัสเตอร์ ณ จุดเวลาหนึ่ง โดย k8s-aibom จะบันทึก AI Workload ที่รองรับ รวมถึงระดับความเชื่อมั่นที่แต่ละคุณลักษณะถูกกำหนด
การใช้ AICR กับ k8s-aibom
เริ่มต้นด้วยคลัสเตอร์ Google Kubernetes Engine (GKE) ที่รัน Kubernetes 1.32 ขึ้นไป พร้อมโหนด NVIDIA H100 GPU ที่ใช้ Container-Optimized OS และไดรเวอร์/ปลั๊กอินอุปกรณ์ที่จัดการโดย GKE
การตรวจสอบ AIBOM
คุณลักษณะต่างๆ จะมาพร้อมกับระดับความเชื่อมั่นสี่ระดับ ได้แก่ declared, inferred, unresolved หรือ verified พร้อมด้วยตัวระบุหลักฐานเพื่อให้ผู้ตรวจสอบเห็นว่าข้อกล่าวอ้างนั้นมาได้อย่างไร
ก้าวต่อไป
k8s-aibom สามารถตรวจสอบลายเซ็น Sigstore บนข้อกล่าวอ้างของโมเดลเทียบกับรากฐานความเชื่อที่กำหนดค่าโดยโอเปอเรเตอร์ บังคับใช้ข้อจำกัดของตัวตนผู้ลงนาม ตรวจสอบการรวมใน Rekor และกำหนดระดับความเชื่อมั่นที่ผ่านการรับรองให้กับข้อกล่าวอ้างนั้นๆ
ศัพท์ที่ควรรู้
- NVIDIA DSX AI Factory – แพลตฟอร์มที่ใช้ในการจัดการและตรวจสอบ AI Workload ของ NVIDIA
- AI Cluster Runtime (AICR) – ส่วนประกอบโอเพนซอร์สที่ช่วยบันทึกและตรวจสอบสถานะของ AI Cluster
- Qualified AI Bill of Materials (AIBOM) – รายการส่วนประกอบที่ผ่านการรับรองซึ่งระบุองค์ประกอบและเวอร์ชันของซอฟต์แวร์ที่ใช้งาน
- Google Kubernetes Engine (GKE) – บริการจัดการ Kubernetes ของ Google ที่ใช้เป็นพื้นฐานในการทดสอบ
ที่มา: developer.nvidia.com