Amazon SageMaker HyperPod รองรับความหนาแน่นของ Pod ที่สูงขึ้นต่อโหนดในคลัสเตอร์ที่จัดระเบียบด้วย EKS ซึ่งช่วยให้สามารถดึงศักยภาพสูงสุดจากทุกอินสแตนซ์ได้มากขึ้น
การเพิ่มความหนาแน่นนี้ช่วยให้มีพื้นที่สำหรับแอปพลิเคชันของคุณควบคู่ไปกับ DaemonSets ของระบบสำหรับการตรวจสอบ การบันทึก และความปลอดภัย ซึ่งช่วยเพิ่มการใช้ประโยชน์จาก GPU, CPU และหน่วยความจำบนโหนด ทำให้สามารถทำงานเดิมได้ด้วยอินสแตนซ์ที่น้อยลง
เมื่อมีการกำหนดตาราง Pod เพิ่มขึ้น Amazon VPC CNI จะเพิ่มความจุเครือข่ายให้กับโหนดโดยอัตโนมัติ และการปรับขนาดอัตโนมัติด้วย Karpenter ก็รองรับความจุ Pod ที่สูงขึ้นนี้เช่นกัน
ตัวอย่างเวิร์กโหลดที่ได้รับประโยชน์ ได้แก่ การอนุมานโมเดล (Model inference) การพัฒนาแบบโต้ตอบ (Interactive development) การแบ่งส่วน GPU (GPU partitioning) และการรัน Operators/Controllers บนโหนด CPU ควบคู่ไปกับเวิร์กโหลดของคุณ
ฟีเจอร์นี้พร้อมใช้งานสำหรับคลัสเตอร์ HyperPod ที่จัดระเบียบด้วย EKS ในทุกภูมิภาคของ AWS ที่ SageMaker HyperPod มีให้บริการ โดยต้องอัปเดตสิทธิ์ IAM, ซอฟต์แวร์คลัสเตอร์ และส่วนเสริม Amazon VPC CNI เพื่อเริ่มต้นใช้งาน
ศัพท์ที่ควรรู้
- Amazon SageMaker HyperPod – บริการของ AWS สำหรับการเรียนรู้ของเครื่องที่ช่วยจัดการทรัพยากรในการฝึกและรันโมเดล
- EKS-orchestrated clusters – คลัสเตอร์ที่ใช้ Amazon Elastic Kubernetes Service (EKS) ในการจัดการและควบคุมการทำงานของ Pods
- Pod – หน่วยทำงานพื้นฐานใน Kubernetes ที่รันหนึ่งหรือมากกว่าของคอนเทนเนอร์ที่ทำงานร่วมกัน
- DaemonSets – ชุดของ Pods ที่ทำงานอย่างต่อเนื่องบนโหนดทั้งหมดในคลัสเตอร์เพื่อให้บริการเฉพาะ เช่น การตรวจสอบหรือการบันทึก
ที่มา: AWS