Amazon ECS รองรับการแชร์ GPU ด้วย NVIDIA Multi-Process Service (MPS) ทำให้สามารถรันหลาย ECS tasks พร้อมกันบน NVIDIA GPU ตัวเดียวได้ การแชร์ GPU นี้ช่วยเพิ่มการใช้ประโยชน์จาก GPU และลดต้นทุนโครงสร้างพื้นฐานสำหรับเวิร์กโหลดที่ใช้เพียงบางส่วนของ GPU เช่น การอนุมานโมเดลขนาดเล็ก การจำลอง AV/ADAS หรือการให้บริการหลายโมเดล
ด้วยฟีเจอร์นี้ คุณสามารถบรรจุเวิร์กโหลดได้มากขึ้นในแต่ละอินสแตนซ์ GPU โดยไม่ต้องแก้ไขโค้ดแอปพลิเคชัน เพียงแค่กำหนดหน่วยความจำ GPU ที่แต่ละคอนเทนเนอร์ต้องการ และตั้งค่าการแชร์การคำนวณสูงสุด หากใช้ Amazon ECS Managed Instances นั้น Amazon ECS จะตรวจสอบ MPS control daemon และจะแทนที่อินสแตนซ์หากพบว่ามีปัญหา ทำให้เวิร์กโหลดยังคงทำงานต่อไปโดยไม่ต้องแทรกแซงด้วยตนเอง
การเริ่มต้นใช้งานทำได้โดยการใช้ AWS Management Console หรือเครื่องมืออื่น ๆ เพื่อสร้าง capacity provider ด้วย NVIDIA GPU instances, กำหนดกลยุทธ์การแชร์ GPU และหน่วยความจำใน task definition ของคุณ
ความสามารถนี้พร้อมใช้งานในทุกภูมิภาคเชิงพาณิชย์และ AWS GovCloud (US) และรองรับทั้ง Amazon ECS Managed Instances และ Amazon ECS บน Amazon EC2
ศัพท์ที่ควรรู้
- Amazon ECS – คือบริการคอนเทนเนอร์ของ Amazon ที่ใช้ในการจัดการและรันแอปพลิเคชันของคุณ
- NVIDIA Multi-Process Service (MPS) – คือบริการที่ช่วยให้หลายกระบวนการสามารถใช้ทรัพยากรของ GPU เดียวกันได้อย่างมีประสิทธิภาพ
- GPU Sharing – คือเทคโนโลยีที่อนุญาตให้หลายงาน (tasks) สามารถใช้พลังการประมวลผลของ GPU ตัวเดียวกันพร้อมกันได้
- Capacity Provider – คือส่วนประกอบที่ใช้ในการระบุและจัดสรรทรัพยากร (เช่น GPU instances) ให้กับ ECS tasks
ที่มา: AWS