Amazon SageMaker AI Inference รองรับ GPU Partitioning ซึ่งช่วยให้สามารถรันหลายโมเดลบน GPU เดียว แทนที่จะต้องจัดสรรตัวเร่งทั้งหมดให้กับแต่ละโมเดล
โดยใช้เทคโนโลยี NVIDIA Multi-Instance GPU (MIG) SageMaker AI สามารถแบ่ง GPU ออกเป็นถึงเจ็ดส่วนที่แยกออกจากกัน แต่ละส่วนมีหน่วยความจำและการประมวลผลเป็นของตนเอง
สำหรับลูกค้าที่ให้บริการโมเดลขนาดเล็กถึงกลาง เช่น fine-tuned variants, embedding models, rerankers และ classifiers ก่อนหน้านี้ต้องจัดสรรตัวเร่งเต็มให้กับทุกโมเดล ทำให้เกิดการสูญเสียศักยภาพของ GPU
ด้วย GPU Partitioning ลูกค้าสามารถเลือกวิธีการแบ่ง GPU ที่อยู่เบื้องหลัง Endpoint และวางแต่ละโมเดลบนส่วนที่มีขนาดเหมาะสม ทำให้หลายโมเดลสามารถแชร์ตัวเร่งเดียวกันพร้อมการแยกทางฮาร์ดแวร์
การกำหนดค่า GPU Partitioning ทำได้เมื่อสร้าง Endpoint ที่โฮสต์ Inference components โดยสามารถใช้งานได้บนอินสแตนซ์ P4d, P5, G7 และ G7e ในหลายภูมิภาคทั่วโลก
สำหรับข้อมูลเพิ่มเติม สามารถดูได้ที่หน้า Amazon SageMaker AI deployment และ Amazon SageMaker AI Developer Guide
ศัพท์ที่ควรรู้
- Amazon SageMaker AI Inference – คือกระบวนการที่โมเดล AI ทำการอนุมานหรือให้ผลลัพธ์
- GPU Partitioning – คือเทคนิคการแบ่ง GPU ออกเป็นส่วนย่อยๆ เพื่อให้หลายโมเดลใช้งานพร้อมกันได้
- NVIDIA Multi-Instance GPU (MIG) – คือเทคโนโลยีที่ช่วยให้สามารถแบ่ง GPU เดียวออกเป็นหลายส่วนที่ทำงานแยกกันได้
- Endpoint – คือจุดเชื่อมต่อที่ให้บริการโมเดล AI เพื่อให้แอปพลิเคชันภายนอกเรียกใช้งาน
ที่มา: AWS