SageMaker AI ตอนนี้ตรวจสอบเวลาตอบสนองและการใช้งาน GPU ของจุดสิ้นสุดการอนุมาน GenAI โดยอัตโนมัติ และส่งการแจ้งเตือนผ่าน AWS Health เมื่อพบว่าตอบสนองช้าลง GPU อยู่ว่างหรือการตั้งค่าล้าสมัย
การแจ้งเตือนจะเชื่อมโยงไปยัง SageMaker AI Agentic Experience ใน SageMaker Studio โดยมีข้อมูลจุดสิ้นสุดและปริมาณคำขอล่าสุดพร้อมใช้งาน
ลูกค้าสามารถรัน Generative AI Inference Recommendations เพื่อเปรียบเทียบการตั้งค่าปัจจุบันกับตัวเลือกใหม่ๆ ดูจากเวลาตอบสนอง ปริมาณคำขอที่รองรับได้ และต้นทุนต่อล้านโทเค็น โดยไม่กระทบระบบจริงจนกว่าจะนำผลลัพธ์ไปใช้
สามารถปิดการตรวจสอบได้ตลอดเวลา ฟีเจอร์พร้อมใช้งานในภูมิภาค US East (N. Virginia, Ohio), US West (Oregon), Europe (Ireland, Frankfurt), Asia Pacific (Singapore, Tokyo) ไม่มีค่าใช้จ่ายเพิ่มสำหรับการตรวจสอบ ค่าใช้จ่ายคอมพิวต์มาตรฐานใช้กับงานแนะนำเท่านั้น
ศัพท์ที่ควรรู้
- Generative AI inference endpoint – จุดสิ้นสุด API ที่ให้บริการโมเดล AI สร้างสรรค์เพื่อตอบสนองคำขอแบบเรียลไทม์
- GPU utilization – ร้อยละของความสามารถ GPU ที่ถูกใช้งานจริงขณะประมวลผล
- Speculative decoding – เทคนิคเร่งความเร็วการสร้างข้อความโดยทายคำถัดไปล่วงหน้า
- GPU kernel tuning – การปรับพารามิเตอร์โค้ดระดับต่ำบน GPU ให้ทำงานมีประสิทธิภาพมากขึ้น
- AWS Health notification – การแจ้งเตือนสถานะบริการ AWS ที่แสดงในคอนโซลการจัดการ
ที่มา: AWS