Amazon SageMaker AI รองรับ KV cache-aware routing สำหรับ Inference Endpoint แบบเรียลไทม์

Amazon SageMaker AI รองรับ KV cache-aware routing สำหรับ Inference Endpoint แบบเรียลไทม์ ซึ่งช่วยลดเวลาในการสร้างโทเค็นแรก (time to first token) สำหรับเวิร์กโหลด LLM ที่มี prompt ยาวหรือมีการใช้งานซ้ำซ้อน

Serving engine อย่าง vLLM จะจัดเก็บ computed key-value (KV) cache สำหรับการเริ่มต้น prompt ที่ซ้ำกัน เช่น system prompts, เอกสาร หรือประวัติการสนทนา เพื่อข้ามการคำนวณซ้ำซ้อน หากมีคำขอเข้ามาในขณะที่ cache ขาดหายไป ก็จะมีการคำนวณใหม่ใน instance นั้น

KV cache-aware routing จะส่งแต่ละคำขอไปยัง instance ที่เก็บส่วนของ prompt ที่ตรงกันใน cache ได้ยาวที่สุด โดย vLLM container จะรายงาน cache blocks ที่จัดเก็บและถูกลบ ทำให้ SageMaker สามารถกำหนดเส้นทางได้อย่างแม่นยำ

หากการค้นหาช้าหรือไม่พบข้อมูลตรงกัน Endpoint จะกลับไปใช้ load-aware routing เพื่อให้บริการคำขอต่อไปได้ ลูกค้าสามารถเปิดใช้งานฟีเจอร์นี้ได้โดยการตั้งค่า `RoutingStrategy` เป็น `KV_AWARE` และต้องใช้ AWS vLLM Deep Learning Container เวอร์ชัน 0.33.0 ขึ้นไป พร้อมอย่างน้อยสอง instance

การใช้งานฟีเจอร์นี้รองรับทั้ง single-model endpoints และ inference components รวมถึง LoRA adapters บน GPU instances และไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับการใช้งาน KV cache-aware routing

ศัพท์ที่ควรรู้

  • KV cache – คือหน่วยความจำที่เก็บผลการคำนวณก่อนหน้าของโมเดล เพื่อนำกลับมาใช้ใหม่ในการประมวลผลครั้งต่อไป
  • Inference Endpoint – คือจุดให้บริการที่ทำให้โมเดล AI สามารถรับคำขอและส่งผลลัพธ์กลับไปได้แบบเรียลไทม์
  • LLM workloads – คือภาระงานที่เกี่ยวข้องกับการทำงานของโมเดลภาษาขนาดใหญ่ เช่น การสร้างข้อความหรือการแปลภาษา
  • vLLM – คือ serving engine ที่ช่วยจัดการและจัดเก็บ KV cache เพื่อเพิ่มประสิทธิภาพการใช้งาน GPU

ที่มา: AWS

Leave a Comment