Amazon SageMaker AI รองรับ KV cache-aware routing สำหรับ Inference Endpoint แบบเรียลไทม์ ซึ่งช่วยลดเวลาในการสร้างโทเค็นแรก (time to first token) สำหรับเวิร์กโหลด LLM ที่มี prompt ยาวหรือมีการใช้งานซ้ำซ้อน
Serving engine อย่าง vLLM จะจัดเก็บ computed key-value (KV) cache สำหรับการเริ่มต้น prompt ที่ซ้ำกัน เช่น system prompts, เอกสาร หรือประวัติการสนทนา เพื่อข้ามการคำนวณซ้ำซ้อน หากมีคำขอเข้ามาในขณะที่ cache ขาดหายไป ก็จะมีการคำนวณใหม่ใน instance นั้น
KV cache-aware routing จะส่งแต่ละคำขอไปยัง instance ที่เก็บส่วนของ prompt ที่ตรงกันใน cache ได้ยาวที่สุด โดย vLLM container จะรายงาน cache blocks ที่จัดเก็บและถูกลบ ทำให้ SageMaker สามารถกำหนดเส้นทางได้อย่างแม่นยำ
หากการค้นหาช้าหรือไม่พบข้อมูลตรงกัน Endpoint จะกลับไปใช้ load-aware routing เพื่อให้บริการคำขอต่อไปได้ ลูกค้าสามารถเปิดใช้งานฟีเจอร์นี้ได้โดยการตั้งค่า `RoutingStrategy` เป็น `KV_AWARE` และต้องใช้ AWS vLLM Deep Learning Container เวอร์ชัน 0.33.0 ขึ้นไป พร้อมอย่างน้อยสอง instance
การใช้งานฟีเจอร์นี้รองรับทั้ง single-model endpoints และ inference components รวมถึง LoRA adapters บน GPU instances และไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับการใช้งาน KV cache-aware routing
ศัพท์ที่ควรรู้
- KV cache – คือหน่วยความจำที่เก็บผลการคำนวณก่อนหน้าของโมเดล เพื่อนำกลับมาใช้ใหม่ในการประมวลผลครั้งต่อไป
- Inference Endpoint – คือจุดให้บริการที่ทำให้โมเดล AI สามารถรับคำขอและส่งผลลัพธ์กลับไปได้แบบเรียลไทม์
- LLM workloads – คือภาระงานที่เกี่ยวข้องกับการทำงานของโมเดลภาษาขนาดใหญ่ เช่น การสร้างข้อความหรือการแปลภาษา
- vLLM – คือ serving engine ที่ช่วยจัดการและจัดเก็บ KV cache เพื่อเพิ่มประสิทธิภาพการใช้งาน GPU
ที่มา: AWS