TPU Sync ทำหน้าที่เป็นตัวเชื่อมต่อ KV สำหรับ vLLM-TorchTPU และเป็น backend สำหรับ SGLang-TorchTPU ในการแยกส่วนประกอบและการแคชแบบลำดับชั้น
สำหรับ Qwen3 235B พบว่าเวลาแฝงในการถ่ายโอน KV ลดลงจากหลายวินาทีเหลือประมาณ 230 มิลลิวินาที และลด TTFT เฉลี่ยได้ 60% สำหรับโมเดลนี้ และ 90% สำหรับโมเดล 480B ที่มี concurrency ต่ำ
GitHub repository ดังกล่าว ซึ่งรวมโค้ดเก่า TPU Raiden เข้าไปด้วย เตือนว่า API มีการเปลี่ยนแปลงอย่างรวดเร็ว และมีเพียง development builds เท่านั้นบน PyPI จึงแนะนำให้ตรึงการใช้งานกับ commit ที่ใช้งานได้ดีล่าสุด
TPU Sync เปิดให้ใช้งานภายใต้ Apache 2.0 license และมีเอกสารสถาปัตยกรรม รวมถึง API ทั้ง C++ และ Python สำหรับการให้บริการแบบแยกส่วนทั้งแบบโฮสต์เดียวและหลายโฮสต์
ศัพท์ที่ควรรู้
- TPU Sync – ไลบรารี C++ ที่ช่วยในการย้ายข้อมูล KV cache และน้ำหนักโมเดลระหว่างหน่วยความจำต่างๆ บน TPU และโฮสต์
- KV cache – ส่วนของข้อมูลที่เก็บไว้สำหรับการประมวลผลซ้ำของโมเดลภาษาขนาดใหญ่ (LLM) เพื่อเพิ่มความเร็วในการตอบสนอง
- TPU HBM – หน่วยความจำเฉพาะของ TPU ที่ใช้ในการประมวลผลข้อมูลโดยตรง
- Host DRAM – หน่วยความจำหลักของโฮสต์ที่ใช้เก็บข้อมูลระหว่างการประมวลผล
- TTFT – Time To First Token คือเวลาที่ใช้จนกระทั่งโมเดลเริ่มสร้างโทเค็นแรก ซึ่งบ่งบอกถึงความเร็วในการตอบสนอง
ที่มา: infoq.com