การสาธิตของ NVIDIA สำหรับ GLM-5.3 ที่ทำงานบนสอง DGX stations นั้นแสดงให้เห็นว่า vLLM สามารถทำได้ถึง 607.8 tok/s และตัวเลขนี้เป็นเรื่องจริง
การใช้งาน vLLM ในการทำ Tensor Parallelism นั้น Ray จะทำหน้าที่กำกับกลุ่มของ Worker โดย NCCL จะทำหน้าที่ขนส่งการสื่อสารระหว่างโหนดต่างๆ และ Startup flags จะกำหนดวิธีการแบ่งโมเดล
หากมีการใช้ Quantization และ KV cache บวกกับส่วนเผื่อเหลือพอที่จะใส่ในหน่วยความจำของสถานีเดียว การรัน GLM-5.3 บน DGX station เดียวด้วย vLLM ก็ถือว่าการติดตั้งเสร็จสมบูรณ์แล้ว
การตัดสินใจว่าจะ Scale Up, Scale Out หรือ Quantize นั้นขึ้นอยู่กับข้อจำกัดของ Option Binding, Cross-node all-reduce และ Failure domain ว่าจะให้ความสำคัญกับอะไร เช่น หากมีสองสถานี การใช้ Tensor Parallel จะต้องพิจารณา Bandwidth และ Memory ของลิงก์ด้วย
สำหรับ MoE serving นั้นมีอีกหนึ่งทางเลือกคือ Expert Parallelism ซึ่ง vLLM จะแบ่ง Experts ข้าม Rank และแทนที่การสื่อสารแบบ all-reduce ในแต่ละเลเยอร์ด้วย Expert dispatch traffic
ศัพท์ที่ควรรู้
- vLLM – เป็นไลบรารีที่ใช้ในการให้บริการโมเดลภาษาขนาดใหญ่ (LLM) ให้ทำงานได้อย่างมีประสิทธิภาพ Tensor Parallelism – เทคนิคการแบ่งโมเดลออกเป็นส่วนย่อยๆ เพื่อให้ทำงานพร้อมกันบนหลาย GPU Quantization – กระบวนการลดความแม่นยำของน้ำหนักโมเดล (weights) เพื่อให้ใช้หน่วยความจำน้อยลง DGX station – คือเซิร์ฟเวอร์ระดับสูงของ NVIDIA ที่ประกอบด้วย GPU และหน่วยความจำจำนวนมาก MoE serving – คือรูปแบบการให้บริการโมเดลที่ใช้ Mixture of Experts ซึ่งมีโมเดลย่อยๆ หลายตัวทำงานร่วมกัน
ที่มา: pastagi.com