{"id":27944,"date":"2026-11-14T15:21:15","date_gmt":"2026-11-14T08:21:15","guid":{"rendered":"https:\/\/blogdee.com\/?p=27944"},"modified":"2026-11-14T15:21:15","modified_gmt":"2026-11-14T08:21:15","slug":"%e0%b8%95%e0%b9%89%e0%b8%99%e0%b8%97%e0%b8%b8%e0%b8%99%e0%b8%81%e0%b8%b2%e0%b8%a3%e0%b9%83%e0%b8%ab%e0%b9%89%e0%b8%9a%e0%b8%a3%e0%b8%b4%e0%b8%81%e0%b8%b2%e0%b8%a3-vllm-%e0%b9%81%e0%b8%9a%e0%b8%9a-mult","status":"publish","type":"post","link":"https:\/\/blogdee.com\/?p=27944","title":{"rendered":"\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 vLLM \u0e41\u0e1a\u0e1a Multi-Node \u0e15\u0e48\u0e2d GPU"},"content":{"rendered":"<p>\u0e01\u0e32\u0e23\u0e2a\u0e32\u0e18\u0e34\u0e15\u0e02\u0e2d\u0e07 NVIDIA \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a GLM-5.3 \u0e17\u0e35\u0e48\u0e17\u0e33\u0e07\u0e32\u0e19\u0e1a\u0e19\u0e2a\u0e2d\u0e07 DGX stations \u0e19\u0e31\u0e49\u0e19\u0e41\u0e2a\u0e14\u0e07\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e47\u0e19\u0e27\u0e48\u0e32 vLLM \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e17\u0e33\u0e44\u0e14\u0e49\u0e16\u0e36\u0e07 607.8 tok\/s \u0e41\u0e25\u0e30\u0e15\u0e31\u0e27\u0e40\u0e25\u0e02\u0e19\u0e35\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e23\u0e34\u0e07<\/p>\n<p>\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 vLLM \u0e43\u0e19\u0e01\u0e32\u0e23\u0e17\u0e33 Tensor Parallelism \u0e19\u0e31\u0e49\u0e19 Ray \u0e08\u0e30\u0e17\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e01\u0e33\u0e01\u0e31\u0e1a\u0e01\u0e25\u0e38\u0e48\u0e21\u0e02\u0e2d\u0e07 Worker \u0e42\u0e14\u0e22 NCCL \u0e08\u0e30\u0e17\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e02\u0e19\u0e2a\u0e48\u0e07\u0e01\u0e32\u0e23\u0e2a\u0e37\u0e48\u0e2d\u0e2a\u0e32\u0e23\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e42\u0e2b\u0e19\u0e14\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e41\u0e25\u0e30 Startup flags \u0e08\u0e30\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e41\u0e1a\u0e48\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25<\/p>\n<p>\u0e2b\u0e32\u0e01\u0e21\u0e35\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 Quantization \u0e41\u0e25\u0e30 KV cache \u0e1a\u0e27\u0e01\u0e01\u0e31\u0e1a\u0e2a\u0e48\u0e27\u0e19\u0e40\u0e1c\u0e37\u0e48\u0e2d\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e1e\u0e2d\u0e17\u0e35\u0e48\u0e08\u0e30\u0e43\u0e2a\u0e48\u0e43\u0e19\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e02\u0e2d\u0e07\u0e2a\u0e16\u0e32\u0e19\u0e35\u0e40\u0e14\u0e35\u0e22\u0e27 \u0e01\u0e32\u0e23\u0e23\u0e31\u0e19 GLM-5.3 \u0e1a\u0e19 DGX station \u0e40\u0e14\u0e35\u0e22\u0e27\u0e14\u0e49\u0e27\u0e22 vLLM \u0e01\u0e47\u0e16\u0e37\u0e2d\u0e27\u0e48\u0e32\u0e01\u0e32\u0e23\u0e15\u0e34\u0e14\u0e15\u0e31\u0e49\u0e07\u0e40\u0e2a\u0e23\u0e47\u0e08\u0e2a\u0e21\u0e1a\u0e39\u0e23\u0e13\u0e4c\u0e41\u0e25\u0e49\u0e27<\/p>\n<p>\u0e01\u0e32\u0e23\u0e15\u0e31\u0e14\u0e2a\u0e34\u0e19\u0e43\u0e08\u0e27\u0e48\u0e32\u0e08\u0e30 Scale Up, Scale Out \u0e2b\u0e23\u0e37\u0e2d Quantize \u0e19\u0e31\u0e49\u0e19\u0e02\u0e36\u0e49\u0e19\u0e2d\u0e22\u0e39\u0e48\u0e01\u0e31\u0e1a\u0e02\u0e49\u0e2d\u0e08\u0e33\u0e01\u0e31\u0e14\u0e02\u0e2d\u0e07 Option Binding, Cross-node all-reduce \u0e41\u0e25\u0e30 Failure domain \u0e27\u0e48\u0e32\u0e08\u0e30\u0e43\u0e2b\u0e49\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e01\u0e31\u0e1a\u0e2d\u0e30\u0e44\u0e23 \u0e40\u0e0a\u0e48\u0e19 \u0e2b\u0e32\u0e01\u0e21\u0e35\u0e2a\u0e2d\u0e07\u0e2a\u0e16\u0e32\u0e19\u0e35 \u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 Tensor Parallel \u0e08\u0e30\u0e15\u0e49\u0e2d\u0e07\u0e1e\u0e34\u0e08\u0e32\u0e23\u0e13\u0e32 Bandwidth \u0e41\u0e25\u0e30 Memory \u0e02\u0e2d\u0e07\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e14\u0e49\u0e27\u0e22<\/p>\n<p>\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a MoE serving \u0e19\u0e31\u0e49\u0e19\u0e21\u0e35\u0e2d\u0e35\u0e01\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e17\u0e32\u0e07\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e04\u0e37\u0e2d Expert Parallelism \u0e0b\u0e36\u0e48\u0e07 vLLM \u0e08\u0e30\u0e41\u0e1a\u0e48\u0e07 Experts \u0e02\u0e49\u0e32\u0e21 Rank \u0e41\u0e25\u0e30\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48\u0e01\u0e32\u0e23\u0e2a\u0e37\u0e48\u0e2d\u0e2a\u0e32\u0e23\u0e41\u0e1a\u0e1a all-reduce \u0e43\u0e19\u0e41\u0e15\u0e48\u0e25\u0e30\u0e40\u0e25\u0e40\u0e22\u0e2d\u0e23\u0e4c\u0e14\u0e49\u0e27\u0e22 Expert dispatch traffic<\/p>\n<h3>\u0e28\u0e31\u0e1e\u0e17\u0e4c\u0e17\u0e35\u0e48\u0e04\u0e27\u0e23\u0e23\u0e39\u0e49<\/h3>\n<ul>\n<li>vLLM &#8211; \u0e40\u0e1b\u0e47\u0e19\u0e44\u0e25\u0e1a\u0e23\u0e32\u0e23\u0e35\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e20\u0e32\u0e29\u0e32\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48 (LLM) \u0e43\u0e2b\u0e49\u0e17\u0e33\u0e07\u0e32\u0e19\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e Tensor Parallelism &#8211; \u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e01\u0e32\u0e23\u0e41\u0e1a\u0e48\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2d\u0e2d\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e22\u0e48\u0e2d\u0e22\u0e46 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e17\u0e33\u0e07\u0e32\u0e19\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e01\u0e31\u0e19\u0e1a\u0e19\u0e2b\u0e25\u0e32\u0e22 GPU Quantization &#8211; \u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e25\u0e14\u0e04\u0e27\u0e32\u0e21\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33\u0e02\u0e2d\u0e07\u0e19\u0e49\u0e33\u0e2b\u0e19\u0e31\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 (weights) \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e43\u0e0a\u0e49\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e19\u0e49\u0e2d\u0e22\u0e25\u0e07 DGX station &#8211; \u0e04\u0e37\u0e2d\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e39\u0e07\u0e02\u0e2d\u0e07 NVIDIA \u0e17\u0e35\u0e48\u0e1b\u0e23\u0e30\u0e01\u0e2d\u0e1a\u0e14\u0e49\u0e27\u0e22 GPU \u0e41\u0e25\u0e30\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01 MoE serving &#8211; \u0e04\u0e37\u0e2d\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49 Mixture of Experts \u0e0b\u0e36\u0e48\u0e07\u0e21\u0e35\u0e42\u0e21\u0e40\u0e14\u0e25\u0e22\u0e48\u0e2d\u0e22\u0e46 \u0e2b\u0e25\u0e32\u0e22\u0e15\u0e31\u0e27\u0e17\u0e33\u0e07\u0e32\u0e19\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19<\/li>\n<\/ul>\n<p>\u0e17\u0e35\u0e48\u0e21\u0e32: <a href=\"https:\/\/pastagi.com\/engineering\/multi-node-vllm-serving-audit\/\">pastagi.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0e01\u0e32\u0e23\u0e2a\u0e32\u0e18\u0e34\u0e15\u0e02\u0e2d\u0e07 NVIDIA \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a GLM-5.3 \u0e1a\u0e19\u0e2a\u0e2d\u0e07 DGX stations \u0e41\u0e2a\u0e14\u0e07\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e47\u0e19\u0e27\u0e48\u0e32 vLLM \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e17\u0e33\u0e44\u0e14\u0e49\u0e16\u0e36\u0e07 607.8 tok\/s \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e15\u0e31\u0e27\u0e40\u0e25\u0e02\u0e17\u0e35\u0e48\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e08\u0e23\u0e34\u0e07\u2026<\/p>\n","protected":false},"author":1,"featured_media":27943,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[88,39,8746,7036],"class_list":["post-27944","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-machine-learning","tag-llm","tag-nvidia","tag-tensor-parallelism","tag-vllm"],"_links":{"self":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts\/27944","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=27944"}],"version-history":[{"count":0,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/posts\/27944\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=\/wp\/v2\/media\/27943"}],"wp:attachment":[{"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=27944"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=27944"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogdee.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=27944"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}