跳至正文
Hacker News · AI·· 16 小時前AI 評分60

vLLM 指南說明針對 prefill、decode 與 CPU 渲染的分解式服務

Taking vLLM Apart: A Practical Guide to Disaggregated Serving

AI 導讀

vLLM 團隊發布了一份實用指南,說明 vLLM v0.31.0 及後續版本中的分解式服務,將 prefill、decode 與 CPU 端渲染拆分為獨立服務。在兩張 NVIDIA L40S GPU 上,使用 Qwen2.5-7B-Instruct 與約 8k token 的提示,共置部署的 p99 令牌間延遲在 0.4 req/s 時從 23 ms 躍升至 169 ms,而 prefill/decode 配置則維持在 25 至 52 ms 之間。該指南警告,緩慢的 KV 快取傳輸會落在每個首個 token 上,而在沒有點對點複製的測試機上,每個 8k 提示的約 470 MB 快取移動耗時約 1.3 秒。

來源:Hacker News · AI · vllm.ai