vLLM 團隊發佈分離式服務指南
先了解這件事
vLLM 團隊發佈了一份關於 vLLM v0.31.0 及之後版本中分離式服務的實用指南,將 prefill、decode 與 CPU 端渲染拆分為獨立服務。在兩張 NVIDIA L40S GPU 上以 Qwen2.5-7B-Instruct 和約 8k token 的提示詞進行的測試中,共置部署的 p99 逐 token 延遲在 0.4 req/s 時從 23 ms 升至 169 ms,而 prefill/decode 分離部署則維持在 25 至 52 ms 之間。 該指南警告,緩慢的 KV 快取傳輸會影響每一個首 token:在缺少點對點複製的測試機器上,搬運每個 8k 提示詞約 470 MB 的快取耗時約 1.3 秒。指南涵蓋了每種拆分何時值得使用以及如何執行;tests/ 中的代理被描述為適合開發但不適合生產環境。
AI 依報導生成 · 16 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AIvLLM 指南說明針對 prefill、decode 與 CPU 渲染的分解式服務
vLLM 團隊發布了一份實用指南,說明 vLLM v0.31.0 及後續版本中的分解式服務,將 prefill、decode 與 CPU 端渲染拆分為獨立服務。在兩張 NVIDIA L40S GPU 上,使用 Qwen2.5-7B-Instruct 與約 8k token 的提示,共置部署的 p99 令牌間延遲在 0.4 req/s 時從 23 ms 躍升至 169 ms,而 prefill/decode 配置則維持在 25 至 52 ms 之間。該指南警告,緩慢的 KV 快取傳輸會落在每個首個 token 上,而在沒有點對點複製的測試機上,每個 8k 提示的約 470 MB 快取移動耗時約 1.3 秒。
本事件熱度走勢
- 可比範圍當前
- 6
- 可比範圍峰值
- 1011月19日 12:00
- 近 24 小時變化
- –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。