Hacker News · AI·· 16 小时前AI 评分60
vLLM 指南详解面向 prefill、decode 与 CPU 渲染的分离式服务
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
AI 导读
vLLM 团队发布了一份关于 vLLM v0.31.0 及更高版本中分离式服务的实用指南,将 prefill、decode 和 CPU 侧渲染拆分为独立服务。在两块 NVIDIA L40S GPU 上,使用 Qwen2.5-7B-Instruct 和约 8k token 的提示词,在 0.4 req/s 时,同置部署的 p99 令牌间延迟从 23 ms 跃升至 169 ms,而 prefill/decode 分离方案则保持在 25 至 52 ms 之间。该指南警告称,缓慢的 KV 缓存传输会落在每个首令牌上,在没有点对点拷贝的测试机上,每个 8k 提示词约 470 MB 的缓存传输耗时约 1.3 秒。
来源:Hacker News · AI · vllm.ai