跳到正文
热点事件持续更新

vLLM 团队发布分离式服务指南

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

vLLM 团队发布了关于 vLLM v0.31.0 及更高版本中分离式服务的实用指南,将 prefill、decode 和 CPU 侧渲染拆分为独立服务。在配备两块 NVIDIA L40S GPU、使用 Qwen2.5-7B-Instruct 和约 8k token 提示词的测试中,在 0.4 req/s 下,同机部署的 p99 token 间延迟从 23 ms 升至 169 ms,而 prefill/decode 分离部署则保持在 25 至 52 ms 之间。 该指南警告称,缓慢的 KV 缓存传输会影响每一个首 token:在缺少点对点拷贝的测试机上,传输每个 8k 提示词约 470 MB 的缓存耗时约 1.3 秒。指南涵盖了每种拆分方式何时值得使用以及如何运行;tests/ 中的代理被描述为适合开发但不适合生产。

AI 根据报道生成 · 16 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hacker News · AI
    vLLM 指南详解面向 prefill、decode 与 CPU 渲染的分离式服务

    vLLM 团队发布了一份关于 vLLM v0.31.0 及更高版本中分离式服务的实用指南,将 prefill、decode 和 CPU 侧渲染拆分为独立服务。在两块 NVIDIA L40S GPU 上,使用 Qwen2.5-7B-Instruct 和约 8k token 的提示词,在 0.4 req/s 时,同置部署的 p99 令牌间延迟从 23 ms 跃升至 169 ms,而 prefill/decode 分离方案则保持在 25 至 52 ms 之间。该指南警告称,缓慢的 KV 缓存传输会落在每个首令牌上,在没有点对点拷贝的测试机上,每个 8k 提示词约 470 MB 的缓存传输耗时约 1.3 秒。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月19日 12:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。