热点事件观察中

vLLM 扩展 EPD 分离以支持多模态服务

1 篇报道1 个报道来源3 天前更新

先了解这件事

AI 综述

vLLM 扩展了面向多模态服务的编码器/预填充/解码（EPD）分离，新增仅元数据请求，使下游实例无需重复媒体预处理即可消费远程嵌入，并提供专用编码器执行路径、通过 NIXL 和 Mooncake 进行远程嵌入传输、跨编码器输出复用，以及通过 vLLM Router、SMG 和 llm-d 进行编排。核心能力（包括 MiMo 和 XPU 支持）随 vLLM v0.32.0 发布；DeepSeek V4.1 Flash 的仅元数据支持已通过 #62802 在 main 分支提供，Router 和 SMG 集成使用各自的主分支。在 GB200 上的 DeepSeek V4.1 Flash 测试中，vLLM 报告称，在并发 64–128 时，EPD 相比八 GPU 的 PD 基线，每 GPU 吞吐量提高 6.6–9.5%，P90 首 token 时间降低 44–47%；而在并发 16 时，每 GPU 吞吐量较低。

AI 根据报道生成 · 13 小时前更新

最新进展11月11日 08:00

vLLM 为多模态服务新增基于 EPD 的编码器解耦

报道时间线

沿着报道，了解事件的不同侧面。

11月11日

08:00
vLLM Blog
vLLM 为多模态服务新增基于 EPD 的编码器解耦
vLLM 扩展了面向多模态服务的编码器/预填充/解码（EPD）解耦，新增仅元数据请求、专用编码器执行路径、通过 NIXL 和 Mooncake 的远程嵌入传输、跨编码器输出复用，以及通过 vLLM Router、SMG 和 llm-d 进行编排。包括 MiMo 和 XPU 支持在内的核心能力随 vLLM v0.32.0 发布，而对 DeepSeek V4.1 Flash 的仅元数据支持已通过 #62802 在 main 上提供。在 GB200 上对 DeepSeek V4.1 Flash 的测试中，在并发 64–128 时，EPD 相比八 GPU PD 基线实现了每 GPU 吞吐量高 6.6–9.5%、P90 TTFT 低 44–47%，但在并发 16 时每 GPU 吞吐量更低。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。