vLLM Blog· Inferact, InferMatrix, IBM, and Mooncake·· 3 天前AI 评分58
vLLM 为多模态服务新增基于 EPD 的编码器解耦
Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
AI 导读
vLLM 扩展了面向多模态服务的编码器/预填充/解码（EPD）解耦，新增仅元数据请求、专用编码器执行路径、通过 NIXL 和 Mooncake 的远程嵌入传输、跨编码器输出复用，以及通过 vLLM Router、SMG 和 llm-d 进行编排。包括 MiMo 和 XPU 支持在内的核心能力随 vLLM v0.32.0 发布，而对 DeepSeek V4.1 Flash 的仅元数据支持已通过 #62802 在 main 上提供。在 GB200 上对 DeepSeek V4.1 Flash 的测试中，在并发 64–128 时，EPD 相比八 GPU PD 基线实现了每 GPU 吞吐量高 6.6–9.5%、P90 TTFT 低 44–47%，但在并发 16 时每 GPU 吞吐量更低。
来源:vLLM Blog · vllm.ai