熱點事件觀察中

vLLM 擴展 EPD 分離架構以支援多模態服務

1 篇報導1 個報導來源3 天前更新

先了解這件事

AI 綜述

vLLM 擴展了用於多模態服務的編碼器／預填充／解碼（EPD）分離架構，新增僅含中繼資料的請求，讓下游執行個體能取用遠端嵌入，而不必重複進行媒體前處理；同時加入專用的編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用，以及透過 vLLM Router、SMG 與 llm-d 進行協調。核心能力（包括 MiMo 與 XPU 支援）隨 vLLM v0.32.0 一同發布；DeepSeek V4.1 Flash 的僅含中繼資料支援已在 main 分支上透過 #62802 提供，而 Router 與 SMG 整合則使用各自的主分支。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中，vLLM 回報：在並行度 64–128 時，EPD 相較於八 GPU 的 PD 基準，每 GPU 輸送量高出 6.6–9.5%，P90 首字延遲降低 44–47%；而在並行度 16 時，每 GPU 輸送量較低。

AI 依報導生成 · 13 小時前更新

最新進展11月11日 08:00

vLLM 為多模態服務新增編碼器解耦，支援 EPD

報導時間線

沿著報導，了解事件的不同側面。

11月11日

08:00
vLLM Blog
vLLM 為多模態服務新增編碼器解耦，支援 EPD
vLLM 擴展了用於多模態服務的編碼器/預填充/解碼（EPD）解耦，新增僅中繼資料請求、專用編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用，以及透過 vLLM Router、SMG 和 llm-d 進行編排。包括 MiMo 和 XPU 支援在內的核心能力隨 vLLM v0.32.0 發布，而針對 DeepSeek V4.1 Flash 的僅中繼資料支援則透過 #62802 在 main 上提供。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中，EPD 在並行度 64–128 時，每 GPU 吞吐量比八 GPU PD 基線高 6.6–9.5%，P90 TTFT 低 44–47%，但在並行度 16 時每 GPU 吞吐量較低。

本事件熱度走勢

還沒有足夠的連續觀測資料，暫不繪製趨勢。