vLLM Blog· Inferact, InferMatrix, IBM, and Mooncake·· 3 天前AI 評分58
vLLM 為多模態服務新增編碼器解耦，支援 EPD
Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
AI 導讀
vLLM 擴展了用於多模態服務的編碼器/預填充/解碼（EPD）解耦，新增僅中繼資料請求、專用編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用，以及透過 vLLM Router、SMG 和 llm-d 進行編排。包括 MiMo 和 XPU 支援在內的核心能力隨 vLLM v0.32.0 發布，而針對 DeepSeek V4.1 Flash 的僅中繼資料支援則透過 #62802 在 main 上提供。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中，EPD 在並行度 64–128 時，每 GPU 吞吐量比八 GPU PD 基線高 6.6–9.5%，P90 TTFT 低 44–47%，但在並行度 16 時每 GPU 吞吐量較低。
來源:vLLM Blog · vllm.ai