vLLM bổ sung phân tách encoder cho phục vụ đa phương thức với EPD

vLLM đã mở rộng phân tách Encoder/Prefill/Decode (EPD) cho phục vụ đa phương thức, bổ sung yêu cầu chỉ chứa metadata, một đường thực thi encoder riêng, truyền embedding từ xa qua NIXL và Mooncake, tái sử dụng đầu ra cross-encoder, và điều phối thông qua vLLM Router, SMG và llm-d. Các năng lực cốt lõi bao gồm hỗ trợ MiMo và XPU có trong vLLM v0.32.0, trong khi hỗ trợ chỉ metadata cho DeepSeek V4.1 Flash có sẵn trên main qua #62802. Trong một thử nghiệm DeepSeek V4.1 Flash trên GB200, EPD đạt thông lượng trên mỗi GPU cao hơn 6,6–9,5% và P90 TTFT thấp hơn 44–47% so với baseline PD tám GPU ở mức đồng thời 64–128, nhưng có thông lượng trên mỗi GPU thấp hơn ở mức đồng thời 16.