vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash，吞吐量达 GB300 NVL72 的 58 倍

vLLM 报告称，在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash，每 GPU 达到 170 万 tokens/s，每用户 387 tokens/s，是 GB300 NVL72 的 58 倍，峰值达 252 万 tokens/s，单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径，以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由，即使在高并发下前缀命中率也保持在 96.5-97%。