vLLM 在 Vera Rubin NVL72 上运行 DeepSeek-V4.1-Flash，吞吐量达到 GB300 的 58 倍
热点事件观察中
vLLM 在 Vera Rubin NVL72 上运行 DeepSeek-V4.1-Flash，吞吐量达到 GB300 的 58 倍
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
vLLM 报告称，它在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash，每 GPU 达到 170 万 tokens/s，每用户达到 387 tokens/s，并称这是 GB300 NVL72 吞吐量的 58 倍。峰值数据为整机架 252 万 tokens/s，单用户 1,810 tokens/s。 据 vLLM 称，这些提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专门的 TP8 解码路径，以及通过 NVLink 共享的整机架 KV 和 Engram 池。借助跨机架的前缀池和 Dynamo 的工作负载感知路由，vLLM 表示即使在高并发下，前缀命中率也能保持在 96.5–97%。
AI 根据报道生成 · 14 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- vLLM Blog精选vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash，吞吐量达 GB300 NVL72 的 58 倍
vLLM 报告称，在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash，每 GPU 达到 170 万 tokens/s，每用户 387 tokens/s，是 GB300 NVL72 的 58 倍，峰值达 252 万 tokens/s，单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径，以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由，即使在高并发下前缀命中率也保持在 96.5-97%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。