vLLM 在 Vera Rubin NVL72 上運行 DeepSeek-V4.1-Flash，吞吐量達 GB300 的 58 倍
熱點事件觀察中
vLLM 在 Vera Rubin NVL72 上運行 DeepSeek-V4.1-Flash，吞吐量達 GB300 的 58 倍
1 篇報導1 個報導來源2 天前更新
先了解這件事
AI 綜述
vLLM 報告稱，其在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash，每 GPU 達 170 萬 tokens/s、每位使用者達 387 tokens/s，並稱這是 GB300 NVL72 吞吐量的 58 倍。峰值數據為整機架 252 萬 tokens/s、單一使用者 1,810 tokens/s。 根據 vLLM 的說法，這些提升來自為 Rubin 的分離式記憶體域與 FP4 張量核心重建的 kernel、專門的 TP8 解碼路徑，以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過在整機架層級匯集前綴並搭配 Dynamo 的工作負載感知路由，vLLM 表示即使在高併發下，前綴命中率仍維持在 96.5–97%。
AI 依報導生成 · 14 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
11月12日
- vLLM Blog精選vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash，吞吐量達 GB300 NVL72 的 58 倍
vLLM 報告指出，在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash，每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s，為 GB300 NVL72 的 58 倍，峰值達 2.52M tokens/s，單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑，以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由，即使在高併發下前綴命中率仍維持在 96.5-97%。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。