vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash，吞吐量達 GB300 NVL72 的 58 倍

vLLM 報告指出，在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash，每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s，為 GB300 NVL72 的 58 倍，峰值達 2.52M tokens/s，單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑，以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由，即使在高併發下前綴命中率仍維持在 96.5-97%。