跳至正文
只看一手#DeepSeek
  1. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash，吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出，在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash，每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s，為 GB300 NVL72 的 58 倍，峰值達 2.52M tokens/s，單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑，以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由，即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由：vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍，為大規模服務優化提供了具體參考。

  1. vLLM Blog77

    REINFORCE Zero：核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練，並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

已經到底了