vLLM 為 AMD GPU 新增可選用的 FlyDSL MonoKernel 解碼路徑
先了解這件事
vLLM 已合併一條可選用的「mono decode」路徑,透過 --monokernel 旗標啟用,在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 將多個相依的算子階段融合為單一持久 GPU 核心啟動。這些核心在各階段間重用執行緒區塊、預取權重,並透過帶標籤的信箱傳遞資料。在 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 與 Muse Spark 已合併的 PR 中,vLLM 回報在併發度為 1 時,每輸出 token 時間有 1.20 倍至 2.26 倍的增益,而這正是互動式代理所重視的設定;增益隨併發度上升而縮小,且每個步驟都受寬度限制。 Mono decode 為可選用功能:使用者在支援的配方中加入 --monokernel,若部署不受支援,vLLM 會拒絕啟動並列出所有原因。GLM-5.x、Qwen3.8 與 MiniMax-M3.1 的移植仍在審查中。在沒有規模化 FP4/FP8 MFMA 的情況下,這些核心會保留自己的一份權重副本,對 DeepSeek-V4.1-Flash 在 TP4 下而言,這意味著每個 rank 為 170 GiB,而非 99 GiB。vLLM 回報了各配置在 mono 開啟與關閉時的準確度。
AI 依報導生成 · 29 分鐘前更新
報導時間線
沿著報導,了解事件的不同側面。
- vLLM BlogvLLM 在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 降低互動式代理的解碼延遲
vLLM 已合併一條可選用的單核心解碼路徑,透過 --monokernel 啟用,在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 將多個相互依賴的算子階段合併為單一持久化 GPU 核心啟動。此方法在各階段間重複使用執行緒區塊、預取權重,並透過帶標籤的信箱傳遞資料,在 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 與 Muse Spark 的已合併 PR 中,將並發數為 1 時的互動性或每輸出 token 時間提升 1.20 倍至 2.26 倍。並發數較高時增益縮小,各步驟受寬度限制,且每種配置均報告了開啟與關閉單核心時的準確率。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。