vLLM Blog· Felix Li, Lingpeng Jin, Hattie Wu, Carlus Huang, Fangzhou Ai, Zaidy Ali, Amanzhol Salykov, Hyukjoon Lee, Ziming Huang, Jun Chen, Yifeng Huang, Bin Ding, Xiaobing Zhang, Yi Gan, Vinayak Gokhale, Hongxia Yang, Doug Lehr, Richard Li, Andy Luo, Peng Sun, and Emad Barsoum·· 15 小時前AI 評分58
vLLM 在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 降低互動式代理的解碼延遲
Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM
AI 導讀
vLLM 已合併一條可選用的單核心解碼路徑,透過 --monokernel 啟用,在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 將多個相互依賴的算子階段合併為單一持久化 GPU 核心啟動。此方法在各階段間重複使用執行緒區塊、預取權重,並透過帶標籤的信箱傳遞資料,在 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 與 Muse Spark 的已合併 PR 中,將並發數為 1 時的互動性或每輸出 token 時間提升 1.20 倍至 2.26 倍。並發數較高時增益縮小,各步驟受寬度限制,且每種配置均報告了開啟與關閉單核心時的準確率。
來源:vLLM Blog · vllm.ai