跳到正文
vLLM Blog· Felix Li, Lingpeng Jin, Hattie Wu, Carlus Huang, Fangzhou Ai, Zaidy Ali, Amanzhol Salykov, Hyukjoon Lee, Ziming Huang, Jun Chen, Yifeng Huang, Bin Ding, Xiaobing Zhang, Yi Gan, Vinayak Gokhale, Hongxia Yang, Doug Lehr, Richard Li, Andy Luo, Peng Sun, and Emad Barsoum·· 15 小时前AI 评分58

vLLM 在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 降低交互式智能体的解码延迟

Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM

AI 导读

vLLM 已合并一条可选的单内核解码路径,通过 --monokernel 启用;该路径使用 FlyDSL MonoKernels,在 AMD Instinct GPU 上将多个相互依赖的算子阶段合并为一次持久化 GPU 内核启动。该方法跨阶段复用线程块,预取权重,并通过带标签的邮箱传递数据,在 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 和 Muse Spark 的已合并 PR 中,将并发数为 1 时的交互性或每输出 token 时间提升了 1.20 倍至 2.26 倍。并发数更高时增益会缩小,各步骤受宽度限制,并且每种配置都报告了开启和关闭单内核时的准确率。

来源:vLLM Blog · vllm.ai