vLLM 为 AMD GPU 新增可选的 FlyDSL MonoKernel 解码路径
先了解这件事
vLLM 已合并一条可选的“mono decode”路径,通过 --monokernel 标志启用,在 AMD Instinct GPU 上使用 FlyDSL MonoKernel 将多个相互依赖的算子阶段融合为单次持久化 GPU 内核启动。这些内核在各阶段之间复用线程块,预取权重,并通过带标签的邮箱传递数据。在针对 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 和 Muse Spark 的已合并 PR 中,vLLM 报告在并发度为 1 时每输出 token 耗时获得 1.20 倍至 2.26 倍的提升,而并发度为 1 正是交互式智能体所关注的场景;随着并发度上升,提升幅度会缩小,且每一步都受宽度限制。 Mono decode 为可选功能:用户在受支持的配方中加入 --monokernel,如果部署不受支持,vLLM 会拒绝启动并列出所有原因。GLM-5.x、Qwen3.8 和 MiniMax-M3.1 的移植仍在评审中。在没有缩放 FP4/FP8 MFMA 的情况下,这些内核会保留自己的一份权重副本,对于 TP4 下的 DeepSeek-V4.1-Flash,这意味着每个 rank 需要 170 GiB 而非 99 GiB。vLLM 报告了每种配置下开启和关闭 mono 时的准确率。
AI 根据报道生成 · 29 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- vLLM BlogvLLM 在 AMD Instinct GPU 上使用 FlyDSL MonoKernels 降低交互式智能体的解码延迟
vLLM 已合并一条可选的单内核解码路径,通过 --monokernel 启用;该路径使用 FlyDSL MonoKernels,在 AMD Instinct GPU 上将多个相互依赖的算子阶段合并为一次持久化 GPU 内核启动。该方法跨阶段复用线程块,预取权重,并通过带标签的邮箱传递数据,在 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 和 Muse Spark 的已合并 PR 中,将并发数为 1 时的交互性或每输出 token 时间提升了 1.20 倍至 2.26 倍。并发数更高时增益会缩小,各步骤受宽度限制,并且每种配置都报告了开启和关闭单内核时的准确率。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。