vLLM 为 Thinking Machines 的 Inkling 2 Small 增加 day-0 支持
先了解这件事
vLLM 为 Thinking Machines 的 Inkling 2 Small 增加了 day-0 推理支持，这是一个多模态文本与视觉混合专家模型，总参数 594B、激活参数 17B，上下文长度最高可达 1M tokens。vLLM 表示该模型可在单节点上部署。 此次集成新增了与 PDL 的内核融合、用于 prefill 的序列并行（vLLM 称在 TP4 下可将 8K token 的 prefill 步骤缩短 22%，TP8 下缩短 26%），以及一个 Gluon 相对注意力 decode 内核，可将 100K 上下文下 batch-1 的 decode 步骤从 15.1 ms 降至 4.8 ms。vLLM 报告称，在 GB200 上以 TP4 运行时可达最高 630 TPS/用户，acceptance length 为 3.5，并表示也支持 LoRA 以及通过 SkyRL 进行强化学习。
AI 根据报道生成 · 16 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- vLLM Blog精选vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持
vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small，这是一个多模态文本与视觉 MoE，总参数 594B、激活参数 17B，上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行（在 TP4 下将 8K token 的 prefill 步骤缩短 22%，TP8 下缩短 26%），以及一个 Gluon 相对注意力解码内核，将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS，接受长度为 3.5，并且还通过 SkyRL 支持 LoRA 和 RL。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。