vLLM Blog· Inferact and Thinking Machines·· 2 天前精选AI 评分60
vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持
Inkling 2 Small on vLLM: Day-0 Support
AI 导读
vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small，这是一个多模态文本与视觉 MoE，总参数 594B、激活参数 17B，上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行（在 TP4 下将 8K token 的 prefill 步骤缩短 22%，TP8 下缩短 26%），以及一个 Gluon 相对注意力解码内核，将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS，接受长度为 3.5，并且还通过 SkyRL 支持 LoRA 和 RL。
推荐理由
vLLM 在发布当天即支持 Inkling 2 Small，并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据，可供部署大 MoE 模型的团队参考。
来源:vLLM Blog · vllm.ai