vLLM Blog· Inferact and Thinking Machines·· 2 天前精選AI 評分60
vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援
Inkling 2 Small on vLLM: Day-0 Support
AI 導讀
vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small，這是一個多模態文字與視覺 MoE，總參數 594B、活躍參數 17B，上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行，在 TP4 下將 8K token 的 prefill 步驟縮短 22%，TP8 下縮短 26%，以及一個 Gluon 相對注意力解碼核心，將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS，接受長度 3.5，並且也透過 SkyRL 支援 LoRA 與 RL。
推薦理由
vLLM 在發布當天即支援 Inkling 2 Small，並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據，可供部署大型 MoE 模型的團隊參考。
來源:vLLM Blog · vllm.ai