vLLM 為 Thinking Machines 的 Inkling 2 Small 新增 day-0 支援
先了解這件事
vLLM 為 Thinking Machines 的 Inkling 2 Small 新增 day-0 推論支援，這是一個多模態文字與視覺的混合專家模型，總參數量 594B、啟用參數 17B，上下文長度最高可達 1M token。vLLM 表示該模型可在單一節點上提供服務。 此次整合新增了與 PDL 的 kernel fusion、用於 prefill 的序列平行，vLLM 表示這在 TP4 下可將 8K token 的 prefill 步驟縮短 22%，在 TP8 下縮短 26%；另外還有 Gluon 相對注意力解碼 kernel，可將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上以 TP4 執行時，每使用者可達最高 630 TPS，acceptance length 為 3.5，並表示也支援 LoRA 以及透過 SkyRL 進行的強化學習。
AI 依報導生成 · 16 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- vLLM Blog精選vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援
vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small，這是一個多模態文字與視覺 MoE，總參數 594B、活躍參數 17B，上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行，在 TP4 下將 8K token 的 prefill 步驟縮短 22%，TP8 下縮短 26%，以及一個 Gluon 相對注意力解碼核心，將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS，接受長度 3.5，並且也透過 SkyRL 支援 LoRA 與 RL。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。