Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

Thinking Machines 發布了 Inkling，這是一個通用多模態模型，可接收文字、圖像和音訊輸入並輸出文字，而 Modal 從第一天起就以基於 token 的定價，透過受管端點（Managed Endpoint）提供該模型。Inkling 是一個混合專家（MoE）Transformer，總參數 975B，活躍參數 41B，上下文視窗 1M token，原生支援音訊與視覺，每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上，Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時，達到每位使用者每秒 250 個 token，在相同吞吐量下，互動速度比模型內建的推測路徑快 67%。