Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线
Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。
推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。