Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

Thinking Machines 发布了 Inkling，这是一个通用多模态模型，可接收文本、图像和音频输入并输出文本，Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer，总参数 975B，激活参数 41B，上下文窗口 1M token，原生支持音频和视觉，每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中，Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token，在同等吞吐下交互速度比模型内置的推测路径快 67%。