跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

22 条精选近 30 天 16 条共收录 90 条

11月16日 12:11更新

多模态 · 精选 · 第 2 页

7月15日周三第 21–22 条 / 共 22 条
  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

6月1日周一
  1. MiniMax Blog87

    MiniMax M3 发布,具备 100 万上下文、前沿编程能力与原生多模态

    MiniMax 发布了 M3,这是一款开放权重模型,据称是首个将前沿编程与智能体性能、100 万 token 上下文窗口以及原生图像和视频输入结合在一起的模型。M3 采用 MiniMax 新的 MSA 稀疏注意力架构,公司报告称该架构将 100 万上下文下的每 token 计算量降至上一代的 1/20,并将预填充速度提升 9 倍以上、解码速度提升 15 倍以上。它在 SWE-Bench Pro 上得分 59.0%,在 Terminal-Bench 2.1 上得分 66.0%,在 MCP Atlas 上得分 74.2%,可通过 MiniMax Code、Token Plan 和 API 使用,权重和技术报告承诺在 10 天内发布。

    推荐理由:MiniMax M3 将 100 万 token 上下文、前沿编程与智能体得分以及原生图像和视频输入结合在一个开放权重模型中,MSA 降低了长上下文下的每 token 计算量。