跳到正文

技术方向

多模态 最新动态

文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

17 条精选近 30 天 12 条共收录 70 条

11月13日 02:52更新

多模态

今天11月13日周五第 1–17 条 / 共 17 条
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Hydrogen，一款面向编程和智能体工作流的更快的 Gemini 4 模型

    Google DeepMind 推出了 Gemini 4 Hydrogen，这是一款 Gemini 4 模型，专为快速的日常编程和智能体执行而构建，而非 Gemini 4 Carbon 和 Argon 那种长程推理。在其默认的高思考级别下，它在 Artificial Analysis Intelligence Index 上得分为 51，而 Argon 为 50；在新的 xhigh 设置下达到 54；其定价在其 100 万 token 上下文窗口内统一为每百万输入 token 1.50 美元和每百万输出 token 7.50 美元。Google 还在 Google Antigravity 中推出了 Orchestrator，它可以在会话内在 Carbon 和 Hydrogen 等模型之间切换，并在 Terminal-Bench 4.0 上达到接近 Carbon 的任务成功率，同时使用的配额减少 24%，完成速度快 19%。

    推荐理由：Google 的 Gemini 4 Hydrogen 面向快速的日常编程和智能体工作，在 100 万上下文窗口内统一为每百万 token 1.50/7.50 美元的定价，并推出了可在 Gemini 4 模型之间切换的新 Orchestrator。

11月12日周四
  1. vLLM Blog60

    vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持

    vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small，这是一个多模态文本与视觉 MoE，总参数 594B、激活参数 17B，上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行（在 TP4 下将 8K token 的 prefill 步骤缩短 22%，TP8 下缩短 26%），以及一个 Gluon 相对注意力解码内核，将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS，接受长度为 3.5，并且还通过 SkyRL 支持 LoRA 和 RL。

    推荐理由：vLLM 在发布当天即支持 Inkling 2 Small，并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据，可供部署大 MoE 模型的团队参考。

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上对 MiniMax H3-Image 进行基准测试：0.87 秒生成 4K 图像，每小时 6,115 张

    vLLM-Omni 将 MiniMax H3-Image 引入 NVIDIA Vera Rubin，在四块 GPU 上测得原生 4096×4096 文本到图像的中位延迟为 0.87 秒，并在另一吞吐配置下达到每小时 6,115 张图像。H3-Image 是一个开放权重的文本到图像与编辑模型，将 Qwen3-VL 编码器与 33.1B 稠密 DiT 及图像 VAE 相结合，在六步采样内处理两项任务，最多支持 16 张参考图像。团队报告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 缓存以及一项将解码时间从 2.635 秒缩短至 0.213 秒的 VAE 解码改动，并列出了面向 AMD、Intel、华为昇腾和摩尔线程硬件的配置方案。

    推荐理由：vLLM-Omni 的基准测试显示 MiniMax H3-Image 在 Vera Rubin 上以亚秒级 4K 延迟运行，并提供了各硬件配置及服务经济性成本模型。

  3. Google Blog · AI78

    Google 发布 Gemini Decisions API 和 Gemini Decision 1 模型，用于快速闭集决策

    Google 推出了 Gemini Decisions API，由新的 Gemini Decision 1 模型（gemini-decision-1）驱动，可通过 Google AI Studio 中的 Gemini API 使用。单次多模态输入最多 256K token，可在一次前向传递中对照最多 1,000 个是/否、多项选择和评分标准打分问题进行检查，返回概率和置信度分数，端到端延迟为 150-250 毫秒，每 100 万输入 token 收费 0.10 美元，不收取输出 token 费用。Google 表示，该模型在其基准测试套件中领先，校准误差最低，并且比使用 Interactions API 的 Gemini 3.5 Flash-Lite 便宜近 5 倍；内部用途包括 Gemini Notebook 中的模型路由、Stitch 中的线框图生成，以及 Search 中 MCP 工具的对抗性内容检查。

    推荐理由：Google 的新端点可在一次传递中以 150-250 毫秒对最多 1,000 个多模态是/否、选择和评分标准问题进行评分，为智能体路由和政策检查提供了比生成式调用更便宜的替代方案。

11月10日周二
  1. OpenRouter Announcements72

    OpenRouter 对 15 个视觉模型和 Mistral OCR 在扫描文档上进行基准测试

    OpenRouter 在八份自制的退化扫描件上测试了 15 个视觉模型、Mistral OCR 和 Tesseract，Claude Opus 5.5 最准确，264 个关键值中答对 262 个，每 1,000 页成本 16.42 美元；Mistral OCR 性价比最高，264 个中答对 258 个，成本 2.02 美元。在一张褪色收据上，GPT-6 Luna 和 GPT-6.1 Sol 编造了卡号数字、一个服务器名称和 wifi 密码，这些错误是字符错误率无法揭示的。文章附有代码，可转录扫描件、关闭推理、交叉核对来自不同实验室的两个模型，并通过 file-parser 插件运行 Mistral OCR。

    推荐理由：对 15 个视觉模型以及 Mistral OCR 和 Tesseract 在八份退化扫描件上的实测基准，附可运行代码，用于交叉核对两个模型以捕捉编造的数值。

  2. Claude YouTube78

    Anthropic 发布 Claude Fable 5.2，面向高难度技术工作

    Anthropic 发布了 Claude Fable 5.2，这是一款为最艰巨的技术挑战和雄心勃勃的开放式项目而设计的模型，在编码、推理和视觉方面均有提升。公司建议大多数编码和知识任务从 Opus 5.5 开始使用；Fable 5.2 即日起在 Pro、Max、Team 和 Enterprise 套餐中提供。

    推荐理由：Claude Fable 5.2 面向雄心勃勃的开放式技术工作，据称在编码、推理和视觉方面有所提升，而 Opus 5.5 仍是大多数编码和知识任务的推荐默认选择。

11月9日周一
  1. Meta AI Research Blog78

    Meta 发布 Muse Ember，其最小、最高效的智能体任务模型

    Meta 发布了 Muse Ember，这是其最小、最高效的模型，面向智能体全天执行的重复性工作，例如工具调用、编码子任务、路由、抽取和长文档解析。Meta 称其在约三分之一成本下达到 Claude Haiku 5.5 的最佳分数，并击败 GPT-6 Luna 的所有配置，价格为每百万输入 token 0.10 美元、每百万输出 token 0.50 美元。该模型配备 100 万 token 上下文窗口、最高 51.2 万输出 token，原生支持文本、图像、音频和视频输入，即日起在 Muse Code 和 Meta Model API 上以 muse-ember-1.0 提供。

    推荐理由：Meta 最小的模型瞄准高吞吐的智能体步骤，其与 Claude Haiku 5.5 和 GPT-6 Luna 的每任务成本对比说明了效率主张的来源。

11月6日周五
  1. Meta Newsroom · AI62

    Meta 在 Muse 应用中推出实时语音和表情虚拟形象

    Meta 正在美国率先于移动端、网页端和 Mac 端的 Muse 应用中推出实时语音对话和表情虚拟形象。用户点击电话图标即可通话，可以打断回复，并可从数百种声音以及纯语音、虚拟形象或全屏模式中进行选择。语音功能即将登陆 AI Glasses 和 Muse Charm。

    推荐理由：Meta 的 Muse 应用现已支持带表情虚拟形象的实时语音对话，显示出语音和打断处理正进入消费级 AI 助手。

  2. Google DeepMind78

    Google DeepMind 发布 Gemini Omni 1.2 Flash，支持 15 秒片段，价格降低 30%

    Google DeepMind 推出 Gemini Omni 1.2 Flash，现已在 Gemini API 和 Gemini for business 中全面可用，支持原生 15 秒视频生成、多轮对话式编辑和更强的参考遵循能力。价格较 Gemini Omni 1.1 下降 30%，720p 视频为每秒 0.07 美元，用户可先以 360p 或 720p 草稿生成，再升级至 1080p 或 4K。片段时长可在 3 至 15 秒之间以一秒为增量设置，输出内容带有不可感知的 SynthID 水印。

    推荐理由：Gemini Omni 1.2 Flash 将原生片段时长提升至 15 秒，并将 720p 视频价格降低 30% 至每秒 0.07 美元，多轮对话式编辑现已全面可用。

  3. Google Blog · AI80

    Google 发布 Gemini Omni 1.2 Flash，支持 15 秒片段并降价 30%

    Google DeepMind 推出 Gemini Omni 1.2 Flash，并在 Gemini API 和 Gemini for business 中全面开放。该模型可生成和编辑最长 15 秒的原生片段（Omni 1.1 为 10 秒），支持多轮对话式编辑，并能更一致地保持角色、产品和风格参考；720p 视频现价为每秒 0.07 美元，比 Omni 1.1 低 30%。输出内容带有 SynthID 水印，该模型正在 Flow、Google Vids、Gemini 应用和 Google Ads 中逐步推出。

    推荐理由：Gemini Omni 1.2 Flash 将 720p 视频价格降低 30% 至每秒 0.07 美元，同时将原生片段延长至 15 秒，为大规模制作视频的团队提供了一个可与先前版本比较的更便宜选择。

11月5日周四
  1. Preferred Networks News71

    PFN发布面向边缘设备的开放权重翻译大模型PLaMo 3 Translate

    Preferred Networks于11月5日在Hugging Face上以开放权重模型形式发布了PLaMo 3 Translate，这是其PLaMo Translation服务中使用的翻译专用大语言模型。该模型提供0.8B、2B、8B和31B四种规模，支持包括日语和英语在内的53种语言，可在智能手机、笔记本电脑和内部服务器上运行，无需连接云端。

    推荐理由：PFN发布了四种规模（从0.8B到31B）的翻译专用大语言模型，使企业和个人无需云端访问即可在设备端运行53种语言的翻译。

10月15日周四
  1. Meta AI Research Blog88

    Meta 发布 Muse Spark Open：一个 816B 开放权重多模态模型，可在两台 Mac Studio 上运行

    Meta 发布了 Muse Spark Open 的权重，这是一个开放权重的原生多模态模型，总参数 816B（激活参数 42B），上下文窗口为 1M token，定位面向编程和智能体任务。它是同类模型中首个借助 MLX 框架、在两台 Apple M5 Ultra Mac Studio 上于桌面端运行的模型，并可通过 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 等 API 合作伙伴获取，权重已在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 和 Microsoft Foundry Models 上提供。Meta 表示，该模型在 SGLang 中附带可自动调优的 Helion GPU 内核，在 NVIDIA 和 AMD GPU 上实现 1.03-3.95 倍的内核级加速，在 AMD MI350 上实现 3% 的端到端加速。

    推荐理由：Meta 发布了一个 816B 参数多模态模型的开放权重，该模型可在两台 Mac Studio 上运行，为开发者提供了一个用于长程编程和智能体任务的本地选项。

10月6日周二
  1. Mistral AI82

    Mistral 发布 Mistral Large 4 预览版：1T 参数多模态模型，权重将于本月发布

    Mistral 已推出 Mistral Large 4 的公开预览版，这是一个 1 万亿参数的原生多模态模型，拥有 520 亿活跃参数，现可通过 Mistral Studio API 使用。Mistral 表示，该模型可与最强的开源模型竞争，并优于美国和欧洲的其他开放权重模型，在 Artificial Analysis Cyber Index 漏洞复现与修补测试中得分 82%，在其综合 Coding Agent Index 中得分 49.8%。权重将于本月底发布，此前已与网络安全合作伙伴和主管部门进行红队测试；Mistral 表示，该模型是在其自有欧洲数据中心内的 3,800 块 NVIDIA Grace Blackwell GPU 上从零开始训练的。

    推荐理由：Mistral 迄今最大的模型声称在网络安全和智能体编程方面拥有开放权重领先地位，并承诺月底发布权重。

8月13日周四
  1. MiniMax Blog71

    MiniMax 发布 Music 3.0，一款可生成最长五分钟完整歌曲的开放权重音乐生成模型

    MiniMax 推出了 Music 3.0，这是一款开放权重音乐生成模型，能够根据创意概念和可选歌词，在单次生成中作曲、编曲并制作出最长五分钟的完整歌曲。该流程将一个基于 Qwen3.5-8B 初始化的 8B Global LLM 与一个 0.6B Local LLM 配对，融合二者连续的隐藏状态来为 2.4B 流匹配模块和 123M Flow-VAE 提供条件，并使用八层 RVQ 以及随时间描述情感、配器和演唱方式的结构化字幕（Structured Captions）。MiniMax 表示，这能更准确地理解创作意图，编曲更丰满，人声更清晰、更自然。

    推荐理由：MiniMax 的架构拆解展示了 8B 全局 LLM 如何与 0.6B 局部模型及流匹配技术栈配合，以解决长歌曲的连贯性问题。

7月31日周五
  1. MiniMax Blog82

    MiniMax 发布 H3：一款原生立体声 2K 通用多模态生成模型

    MiniMax 发布了 H3，这是一款通用多模态生成模型，可将文本、图像、视频和音频理解为统一上下文，并生成最高 15 秒、2K 分辨率且带原生立体声的视频。该公司称，2K 输出的每秒成本不到主流模型的三分之一，并计划在符合适用法律法规的前提下于未来几天开放模型权重。H3 基于 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 和 In-Context Regeneration 构建，MiniMax 表示完整技术报告即将发布。

    推荐理由：MiniMax 的 H3 将文本、图像、视频和音频生成统一在一个模型中，并声称 2K 定价低于主流模型的三分之一，同时承诺很快开放权重。

7月15日周三
  1. Modal Blog60

    Thinking Machines 的多模态模型 Inkling 现已在 Modal 上线

    Thinking Machines 发布了 Inkling，这是一个通用多模态模型，可接收文本、图像和音频输入并输出文本，Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer，总参数 975B，激活参数 41B，上下文窗口 1M token，原生支持音频和视觉，每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中，Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token，在同等吞吐下交互速度比模型内置的推测路径快 67%。

    推荐理由：Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明，定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。

6月1日周一
  1. MiniMax Blog87

    MiniMax M3 发布，具备 100 万上下文、前沿编程能力与原生多模态

    MiniMax 发布了 M3，这是一款开放权重模型，据称是首个将前沿编程与智能体性能、100 万 token 上下文窗口以及原生图像和视频输入结合在一起的模型。M3 采用 MiniMax 新的 MSA 稀疏注意力架构，公司报告称该架构将 100 万上下文下的每 token 计算量降至上一代的 1/20，并将预填充速度提升 9 倍以上、解码速度提升 15 倍以上。它在 SWE-Bench Pro 上得分 59.0%，在 Terminal-Bench 2.1 上得分 66.0%，在 MCP Atlas 上得分 74.2%，可通过 MiniMax Code、Token Plan 和 API 使用，权重和技术报告承诺在 10 天内发布。

    推荐理由：MiniMax M3 将 100 万 token 上下文、前沿编程与智能体得分以及原生图像和视频输入结合在一个开放权重模型中，MSA 降低了长上下文下的每 token 计算量。