跳至正文

技術方向

多模態 最新動態

文字之外的能力：看懂圖片、圖文混合理解、音影片輸入輸出的模型與產品進展。

17 條精選近 30 天 12 條共收錄 70 條

11月13日 02:52更新

多模態

今天11月13日星期五第 1–17 條 / 共 17 條
  1. Google DeepMind90

    Google DeepMind 發布 Gemini 4 Hydrogen，一款更快的 Gemini 4 模型，專為程式編寫與代理式工作流程打造

    Google DeepMind 推出 Gemini 4 Hydrogen，這是一款 Gemini 4 模型，專為快速的日常程式編寫與代理式執行而打造，而非像 Gemini 4 Carbon 與 Argon 那樣著重於長程推理。它在預設的高思考等級下，於 Artificial Analysis Intelligence Index 上得分 51，而 Argon 為 50；在全新的 xhigh 設定下達到 54；其定價在其 100 萬 token 上下文視窗內一律為每百萬輸入 token 1.50 美元、每百萬輸出 token 7.50 美元。Google 亦在 Google Antigravity 中推出 Orchestrator，可在同一工作階段內於 Carbon 與 Hydrogen 等模型之間切換，並在 Terminal-Bench 4.0 上達到接近 Carbon 的任務成功率，同時少用 24% 配額、完成速度快 19%。

    推薦理由：Google 的 Gemini 4 Hydrogen 鎖定快速的日常程式編寫與代理式工作，在 100 萬上下文視窗內一律採每百萬 token 1.50/7.50 美元的定價，並搭配可在 Gemini 4 模型之間切換的全新 Orchestrator。

11月12日星期四
  1. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small，這是一個多模態文字與視覺 MoE，總參數 594B、活躍參數 17B，上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行，在 TP4 下將 8K token 的 prefill 步驟縮短 22%，TP8 下縮短 26%，以及一個 Gluon 相對注意力解碼核心，將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS，接受長度 3.5，並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由：vLLM 在發布當天即支援 Inkling 2 Small，並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據，可供部署大型 MoE 模型的團隊參考。

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試：0.87 秒生成 4K 影像，每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin，並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒，另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型，結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE，以六個取樣步驟處理這兩項任務，並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取，以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更，並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由：vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行，並附有各硬體配置與服務經濟性的成本模型。

  3. Google Blog · AI78

    Google 推出 Gemini Decisions API 與 Gemini Decision 1 模型，用於快速封閉集決策

    Google 推出 Gemini Decisions API，由全新的 Gemini Decision 1 模型（gemini-decision-1）驅動，並可透過 Google AI Studio 中的 Gemini API 使用。單次多模態輸入最高可達 256K token，能在一次前向傳遞中對最多 1,000 道是非題、選擇題與評分規準評分題進行檢查，回傳機率與信心分數，端到端延遲為 150-250 毫秒，每 1M 輸入 token 收費 $0.10，且不收取輸出 token 費用。Google 表示，該模型在其基準測試套件中領先，校準誤差最低，且搭配 Interactions API 時比 Gemini 3.5 Flash-Lite 便宜近 5 倍；內部用途包括 Gemini Notebook 中的模型路由、Stitch 中的線框圖生成，以及 Search 中針對 MCP 工具的對抗性內容檢查。

    推薦理由：Google 的新端點能在一次傳遞中以 150-250 毫秒對最多 1,000 道多模態是非題、選擇題與評分規準題進行評分，為代理路由與政策檢查提供了比生成式呼叫更便宜的替代方案。

11月10日星期二
  1. OpenRouter Announcements72

    OpenRouter 對 15 個視覺模型與 Mistral OCR 進行掃描文件基準測試

    OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract，Claude Opus 5.5 最準確，264 個關鍵值中答對 262 個，每 1,000 頁成本 $16.42，而 Mistral OCR 性價比最佳，264 個中答對 258 個，成本 $2.02。在一張褪色收據上，GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼，這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型，以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。

    推薦理由：對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試，並附上可執行的程式碼，可交叉核對兩個模型以揪出捏造的值。

  2. Claude YouTube78

    Anthropic 發布 Claude Fable 5.2，鎖定高難度技術工作

    Anthropic 發布 Claude Fable 5.2，這是一款為最艱鉅的技術挑戰與雄心勃勃的開放式專案所設計的模型，在程式編寫、推理與視覺方面均有改進。該公司建議大多數程式編寫與知識任務先從 Opus 5.5 著手；Fable 5.2 即日起於 Pro、Max、Team 與 Enterprise 方案提供。

    推薦理由：Claude Fable 5.2 鎖定雄心勃勃的開放式技術工作，並宣稱在程式編寫、推理與視覺方面有所提升，而 Opus 5.5 仍是大多數程式編寫與知識任務的建議預設選項。

11月9日星期一
  1. Meta AI Research Blog78

    Meta 發布 Muse Ember，其最小、最高效的代理任務模型

    Meta 發布 Muse Ember，這是其最小、最高效的模型，瞄準代理整日從事的重複性工作，例如工具呼叫、程式編寫子任務、路由、擷取與長文件解析。Meta 表示，它在約三分之一的成本下達到 Claude Haiku 5.5 的最佳分數，並勝過所有 GPT-6 Luna 設定，每百萬輸入 token 為 0.10 美元、每百萬輸出 token 為 0.50 美元。它隨附 100 萬 token 的上下文視窗、最高 512K 輸出 token、原生文字、圖像、音訊與影片輸入，即日起在 Muse Code 與 Meta Model API 上以 muse-ember-1.0 提供。

    推薦理由：Meta 最小的模型瞄準高頻的代理步驟，而其與 Claude Haiku 5.5 及 GPT-6 Luna 的每任務成本比較，說明了效率主張的來源。

11月6日星期五
  1. Meta Newsroom · AI62

    Meta 在 Muse 應用中推出即時語音與表情虛擬人像

    Meta 在美國率先於行動裝置、網頁與 Mac 版的 Muse 應用中推出即時語音對話與表情虛擬人像。使用者點擊電話圖示即可對話，可打斷回應，並可從數百種語音中選擇，以及使用純語音、虛擬人像或全螢幕模式。語音功能即將登陸 AI Glasses 與 Muse Charm。

    推薦理由：Meta 的 Muse 應用現已支援即時語音對話與表情虛擬人像，顯示語音與打斷處理正逐步進入消費級 AI 助理。

  2. Google DeepMind78

    Google DeepMind 推出 Gemini Omni 1.2 Flash，支援 15 秒短片且價格降低 30%

    Google DeepMind 推出 Gemini Omni 1.2 Flash，現已在 Gemini API 與 Gemini for business 全面開放，具備原生 15 秒影片生成、多輪對話式編輯與更強的參考遵循能力。價格較 Gemini Omni 1.1 下降 30%，720p 影片為每秒 0.07 美元，使用者可先以 360p 或 720p 草擬，再升頻至 1080p 或 4K。短片長度可設定為 3 至 15 秒，以一秒為單位遞增，輸出帶有不可察覺的 SynthID 浮水印。

    推薦理由：Gemini Omni 1.2 Flash 將原生短片長度提升至 15 秒，並將 720p 影片價格降低 30% 至每秒 0.07 美元，多輪對話式編輯現已全面開放。

  3. Google Blog · AI80

    Google 推出 Gemini Omni 1.2 Flash，支援 15 秒片段並降價 30%

    Google DeepMind 推出 Gemini Omni 1.2 Flash，並在 Gemini API 與 Gemini for business 全面開放使用。該模型可生成與編輯原生片段，最長達 15 秒，高於 Omni 1.1 的 10 秒，支援多輪對話式編輯，並能更一致地維持角色、產品與風格參照；720p 影片現在每秒收費 0.07 美元，比 Omni 1.1 便宜 30%。輸出內容帶有 SynthID 浮水印，該模型正陸續在 Flow、Google Vids、Gemini 應用程式與 Google Ads 中推出。

    推薦理由：Gemini Omni 1.2 Flash 將 720p 影片價格調降 30% 至每秒 0.07 美元，同時把原生片段延長至 15 秒，讓大規模製作影片的團隊多了一個更便宜的選項，可與先前版本比較。

11月5日星期四
  1. Preferred Networks News71

    PFN 發布 PLaMo 3 Translate 開源權重翻譯 LLM，鎖定邊緣裝置

    Preferred Networks 於 11 月 5 日在 Hugging Face 上，以開源權重模型形式發布 PLaMo 3 Translate，這是其 PLaMo Translation 服務所採用的翻譯專用 LLM。共有 0.8B、2B、8B 與 31B 四種規模，支援包含日文與英文在內的 53 種語言，可在智慧型手機、筆記型電腦與內部伺服器上執行，無需連線雲端。

    推薦理由：PFN 發布翻譯專用 LLM，提供從 0.8B 到 31B 的四種規模，讓企業與個人能在裝置端執行 53 種語言的翻譯，無需雲端存取。

10月15日星期四
  1. Meta AI Research Blog88

    Meta 發布 Muse Spark Open，一個可在兩台 Mac Studio 上運行的 816B 開放權重多模態模型

    Meta 發布了 Muse Spark Open 的權重，這是一個原生多模態的開放權重模型，總參數 816B（活躍參數 42B），上下文視窗達 1M token，定位於程式編寫與代理式工作。它是同類模型中首個能在桌面上運行的模型，使用兩台 Apple M5 Ultra Mac Studio 搭配 MLX 框架；並可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 合作夥伴取得，權重則發布於 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models。Meta 表示，該模型隨附 SGLang 中可自動調校的 Helion GPU 核心，在 NVIDIA 與 AMD GPU 上帶來 1.03–3.95 倍的核心層級加速，在 AMD MI350 上則有 3% 的端到端加速。

    推薦理由：Meta 發布了一個 816B 參數多模態模型的開放權重，該模型可在兩台 Mac Studio 上運行，為開發者提供了針對長時程程式編寫與代理式任務的本地選項。

10月6日星期二
  1. Mistral AI82

    Mistral 推出 Mistral Large 4 預覽版，1T 參數多模態模型權重將於本月釋出

    Mistral 已推出 Mistral Large 4 的公開預覽版，這是一個 1 兆參數的原生多模態模型，擁有 520 億活躍參數，現已可透過 Mistral Studio API 使用。Mistral 表示，該模型可與最強的開源模型競爭，並優於美國和歐洲的其他開放權重模型，在 Artificial Analysis Cyber Index 的漏洞重現與修補測試中得分 82%，在其綜合 Coding Agent Index 中得分 49.8%。權重將於本月月底釋出，此前已與網路安全合作夥伴和主管機關進行紅隊測試；Mistral 表示，該模型是在其歐洲自有資料中心內、以 3,800 顆 NVIDIA Grace Blackwell GPU 從頭訓練而成。

    推薦理由：Mistral 迄今最大的模型宣稱在網路安全和代理式程式設計方面取得開放權重領先地位，並承諾於月底釋出權重。

8月13日星期四
  1. MiniMax Blog71

    MiniMax 發布 Music 3.0，一款可生成長達五分鐘完整歌曲的開放權重音樂生成模型

    MiniMax 推出 Music 3.0，這是一款開放權重音樂生成模型，能從創意概念與可選歌詞出發，單次生成即可作曲、編曲並製作長達五分鐘的完整歌曲。此流程將一個由 Qwen3.5-8B 初始化的 8B Global LLM 與一個 0.6B Local LLM 配對，融合兩者的連續隱藏狀態，用以調控一個 2.4B flow-matching 模組與一個 123M Flow-VAE，並採用八層 RVQ 以及隨時間描述情緒、樂器編制與演唱方式的 Structured Captions。MiniMax 表示，這能更準確地詮釋創作意圖、編曲更飽滿，人聲也更清晰自然。

    推薦理由：MiniMax 的架構拆解顯示，一個 8B 全域 LLM 搭配一個 0.6B 本地模型與 flow-matching 堆疊，如何針對長歌曲的連貫性問題。

7月31日星期五
  1. MiniMax Blog82

    MiniMax 推出 H3，一款原生立體聲 2K 通用多模態生成模型

    MiniMax 推出 H3，這是一款通用多模態生成模型，能將文字、圖像、影片與音訊理解為統一的上下文，並生成最高 15 秒、2K 解析度且帶原生立體聲的影片。該公司表示，2K 輸出的每秒成本不到主流模型的三分之一，並計劃在未來幾天內依適用法規開放模型權重。H3 建構於 Contextual Omni Representation、H3-VAE、H3-Omni Transformer 與 In-Context Regeneration 之上，MiniMax 表示完整技術報告即將發布。

    推薦理由：MiniMax 的 H3 將文字、圖像、影片與音訊生成統一到一個模型中，並聲稱 2K 定價低於主流模型的三分之一，權重也承諾很快開放。

7月15日星期三
  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling，這是一個通用多模態模型，可接收文字、圖像和音訊輸入並輸出文字，而 Modal 從第一天起就以基於 token 的定價，透過受管端點（Managed Endpoint）提供該模型。Inkling 是一個混合專家（MoE）Transformer，總參數 975B，活躍參數 41B，上下文視窗 1M token，原生支援音訊與視覺，每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上，Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時，達到每位使用者每秒 250 個 token，在相同吞吐量下，互動速度比模型內建的推測路徑快 67%。

    推薦理由：Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點，展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

6月1日星期一
  1. MiniMax Blog87

    MiniMax M3 發布，具備 1M 上下文、前沿編碼與原生多模態能力

    MiniMax 發布 M3，這是一款開放權重模型，該公司稱其為首個結合前沿編碼與代理能力、1M token 上下文窗口，以及原生圖像與影片輸入的模型。M3 採用 MiniMax 新的 MSA 稀疏注意力架構，該公司報告稱，此架構在 1M 上下文下將每 token 計算量降至前一代的 1/20，並將預填充速度提升逾 9 倍、解碼速度提升逾 15 倍。它在 SWE-Bench Pro 上得分 59.0%、在 Terminal-Bench 2.1 上得分 66.0%、在 MCP Atlas 上得分 74.2%，並可透過 MiniMax Code、Token Plan 與 API 使用，權重與技術報告承諾在 10 天內發布。

    推薦理由：MiniMax M3 將 1M token 上下文、前沿編碼與代理得分，以及原生圖像與影片輸入結合於一個開放權重模型中，並以 MSA 在長上下文下降低每 token 計算量。