跳至正文
11月13日星期五
  1. inclusionAI Models38

    SingVL-4B GGUF 發布:基於 Qwen3.5 的 Sing VL S1 4B 多模態決策模型 GGUF 版本

    Sing VL S1 是一個建構於 Qwen3.5 之上的 4B 參數多模態決策模型,現已推出 GGUF 版本,可用於 llama.cpp 的 CPU 推論。它提供 BF16(8.42 GB)、Q8_0(4.48 GB)與 Q4_K_M(2.71 GB)三種解碼器,外加一個共用的 F16 視覺投影器,預設上下文長度為 4096 個 token。GGUF 驗證涵蓋 9 個範例與 11 個問題;GGUF 各變體的完整公開分數仍待公布。

  2. AWS Machine Learning Blog36

    影響成本的四個 Amazon Bedrock 推論選擇

    Amazon Bedrock 的快取持續時間、服務層級、推理強度與 maxTokens 設定,能在不改變模型或提示詞的情況下改變推論成本。在 Claude Sonnet 5 與 Claude Opus 5 上,5 分鐘快取寫入的費用是輸入費率的 1.25 倍,1 小時寫入為 2 倍,快取讀取為 0.1 倍;對不支援的模型發出 Flex 層級請求會以 ValidationException 失敗。

  3. Google DeepMind90

    Google DeepMind 發布 Gemini 4 Hydrogen,一款更快的 Gemini 4 模型,專為程式編寫與代理式工作流程打造

    Google DeepMind 推出 Gemini 4 Hydrogen,這是一款 Gemini 4 模型,專為快速的日常程式編寫與代理式執行而打造,而非像 Gemini 4 Carbon 與 Argon 那樣著重於長程推理。它在預設的高思考等級下,於 Artificial Analysis Intelligence Index 上得分 51,而 Argon 為 50;在全新的 xhigh 設定下達到 54;其定價在其 100 萬 token 上下文視窗內一律為每百萬輸入 token 1.50 美元、每百萬輸出 token 7.50 美元。Google 亦在 Google Antigravity 中推出 Orchestrator,可在同一工作階段內於 Carbon 與 Hydrogen 等模型之間切換,並在 Terminal-Bench 4.0 上達到接近 Carbon 的任務成功率,同時少用 24% 配額、完成速度快 19%。

    推薦理由:Google 的 Gemini 4 Hydrogen 鎖定快速的日常程式編寫與代理式工作,在 100 萬上下文視窗內一律採每百萬 token 1.50/7.50 美元的定價,並搭配可在 Gemini 4 模型之間切換的全新 Orchestrator。

11月12日星期四
  1. OpenRouter Announcements58

    OpenRouter 以損益平衡負載計算比較自架 LLM 與 API 成本

    OpenRouter 發布一項損益平衡分析,說明自架開放權重 LLM 在何時比透過 API 呼叫更便宜,並採用截至 2026 年 10 月 8 日的各供應商價格。依這些價格,Qwen3.8 27B 在一張每小時 0.50 美元的租用 RTX 3090 上,於 6% 至 12% 負載時達到損益平衡;而 DeepSeek V4.1 Flash 在四張 H200 上,始終無法勝過最便宜的零資料保留端點。文章也指出,provider.zdr 以及歐盟與美國網域已能涵蓋多數隱私需求,無需自架,並建議在本機執行穩定的基礎負載,同時將尖峰流量送往 API。

  2. vLLM Blog60

    vLLM 新增對 Thinking Machines 的 Inkling 2 Small 的 day-0 支援

    vLLM 在 day 0 支援 Thinking Machines 的 Inkling 2 Small,這是一個多模態文字與視覺 MoE,總參數 594B、活躍參數 17B,上下文最多可達 1M 個 token。此整合加入了搭配 PDL 的核心融合、用於 prefill 的序列平行,在 TP4 下將 8K token 的 prefill 步驟縮短 22%,TP8 下縮短 26%,以及一個 Gluon 相對注意力解碼核心,將 100K 上下文下 batch-1 的解碼步驟從 15.1 ms 降至 4.8 ms。vLLM 回報在 GB200 上 TP4 時可達每使用者最高 630 TPS,接受長度 3.5,並且也透過 SkyRL 支援 LoRA 與 RL。

    推薦理由:vLLM 在發布當天即支援 Inkling 2 Small,並給出核心融合、序列平行和 Gluon 解碼核心的具體優化數據,可供部署大型 MoE 模型的團隊參考。

  3. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash,吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出,在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash,每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s,為 GB300 NVL72 的 58 倍,峰值達 2.52M tokens/s,單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑,以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由,即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由:vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍,為大規模服務優化提供了具體參考。

  4. AWS Machine Learning Blog34

    形式化策略的語意差異比對與反統一

    一個開源引擎利用在 e-graph 上的反統一來計算形式化策略的語意差異,將共享結構只呈現一次,並保留每個差異部分的兩個版本。它針對 SMT-LIB、Cedar、Dogwood、OpenShell 策略與 CEL 中的自動形式化輸出,其中由 LLM 撰寫產物,但不參與差異的計算。

  5. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML 軌道:與會者指南

    AWS 將於 11 月 30 日至 12 月 4 日舉行年度 re:Invent 大會,AI/ML 軌道在超過 2,000 場總學習議程中提供逾 140 場獨特議程。該指南將議程對應至 AWS AI 堆疊,涵蓋 AI 晶片(AWS Trainium 與 NVIDIA GPU)、Amazon Bedrock 與 SageMaker AI 上的模型與推論,以及使用 Amazon Bedrock AgentCore 的代理程式開發。議程從新手內容編排至技術深入探討,且許多可隨選觀看。

  6. Google Blog · AI78

    Google 推出 Gemini Decisions API 與 Gemini Decision 1 模型,用於快速封閉集決策

    Google 推出 Gemini Decisions API,由全新的 Gemini Decision 1 模型(gemini-decision-1)驅動,並可透過 Google AI Studio 中的 Gemini API 使用。單次多模態輸入最高可達 256K token,能在一次前向傳遞中對最多 1,000 道是非題、選擇題與評分規準評分題進行檢查,回傳機率與信心分數,端到端延遲為 150-250 毫秒,每 1M 輸入 token 收費 $0.10,且不收取輸出 token 費用。Google 表示,該模型在其基準測試套件中領先,校準誤差最低,且搭配 Interactions API 時比 Gemini 3.5 Flash-Lite 便宜近 5 倍;內部用途包括 Gemini Notebook 中的模型路由、Stitch 中的線框圖生成,以及 Search 中針對 MCP 工具的對抗性內容檢查。

    推薦理由:Google 的新端點能在一次傳遞中以 150-250 毫秒對最多 1,000 道多模態是非題、選擇題與評分規準題進行評分,為代理路由與政策檢查提供了比生成式呼叫更便宜的替代方案。

  7. Claude Blog78

    Anthropic 將 Claude Opus 5.5 設為 Pro、Max、Ultra 與 Team 方案的預設模型

    Claude Opus 5.5 現已成為 Claude 在 Pro、Max、Ultra 與 Team 方案中的預設模型,Anthropic 建議將其作為日常主力,用於研究、分析以及完成文件、簡報與試算表。Anthropic 表示,Opus 5.5 在中等強度下的表現,在其程式設計與知識工作評估中達到或超越 Opus 5 在高強度下的水準;在一項內部併購分析測試中,它以 Opus 5 執行同一任務一半的成本,於 63 分鐘內完成。該文章也列出新模型的提示詞調整方式,包括移除「think hard」指令、從中等強度開始,以及附上圖表而非重新輸入其數值。

    推薦理由:Anthropic 自家的指南說明了為何 Opus 5.5 現在是日常知識工作的預設模型,以及應為它捨棄哪些提示習慣。

11月11日星期三
  1. inclusionAI Models34

    inclusionAI 發布基於 Qwen3.5-4B 的 LemonDecider 4B v3 決策模型

    inclusionAI 發布 LemonDecider 4B v3,這是一個從 Qwen3.5-4B 微調而成的決策模型,透過單次聯合前向傳遞回傳選項、是/否或序數機率,而非生成答案 token。該模型以約 120 萬筆決策/問答資料列訓練,在公開的 Decision Index 0.4 測試套件上得分 61.67,請求延遲中位數為 49.9 毫秒。

  2. inclusionAI Models40

    inclusionAI 於 Qwen3.5 上發布 SingVL S1 4B 多模態決策模型

    inclusionAI 發布 SingVL S1,這是一個建構於 Qwen3.5 之上的 4B 多模態決策模型,能在單次 Transformers 前向傳遞中,針對文字或 JSON 以及最多四張圖片回答具名問題。它支援選擇題、是/否(noul)以及 2–10 級評分題,在 Public Vision Index 上得分 73.94,在 Public Text Index 上得分 69.76。該模型隨附 Python 推論程式碼與 FastAPI HTTP 伺服器。

  3. Google DeepMind88

    Google DeepMind 發布 Gemini 4 Carbon,用於代理式編碼、網路安全與科學推理

    Google DeepMind 向開發者、企業、科學家與消費者開放 Gemini 4 Carbon,將其定位在 Gemini 4 Argon 之上,適用於需要更深層推理與更多 token 的任務。Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 與 Zapier 的 AutomationBench 上排名第一,每項任務成本比次佳的外部模型低 2 倍以上,定價為每百萬輸入 token 2 美元、每百萬輸出 token 10 美元,與 Argon 的 introductory 價格相同。Google 也預覽了 Google Antigravity 中的 /swarm,能將單一提示詞轉化為一支協同運作的代理團隊,並回報 Carbon 在模擬網路攻擊測試中攔截了 99% 的攻擊軌跡。

    推薦理由:Google 的發布說明詳細介紹了 Gemini 4 Carbon 如何以更高的 token 用量換取更深層的推理,在 CursorBench 4.0、WANDR 與 AutomationBench 上排名第一,每項任務成本不到次佳外部模型的一半。

11月10日星期二
  1. OpenAI Alignment Blog60

    OpenAI 研究在模型生命週期中影響 CoT 可監控性的因素

    OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性的兩項代理指標:無 CoT 能力與 CoT 可控性。他們報告指出,無 CoT 能力會隨著較低的基礎模型困惑度平滑變化;CoT 可控性在強化學習期間上升,即使除了長度限制與最終答案評分之外沒有過程監督;且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒,這兩項代理指標都不完美,且隨著能力擴展,模型可能變得更難透過其 CoT 進行監控。

    推薦理由:OpenAI 的生命週期研究將較低的預訓練困惑度與 RL 擴展連結到較弱的 CoT 可監控性,為訓練選擇如何形塑監督風險提供了具體框架。

  2. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  3. Apple Machine Learning Research34

    用於高效長上下文檢索的加權狀態湯

    Apple 研究人員與哈佛合作者提出加權狀態湯(weighted state souping),此方法學習依查詢而定的權重,用以重新組合快取的 SSM 狀態編碼,在單跳與多跳文件問答、大海撈針檢索、變數追蹤與工具使用上提升長上下文表現。一種稀疏變體在編碼成本相對於上下文長度幾乎恆定的情況下,仍維持、有時甚至提升表現。該論文獲 NeurIPS 2026 的 PALM workshop 接受。

  4. Apple Machine Learning Research38

    Apple 研究:門控機制解釋了為何 SSM 會記憶而非進行上下文學習

    一項 Apple 與哈佛的研究顯示,狀態空間模型(SSM)中的門控機制會使其先學到一種權重內的「記憶」解法,延遲甚至阻止其收斂到正確的上下文學習。即使架構與記憶容量並未施加任何根本限制,此現象依然發生。然而,門控往往能改善對長序列長度的泛化能力。

  5. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月9日星期一
  1. Hugging Face Blog40

    HOPE:混合專家語言模型中的高階專家剪枝

    研究人員提出 HOPE,一種針對混合專家語言模型的二階專家剪枝方法,該方法考量共同激活專家之間的成對交互作用,而非獨立地為每個專家評分。在 50% 剪枝率下,HOPE 取得所有方法中最佳的平均排名,在代理式編碼任務上相較於次佳的剪枝方法最高提升 +6.1%。此研究針對 Qwen3.5-122B 等模型的記憶體瓶頸,其中專家 MLP 佔據約 250 GB 足跡的 95%。

  2. Preferred Networks News55

    Preferred Networks 以開放權重發布 PLaMo 3.0 Fin 金融專用小語言模型

    Preferred Networks 發布 PLaMo 3.0 Fin,這是一款金融專用小語言模型,建構於與 NICT 共同研究中開發的 PLaMo 3 NICT 預訓練模型,並進一步以日本金融資料訓練,在 Hugging Face 上依 PLaMo Community License 發布開放權重。該模型新增逐步推理(Reasoning)功能,推理過程以日文輸出,並支援工具呼叫,可進行網頁搜尋、計算及內部資料庫存取,且能在封閉雲端或地端環境的單一 GPU 上執行。PFN 表示,推理與工具使用的指令遵循訓練是在自家 MN-Core 2 AI 晶片上完成,程式碼移植在一週內完成,訓練速度與 GPU 環境相當。

11月6日星期五
  1. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

11月5日星期四
  1. Zyphra Research36

    ZYFA:在 AMD MI355X 上快速且準確的 FP8 注意力核心

    Zyphra Research 發布了 ZYFA,這是針對 AMD MI355X(CDNA4、gfx950)的 BF16 與 FP8 因果預填充注意力核心,支援頭維度 128 以及 DeepSeek-V2 的 MLA 形狀。在 Mistral-7B、Qwen3-8B 與 DeepSeek-V2-Lite 於 16K token 的激活值上,ZYFA 的 FP8 核心達到 AITER 吞吐量的 1.16–1.76 倍;在 32K token 的高斯輸入上,頭維度 128 時為 1.26–1.37 倍,MLA 形狀時為 1.99 倍。在頭維度 128 時,FP8 誤差比 AITER 低 62–78%。

  2. inclusionAI Repositories38

    ASpec:用於推測解碼草稿模型的高吞吐量訓練框架

    ASpec 是一個用於推測解碼草稿模型的高吞吐量訓練框架,基於 TorchSpec 程式碼庫建構,具備優化注意力、融合核心以及選擇性 head/loss 計算。在 Qwen3-8B 4K 執行中,僅草稿訓練在單一 GPU 上達到 15,256.44 輸入 token/秒,為 TorchSpec 的 1.96 倍,而 8-GPU 線上穩定視窗則達到 77,721.37 token/秒,為 TorchSpec 的 2.28 倍。它支援 DSpark、DFlash、EAGLE3/4 與原生 MTP 草稿,並提供 Qwen3-8B 與 Ling tiny 快速入門。

  3. Goodfire Research58

    Goodfire Research 提出機制塑造,透過內部表徵引導模型

    Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。

11月4日星期三
  1. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

11月3日星期二
  1. Ai2 · Allen Institute for AI55

    Ai2 發布 StateBench,用於測試語言模型如何在長文件中追蹤狀態變化

    Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。

  2. Apple Machine Learning Research32

    Attention to Mamba:跨架構蒸餾的配方

    Apple 研究人員提出一套兩階段配方,用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧,將預訓練的 Transformer 蒸餾成線性化 Attention 模型,再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能,困惑度達到 14.01,而教師模型為 13.86,但在依賴上下文回憶的任務上存在一些差距。

  3. Google Developers Blog58

    Google 以每項任務成本為基準,對便宜分類器進行基準測試,用以分流 Gemini 模型

    Google 執行了一項 50 題自動評分的編碼代理基準測試,檢驗輕量級分類器 TypeSafe 的 Jev 能否將每項任務分流到仍能正確作答的最便宜 Gemini 配置。一個凍結的正規表達式與提示長度啟發式方法在 16 道開發題上得分 93.8%,但在 34 道留出任務上掉了 23.2 個百分點至 70.6%,而 Jev 在完整測試集上達到 96.0%。最強的無路由器配置,即低思考模式的 Gemini 3.8 Flash,解出了全部 50 道任務;而一個先將任務送往 Flash-Lite、再將被標記的任務升級的 Jev 路由器也解出了全部 50 道,同時降低了成本與回應時間;將 maxOutputTokens 上限設為 300 在簡單任務上沒有節省任何成本,還弄壞了 25 道難題中的 7 道。

11月2日星期一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分層注意力,一種具備次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),這是一種稀疏注意力方法,它建立一棵由壓縮 KV-cache 摘要構成的樹,並讓查詢自上而下地穿過這棵樹進行路由,在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配,僅需使用數十億個 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 個可訓練參數,約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上,寬樹模型得分為 96.2%,而稠密注意力為 96.0%;深層六級樹在 LongBench v2 上得分為 63.4%,而稠密注意力為 58.0%,同時僅關注約 1.1% 的 KV cache;一個 GPU roofline 模型預測,在 10M token 時相比稠密注意力可實現 32-35 倍加速。

  2. Anthropic Research70

    Anthropic 發布 FlashProve,一套用於可驗證 LLM 推理的開源 zkSNARK 系統

    Anthropic 發布 FlashProve,這是一個開源原型,使用 zkSNARKs 來證明某個回應來自一個已承諾的模型,而不揭露其權重。在 Llama 4 Maverick(400B 參數 MoE,4 位元權重)上,單張 H100 以約 110 tokens/秒 的速度生成證明,每 1,024-token 請求的證明約 19 MB,約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器(具備機器檢查的完備性、可靠性和零知識陳述),以及一份技術報告,全部採用 Apache 2.0 授權。

    推薦理由:Anthropic 的 FlashProve 顯示,基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用,並附有開放程式碼和經 Lean 檢查的安全性聲明。

11月1日星期日
  1. Sakana AI Blog40

    Sakana AI 研討會:Jürgen Schmidhuber 談 AI 的過去與未來,日本進軍語言模型、世界模型與實體 AI

    Sakana AI 於 2026 年 10 月 26 日在東京舉辦「從世界模型到真實世界 AI」研討會,首席科學顧問 Jürgen Schmidhuber 發表主題演講,Sakana AI 並宣布將開發自家預訓練語言模型系列 Sakana Sawara(暫定名稱)。首個小型模型 Sawara Small(暫定名稱)若開發順利,計畫於 2027 年春季發布。超過 400 人參與此次活動,會中還安排了 Schmidhuber 與執行長 David Ha 的對談。

10月30日星期五
  1. Amazon Science38

    加速旅遊應用的 LLM:Medusa 結合知識蒸餾

    將知識蒸餾與 Medusa 框架結合,讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質,同時執行速度快 10 到 20 倍,成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成,此流程彌合了超過 90% 的品質差距,並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。

10月29日星期四
  1. Sakana AI Blog40

    Sakana AI 分析德州參議院選戰中的美國期中選舉社群媒體敘事

    Sakana AI 將其敘事分析系統應用於德州參議院選戰中,兩位候選人及州政黨組織在 X 上發布貼文所引發的約 71 萬則反應,並以統計誤差範圍估算支持與批評的比例。其產品 Sakana Marlin 將社群媒體觀察與民調、競選財務、預測市場及新聞進行交叉比對,發現在 Cook Political Report 等主要評級機構改變評估前約兩個月,候選人評價已出現轉變。

  2. inclusionAI Models34

    inclusionAI 發布 Ling-3.0-flash-Sante-fp8,一款 FP8 量化的醫療保健模型

    inclusionAI 發布了 Ling-3.0-flash-Sante-fp8,這是其醫療保健專用模型 Ling-3.0-flash-Sante 的 FP8 量化版本,維持 124B 總參數與每 token 5.1B 活躍參數。它在醫療保健基準測試上達到與 BF16 檢查點相同的 73.9 平均分,同時為支援 FP8 的硬體降低了權重記憶體佔用。該研究用途模型支援 256K token 上下文,並預設為思考模式且支援工具呼叫。

  3. Meta Engineering Blog40

    Meta Andromeda:Meta 新一代廣告檢索引擎每秒處理 10 億則廣告

    Meta 詳細介紹了新一代 Andromeda——其個人化廣告檢索引擎,在生產環境中每秒可評分超過 10 億則廣告,相較 2024 年系統吞吐量提升 100 倍。新架構將受 LLM 啟發的混合專家模型引入檢索,以約少 300 倍的推論時 FLOPs 達到接近排序級別的模型效能,在單張 NVIDIA GH200 GPU 上每秒可處理超過 100 億則廣告。自 2025 年以來,Andromeda 已為 Facebook 帶來 2.4% 的轉換率提升。

10月28日星期三
  1. inclusionAI Repositories28

    UBTree 專案頁面:以 Unigram 與 Bigram 模型進行平行樹狀草稿的推測解碼

    UBTree 專案頁面介紹 UBTree,這是一種使用 unigram 與 bigram 模型草擬平行 token 樹的推測解碼方法,詳見 arXiv:2609.39972。示範影片在 Ling3 Tiny 與 Flash 上,使用未經修改的 HumanEval anti_shuffle 與 bf 提示,比較 UBTree 與 AR、DFlash 及 DSpark,四種方法產生的輸出 token 完全相同。該網站是以純 HTML/CSS/JS 透過 GitHub Pages 提供,圖表與表格的數字存放在 static/js/data.js。

  2. Google Research58

    Google Research 的睡眠框架讓 LLM 能鞏固新知識而不會災難性遺忘

    Google Research 提出一套用於持續學習的睡眠框架,讓主動互動與離線記憶鞏固交替進行,使 LLM 能將新事實吸收進擴展的混合專家參數中,而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾,以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出,在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零,在 BABILong 上擴展到 1000 萬 token 時幾乎完美,在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%,在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。

10月27日星期二
  1. Apple Newsroom40

    Apple 發表搭載 M6 的新款 iMac

    Apple 宣布推出搭載 M6 晶片的新款 iMac,配備最高 12 核心的 CPU,以及每顆核心皆內建神經網路加速器的 GPU,另搭載雙 16 核心神經網路引擎,裝置端 AI 速度最高可達 M4 的 5 倍。Apple 宣稱其效能最高可達最受歡迎的 Intel 版 iMac 的 18 倍,在 LM Studio 中的 AI 提示處理速度最高可達 M1 的 12 倍。10 月 28 日開放預購,11 月 6 日星期五起開賣。

  2. Apple Newsroom42

    Apple 推出全新 14 吋 MacBook Pro,搭載 M6

    Apple 發表全新 14 吋 MacBook Pro,搭載 M6,配備 12 核心 CPU 與 12 核心 GPU,繪圖效能比 M5 最快提升 30%,AI 工作負載最快提升 25%。該晶片新增雙 16 核心 Neural Engine 與 GPU Neural Accelerators,用於裝置端 AI,電池續航力最長可達 24 小時,支援 Wi-Fi 7 與藍牙 6。10 月 28 日開放預購,11 月 6 日星期五開始供貨。

10月26日星期一
  1. Apple Machine Learning Research34

    GHARP:基於大規模重建先驗的即時高斯頭部動畫

    Apple 研究人員提出 GHARP,該方法可從少量輸入影像加上驅動表情訊號,即時為 3D 人頭製作動畫,並將任務拆分為離線身分階段與輕量執行期動畫階段。身體對齊網路消除了身體姿態與衣著帶來的歧義,GHARP 在 Ava-256 基準上達到最先進的品質,同時在 A100 GPU 上執行速度最高快 13 倍,高斯數量少 8 倍。