Goodfire Research 提出機制塑造,透過內部表徵引導模型
Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。
Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。
Ai2 啟動了一項氣候模擬計畫,由 Google.org 提供三年資金、Google Research 提供技術支援,以開發開源模型 NeuralGCM+,用於更快、更可靠地進行氣候推估。此專案延伸自 Google Research 的 NeuralGCM,該模型將大尺度動力學的物理方程式與雲層形成、降雨等較小尺度過程的 AI 結合,以同時模擬大氣與海洋。Ai2 的目標是降低過去 50 年區域氣溫與降雨的誤差,並對外發布模型與框架,附上可供外部研究人員參考的工作流程文件。
Meta 推出 F3 Lightning,這是在其 Facebook Feature Framework(F3)之上建構的基礎設施層,將特徵發布與共用執行解耦,使 20,000 多個廣告排序特徵中的每一個都能獨立編譯、驗證、部署和回滾。相較於先前的 F3,同類萃取特徵現在進入生產環境的速度約快 3.6 倍,且基礎設施運算成本並未增加。
Anthropic 的生物研究實驗室報告了原核細胞中穹頂顆粒(vault particle)的首個三維結構,這是一種名為 L05 的噬菌體蛋白,由 96 個拷貝組成,質量約 9.5 兆道爾頓。在團隊指導下,Claude 搜尋了約 150 億個預測蛋白質的資料庫、設計了 DNA 構建體、優化了尺寸排阻層析分離法,將純化時間從三天縮短到約 90 分鐘,並執行了 RELION 冷凍電鏡處理,在 34 小時內產出首個完整模型。該預印本已提交至 bioRxiv,團隊表示這些穹頂顆粒的生物學功能仍未知。
推薦理由:Anthropic 的生物實驗室報告了原核生物穹頂顆粒的首個三維結構,Claude 負責資料庫搜尋、構建體設計、純化與冷凍電鏡處理。
Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。
Apple 研究人員提出一套兩階段配方,用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧,將預訓練的 Transformer 蒸餾成線性化 Attention 模型,再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能,困惑度達到 14.01,而教師模型為 13.86,但在依賴上下文回憶的任務上存在一些差距。
Sakana AI 於 2026 年 10 月 26 日在東京舉辦「從世界模型到真實世界 AI」研討會,首席科學顧問 Jürgen Schmidhuber 發表主題演講,Sakana AI 並宣布將開發自家預訓練語言模型系列 Sakana Sawara(暫定名稱)。首個小型模型 Sawara Small(暫定名稱)若開發順利,計畫於 2027 年春季發布。超過 400 人參與此次活動,會中還安排了 Schmidhuber 與執行長 David Ha 的對談。
微軟的產業評估資料生成平台建立完整的合成企業環境,在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎,生成包含使用者、會議、電子郵件與文件的擬真租用戶,並搭配自動化查詢流程與品質框架。微軟表示,這為 Copilot 建立了首個標準化評估基準。
Microsoft Research Focus Edition #97 重點介紹 ForkPilot,這是一個可自我改進的代理式框架,在六項基準測試中達到現有最佳方法的表現,同時將 AI 處理需求降低多達 59%。本期亦涵蓋 CABRA,此框架顯示編碼代理仍難以理解不熟悉的程式碼庫,以及 TeleTune,其從使用者活動日誌中學習可重複使用的技能。本期也檢視 Copilot Chat 活動,其中文件編輯占已分類活動的 20% 以上。
將知識蒸餾與 Medusa 框架結合,讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質,同時執行速度快 10 到 20 倍,成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成,此流程彌合了超過 90% 的品質差距,並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。
Meta 詳細介紹了新一代 Andromeda——其個人化廣告檢索引擎,在生產環境中每秒可評分超過 10 億則廣告,相較 2024 年系統吞吐量提升 100 倍。新架構將受 LLM 啟發的混合專家模型引入檢索,以約少 300 倍的推論時 FLOPs 達到接近排序級別的模型效能,在單張 NVIDIA GH200 GPU 上每秒可處理超過 100 億則廣告。自 2025 年以來,Andromeda 已為 Facebook 帶來 2.4% 的轉換率提升。
Zenrin、Zenrin DataCom 與 Preferred Networks 已簽署業務與資本聯盟協議,由 Zenrin 旗下公司認購 PFN 的第三方增資。合作夥伴將把持續更新的地理空間數據(包括歷史變更紀錄)與 PFN 的生成式 AI、實體 AI 及 3D 空間辨識技術相結合,打造能夠理解並預測現實世界變化的 AI 模型。初期重點領域包括公共部門、房地產、零售與流通,鎖定需求預測、門市選址與都市規劃、防災與物流模擬等應用。
Figma 詳細說明其如何為 Figma agent 訓練第一方設計編輯模型,做法是先以合成編輯請求進行監督式微調,這些請求以 Figma 原生檔案格式表示,並透過確定性檢查與視覺模型評審進行驗證。
研究人員正在調整 Ai2 的開源 olmOCR 2 模型,用以轉錄歷史與考古檔案。歷史學家 Maurice Casey 打造了 ArtificeOCR,讓 olmOCR 2 搭配 Tropy 在本機執行,使他收藏的檔案照片庫可供關鍵字搜尋;而維也納工業大學(TU Wien)的 CENTURIA 專案則以 LoRA 對 olmOCR 2 進行微調,使用 57 筆標註紀錄,將 450 筆測試紀錄的轉錄錯誤率從 15.58% 降至 1.11%。
Google Research 提出一套用於持續學習的睡眠框架,讓主動互動與離線記憶鞏固交替進行,使 LLM 能將新事實吸收進擴展的混合專家參數中,而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾,以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出,在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零,在 BABILong 上擴展到 1000 萬 token 時幾乎完美,在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%,在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。
Meta 正支持五所美國大學的研究——加州理工學院、俄亥俄州立大學醫學院、路易斯安那州立大學、印第安納大學與 UTHealth Houston——提供其最新 Muse 模型的使用權、研究人員合作與資金。研究人員將使用 Muse Spark Open、Muse Wonder、Muse Spark、30B 開放權重模型 Muse Glimmer,以及 SAM、V-JEPA、DINO、UMA 與 SeamlessM4T。研究項目涵蓋醫學、物理、化學、生物、電腦科學與數學,所有病患與臨床數據的控制權仍歸各大學所有。
Ai2 發布了 Old Ideas, Novel Problems,這是一項研究與基準,用來測試 LLMs 評估研究想法創新性的可靠程度,並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中,小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點,而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 $30.66 達到 0.642,Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。
Anthropic 的生命科學團隊花了數個月與六家藥物開發商合作,包括 Bristol Myers Squibb、Generate Biomedicines 和 Divergence Labs,並運行自家的探索計畫,以測試 Claude 能在何處加速藥物開發。回報的早期結果包括:Generate 設計出比標準版本縮短約 70% 的版本,讓免疫細胞製造約 10 倍的受體;以及為 Divergence 在約一個月內主要自主生成約 35,000 個抗體設計。Anthropic 表示,這項工作仍大多處於臨床前階段,並計畫隨著計畫推進,將 Claude 擴展至臨床試驗。
推薦理由:Anthropic 首次詳細說明將 Claude 嵌入真實藥物計畫的過程,顯示該模型在六個合作夥伴中哪些地方有幫助、哪些地方仍有不足。
Ai2 與賓州大學的研究人員打造了 LitPivot,這套系統會圍繞研究提案中正在編輯的面向來組織檢索到的論文,並提出有文獻依據的修改建議。在一項有 17 位研究人員參與的研究中,領域專家評價以 LitPivot 發展出的想法,比用文字編輯器和 AI 聊天工具建立的想法更有文獻基礎。參與者也表示,他們修改後的想法更具新穎性和實用性,而 LitPivot 將在 UIST 2026 發表。
Amazon 發布了 TorchNeuron,這是一個開源的 PyTorch 後端,能將 PyTorch 程式碼轉換為可在 AWS Trainium 系統上執行的操作,且幾乎或完全無需修改程式碼。它新增了一個可選用的自適應 eager 模式,會將操作分組並編譯,以達到接近編譯後的效能,另外還有多層 NEFF 快取;在一項 64 程序的 LLM 測試中,共享編譯服務將首次訓練步驟的時間縮短了約三分之一。Annapurna 團隊使用從數十萬個開源模型中精選出的 841 個代表性模型,對其進行了調校與基準測試。
Modal 發布了 Spindle,這是一個開源、相容於 Tinker 的訓練伺服器,可在客戶的 Modal 工作區中運行,讓團隊能自訂技術堆疊,並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA,Modal 表示,在一個 DAPO-math GRPO 任務上,讓 8 個客戶端共用一個訓練器,相較於 Tinker,每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段,並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。
推薦理由:Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案,以 GPU 時間取代按 token 計費,據稱多 LoRA 共用可將成本最多降低 80%。
Ai2 發布 OlmoEarth v1.3,這是一款衛星嵌入模型,能將一整年的 Sentinel-1、Sentinel-2 與 Landsat 時間序列,轉換為每個 10 公尺像素一個 128 維向量,其中前 64 維可作為較小的嵌入使用。Ai2 預先計算了全球的年度嵌入並發布於 Source Cooperative,其 128 維嵌入在 27 項評估中的 20 項拿下最高分,對手包括 AlphaEarth Foundations 與 Tessera v2,其中也包含一項名為 PLANTEUR 的熱帶作物新基準。此次發布還包括 OlmoEarth Embeddings Explorer,這是一款免登入的瀏覽器工具,可比較不同年份、尋找相似地點,並即時訓練小型分類器,涵蓋 2025、2024 與 2023 年全球範圍,以及 2017 至 2022 年部分國家;權重、預訓練資料與程式碼皆為開放。
inclusionAI 發布 Ling-3.0-flash-Sante,這是一款以 Ling-3.0-flash 為基礎打造的醫療專業化模型,總參數 124B、每 token 激活參數 5.1B,權重已上架 Hugging Face 與 ModelScope。它採用混合線性 MoE 架構,結合 Kimi Delta Attention、門控 MLA 與稀疏 MoE 層,訓練上下文達 256K tokens,預設啟用思考模式,並可透過相容的服務框架進行工具呼叫。該公司將其標示為研究模型而非醫療器材,並表示其輸出不得取代專業醫療建議、診斷或治療。
微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits(KLS)猜想,這是高維幾何中懸而未決31年的問題,證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程,其中AI代理探索了超過100種候選方法,而研究人員則進行篩選並重新引導搜尋;另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現,隨後並發布了Lean 4形式化。
推薦理由:高維幾何中懸而未決31年的問題,透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決,並有獨立證明與Lean形式化作為確認。
Anthropic 邀請學術機構、非營利組織與政府實驗室的首席研究員及其研究團隊,申請為期 8 至 12 週的客座研究員計畫,運用 Claude 於因果人類生物學、結構與計算分子生物學、藥物化學、藥物發現及臨床科學等領域。Anthropic 將免費提供其模型與工具框架,成果將以開源資料與程式碼形式發表,研究員則保留其資料的權利。申請開放約 14 天,獲選者將於截止後約 14 天以電子郵件通知。
Modal 發布了 Modal Dojo,這是一個訓練函式庫,提供建構模組、調校過的預設配方,以及可觀測性儀表板,用於生產級的 LLM 後訓練。它建構在開源框架 Miles 和 Slime 之上,支援從五億到數兆參數的模型,並提供 API 和 CLI,讓代理可以驅動以啟動和除錯執行。Modal 表示 Axiom Bio 使用它擴展到 64k 上下文的 DeepSeek V4.1 Flash 在 64 台 B300 上執行,而 Afterquery 以 256k 上下文長度訓練 Kimi 和 DeepSeek。
Apple 研究人員(與 University of Waterloo 合作)提出 TEAL,這是首個建構於凍結 ViT 表徵之上的像素級主動學習框架,透過兩級 MaxHerding 策略直接在原生 token 晶格上選取多樣化候選,並以基於 margin 的不確定性進行精煉。在每張影像僅標註一個像素的情況下,TEAL 在 CamVid、Cityscapes、ADE20K 與 Pascal Context 上相較最強基線最高提升 +24.36 mIoU,僅用 10 px 即達到全監督效能的最高 97%。
Google 發布了 Meta TorchTitan 的 TPU 分支版本,可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練,並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU,Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU,FLUX.1 在 1,024 顆晶片上達到 19.4% MFU,弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/,另有 Transformers 建模後端與 agent 上手技能,可將同一訓練器延伸至其他檢查點。
推薦理由:Google 與 Meta 合作把 TorchTitan 移植到 TPU,並給出從 FLUX.1 到 Qwen3 235B 的逐級調優路徑與 MFU 數字,可作為 PyTorch 團隊評估 TPU 訓練可行性的參考。
Google Research 描述了三個旨在將 AI 代理紮根於真實濕實驗室實驗的專案,包括 VERID 框架——一個建構於開源 PyLabRobot 框架上的實驗室工作單元語義數位孿生,可追蹤平台佈局、孔槽體積與吸頭庫存,並在執行前對協議進行乾跑。
推薦理由:Google Research 概述了三個將 AI 代理連接至真實濕實驗室硬體的專案,展示模擬乾跑與閉環實驗如何讓代理修正自身的設計規則。
Mistral 發布 Timestral,這是其首個時間序列基礎模型系列,共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上,於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一,且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測,支援僅過去與已知未來的共變量,可在無 GPU 的 CPU 上執行,並可透過 Mistral Forge 進行微調,同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。
推薦理由:Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點,宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一,為預測工作提供了規模與準確度的取捨參考。
Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。
推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。
Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B,取樣器分散於六種加速器類型(B200、B300、H100、H200、A100、RTX PRO 6000),精度涵蓋 NVFP4、FP8 與 BF16,並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰,但加入遮罩式重要性取樣與分數中心化(無論是否搭配 top-p 遮罩重播)後,訓練穩定進行至結束,並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準,每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍,作者主張穩定性取決於將不匹配程度維持在有界範圍內,而非維持在低水準。
Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。
推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。
Zyphra Research 顯示 MoE 路由具有高度結構性,同一層內被共同選中的專家彼此相關,且一個 token 的專家選擇能預測後續層的路由。透過相關專家放置與 token 重排來利用這一點,在 MI300X GPU 上的 Megatron-LM 實驗中,將全對全通訊時間最多縮短 2.63×,並將端到端訓練步進時間最多提升 1.41×,且不改變架構或路由決策。
Waymo 經同儕審查的研究發現,即使完全清醒的駕駛,夜間致命車禍風險仍比白天高出 3.1 至 3.9 倍;而移除酒精受損駕駛後,都市平均致命車禍涉入率可降低 23%,從每 1 億英里 1.42 起降至 1.10 起。另一項針對 2023 年 FARS 資料庫中 37,654 起致命案例的研究顯示,僅 8.2% 單純涉及人為行為因素。Waymo 將這些發現詮釋為對「安全系統方針」的支持,以及以零 BAC 人類基準來衡量自動駕駛的依據。
Meta 發表了六篇數學論文,這些論文是與數學家合作完成的,他們透過一般的 meta.ai 聊天介面,在 Thinking Mode 中使用 Muse Spark 1.1 和 1.2,沒有使用自訂的研究框架。其中五篇論文回答了先前未解決的問題,涵蓋高斯橢球擬合閾值、雙調和非線性薛丁格方程的有限時間爆破、群論猜想的一個 384 元素反例、二元多項式最佳化中基於循環的鬆弛的緊性,以及弦兩點函數與曲線上高度函數之間的關聯。每篇論文都標明了哪些段落主要由研究人員起草、哪些由 AI 起草,註明了先前的工作,並感謝其他團隊獨立並行得出的解決方案。
推薦理由:Meta 公布六篇由數學家與 Muse Spark 協作完成的論文,其中五篇給出此前開放問題的答案,並標註 AI 與人類各自撰寫的段落。
Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下,仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差,而全域 NoPE 注意力則學習查詢與鍵投影,將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好,並指向能外推到訓練序列長度之外的位置表徵。
Goodfire Research 開發了具序列感知能力的生物安全監控器,利用蛋白質語言模型嵌入來標記代理工作流程中令人擔憂的 DNA 或蛋白質序列。在以蛋白質毒素為核心打造的自訂雙用途基準上,這些監控器的表現優於前沿模型的安全防護機制,對良性請求的拒絕次數更少,在母體蛋白質已收錄於篩查資料庫的改寫序列上達到約 0.98 AUROC,且每條序列的執行時間為毫秒級。作者報告指出,隨著蛋白質模型能力提升,偵測效果也會改善,並說明改寫序列的結果依賴於電腦模擬估計,並未確認重新設計的蛋白質是否仍保有生物活性。
Markov Robotics 正在訓練一個世界模型,以實現零樣本通用機器人靈巧操作,使用的機器人資料不到十小時,而同等結果通常需要數千小時。該公司幾乎所有運算都在 Modal 上執行,從預處理數百 TB 的影片,到 2–10 個並行訓練任務,以及透過 Modal Tunnels 進行遠端推論,往返延遲約 20 毫秒。原本可能耗費一整天的預處理,現在只需二十到三十分鐘即可完成,並可同時展開到多達 500 個 GPU。
Botika 在 Modal 上運行其全端生成式 AI 業務,涵蓋 100 TB 的影像資料管線、數十億參數的自研基礎模型,以及約 15 個模型提供生產環境推論。該管線在數千個並行容器上處理該資料集,錯誤率低於 1%,而單一研究人員現在每天可執行 50 次實驗,而非過去的一到兩次。