Attention to Mamba：跨架構蒸餾的配方
Apple 研究人員提出一套兩階段配方，用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧，將預訓練的 Transformer 蒸餾成線性化 Attention 模型，再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能，困惑度達到 14.01，而教師模型為 13.86，但在依賴上下文回憶的任務上存在一些差距。
#数据/训练
Apple Machine Learning ResearchAI 評分3232
SemiAnalysisAI 評分5858 SemiAnalysis 發布 GDPx 基準，用於評估高價值領域的前沿代理能力
SemiAnalysis 發布 GDPx，這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準，由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%，其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠，Gemini 4 Carbon 在生物學與軟體工程領先，GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行，例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場，這與 OpenAI 的 GDPval 不同；SemiAnalysis 認為後者過度餵給上下文，且缺乏環境。
Sakana AI BlogAI 評分4040 Sakana AI 研討會：Jürgen Schmidhuber 談 AI 的過去與未來，日本進軍語言模型、世界模型與實體 AI
Sakana AI 於 2026 年 10 月 26 日在東京舉辦「從世界模型到真實世界 AI」研討會，首席科學顧問 Jürgen Schmidhuber 發表主題演講，Sakana AI 並宣布將開發自家預訓練語言模型系列 Sakana Sawara（暫定名稱）。首個小型模型 Sawara Small（暫定名稱）若開發順利，計畫於 2027 年春季發布。超過 400 人參與此次活動，會中還安排了 Schmidhuber 與執行長 David Ha 的對談。
Recode China AIAI 評分2222 CXMT 進軍 HBM3E，宇樹科技第三季營收成長 70%，中國股市下滑
CXMT 公布第三季淨利 544 億元人民幣、營收 1,187.1 億元人民幣，年增 613.2%；路透社稱其已向國內晶片設計商送出 HBM3E 樣品，儘管良率僅 20–30%，仍計劃在兩個月內進行有限量產。宇樹科技上市後首份財報顯示，第三季營收成長 69.9% 至 6.65 億元人民幣，研發支出增加約 250%。Moonshot 推出具備百萬 token 上下文窗口的 Kimi K3.1 Pro，隨後為速率限制致歉，並恢復訂閱用戶每月額度的四分之一。
Microsoft ResearchAI 評分4040 微軟打造合成企業資料平台以評估 Copilot
微軟的產業評估資料生成平台建立完整的合成企業環境，在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎，生成包含使用者、會議、電子郵件與文件的擬真租用戶，並搭配自動化查詢流程與品質框架。微軟表示，這為 Copilot 建立了首個標準化評估基準。
ChinaTalkAI 評分3838 中國一半的AI算力真的都花在垃圾內容上嗎？
一則瘋傳的說法指稱中國55%的AI token用於短劇和影片生成——此說法可追溯至COL集團6月的投資者電話會議——已引來字節跳動與《人民日報》的反駁，字節跳動稱影片生成僅占其自身算力約10%。2026年前八個月發布的約43萬部微短劇中，超過90%為AI製作，而在字節跳動的Seedance上，一段五秒720p片段約花費10萬個token。
Microsoft ResearchAI 評分2222 Microsoft Research Focus Edition #97：ForkPilot、CABRA、TeleTune 與工作中的 AI 應用
Microsoft Research Focus Edition #97 重點介紹 ForkPilot，這是一個可自我改進的代理式框架，在六項基準測試中達到現有最佳方法的表現，同時將 AI 處理需求降低多達 59%。本期亦涵蓋 CABRA，此框架顯示編碼代理仍難以理解不熟悉的程式碼庫，以及 TeleTune，其從使用者活動日誌中學習可重複使用的技能。本期也檢視 Copilot Chat 活動，其中文件編輯占已分類活動的 20% 以上。
Amazon ScienceAI 評分3838 加速旅遊應用的 LLM：Medusa 結合知識蒸餾
將知識蒸餾與 Medusa 框架結合，讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質，同時執行速度快 10 到 20 倍，成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成，此流程彌合了超過 90% 的品質差距，並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。
Meta Engineering BlogAI 評分4040 Meta Andromeda：Meta 新一代廣告檢索引擎每秒處理 10 億則廣告
Meta 詳細介紹了新一代 Andromeda——其個人化廣告檢索引擎，在生產環境中每秒可評分超過 10 億則廣告，相較 2024 年系統吞吐量提升 100 倍。新架構將受 LLM 啟發的混合專家模型引入檢索，以約少 300 倍的推論時 FLOPs 達到接近排序級別的模型效能，在單張 NVIDIA GH200 GPU 上每秒可處理超過 100 億則廣告。自 2025 年以來，Andromeda 已為 Facebook 帶來 2.4% 的轉換率提升。
Preferred Networks NewsAI 評分4040 Zenrin Group 與 Preferred Networks 締結業務與資本聯盟，融合地理空間數據與 AI
Zenrin、Zenrin DataCom 與 Preferred Networks 已簽署業務與資本聯盟協議，由 Zenrin 旗下公司認購 PFN 的第三方增資。合作夥伴將把持續更新的地理空間數據（包括歷史變更紀錄）與 PFN 的生成式 AI、實體 AI 及 3D 空間辨識技術相結合，打造能夠理解並預測現實世界變化的 AI 模型。初期重點領域包括公共部門、房地產、零售與流通，鎖定需求預測、門市選址與都市規劃、防災與物流模擬等應用。
Figma BlogAI 評分5858 Figma 如何訓練出精通 Figma 的設計編輯模型
Figma 詳細說明其如何為 Figma agent 訓練第一方設計編輯模型，做法是先以合成編輯請求進行監督式微調，這些請求以 Figma 原生檔案格式表示，並透過確定性檢查與視覺模型評審進行驗證。
Ai2 · Allen Institute for AIAI 評分4040 研究人員如何調整 olmOCR 2 以適用於歷史與考古檔案
研究人員正在調整 Ai2 的開源 olmOCR 2 模型，用以轉錄歷史與考古檔案。歷史學家 Maurice Casey 打造了 ArtificeOCR，讓 olmOCR 2 搭配 Tropy 在本機執行，使他收藏的檔案照片庫可供關鍵字搜尋；而維也納工業大學（TU Wien）的 CENTURIA 專案則以 LoRA 對 olmOCR 2 進行微調，使用 57 筆標註紀錄，將 450 筆測試紀錄的轉錄錯誤率從 15.58% 降至 1.11%。
Google ResearchAI 評分5858 Google Research 的睡眠框架讓 LLM 能鞏固新知識而不會災難性遺忘
Google Research 提出一套用於持續學習的睡眠框架，讓主動互動與離線記憶鞏固交替進行，使 LLM 能將新事實吸收進擴展的混合專家參數中，而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾，以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出，在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零，在 BABILong 上擴展到 1000 萬 token 時幾乎完美，在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%，在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。
Meta AI Research BlogAI 評分3030 Meta 支持五所美國大學的 AI 研究，以加速醫學與科學突破
Meta 正支持五所美國大學的研究——加州理工學院、俄亥俄州立大學醫學院、路易斯安那州立大學、印第安納大學與 UTHealth Houston——提供其最新 Muse 模型的使用權、研究人員合作與資金。研究人員將使用 Muse Spark Open、Muse Wonder、Muse Spark、30B 開放權重模型 Muse Glimmer，以及 SAM、V-JEPA、DINO、UMA 與 SeamlessM4T。研究項目涵蓋醫學、物理、化學、生物、電腦科學與數學，所有病患與臨床數據的控制權仍歸各大學所有。
Ai2 · Allen Institute for AIAI 評分5858 Ai2 研究測試 LLMs 是否能可靠判斷研究想法的創新性
Ai2 發布了 Old Ideas, Novel Problems，這是一項研究與基準，用來測試 LLMs 評估研究想法創新性的可靠程度，並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中，小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點，而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1，相比之下 Idea Novelty Checker 以 $30.66 達到 0.642，Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。
Redwood ResearchAI 評分2222 Redwood Research 主張應加速 AI 的概念推理能力
Redwood Research 主張，AI 的概念推理能力——諸如哲學這類缺乏可驗證基準真相的任務——應被差異化地加速發展，因為 AI 研發與接管對這類推理的依賴程度遠低於其他能力。該團隊表示，基本的引導技術與小規模訓練，就能讓模型在其主要概念推理基準上提升三到十二個月，而該領域目前被 AI 安全社群忽視且投資不足。
Epoch AI · Gradient UpdatesAI 評分5858 Epoch AI 以自身研究任務測試 AI，頂尖模型得分 65% 且全數未通過
Epoch AI 將其早先自動化資深研究員工作的嘗試擴展為 Epoch Automation Reports，以與人類員工相同的標準，在圖形設計和研究規劃等真實 Epoch 任務上評估 AI。1 和 GPT-6 Astra 在評分標準上平均得分 65%，但 65% 的分數仍算作任務失敗，因為若由人類提交，每份提交都會被拒絕或修改。
Anthropic Research精選AI 評分6565 Anthropic 報告利用 Claude 加速藥物開發的早期進展
Anthropic 的生命科學團隊花了數個月與六家藥物開發商合作，包括 Bristol Myers Squibb、Generate Biomedicines 和 Divergence Labs，並運行自家的探索計畫，以測試 Claude 能在何處加速藥物開發。回報的早期結果包括：Generate 設計出比標準版本縮短約 70% 的版本，讓免疫細胞製造約 10 倍的受體；以及為 Divergence 在約一個月內主要自主生成約 35,000 個抗體設計。Anthropic 表示，這項工作仍大多處於臨床前階段，並計畫隨著計畫推進，將 Claude 擴展至臨床試驗。
推薦理由：Anthropic 首次詳細說明將 Claude 嵌入真實藥物計畫的過程，顯示該模型在六個合作夥伴中哪些地方有幫助、哪些地方仍有不足。
SemiAnalysisAI 評分6060 SemiAnalysis 測試 Amazon Trainium3 的原生 PyTorch 訓練堆疊與 Neuron Explorer 效能分析工具
SemiAnalysis 的工程團隊在 TorchTitan 與 TorchNeuron 堆疊上測試了 Trainium3 機架，發現原生 PyTorch 體驗相較舊有的 PyTorch/XLA 做法有大幅改善，不過仍存在錯誤與編譯時間過長的問題。在編譯模式下，於 16 顆 Trainium2 晶片上訓練 Qwen3-32B 達到每秒 14,156 個 token、MFU 為 30.47%，相較 eager 模式提升 1.28 倍，而 gpt-oss 20B 配方則花了 27 分 17 秒編譯。團隊也將 Neuron Explorer 評為業界領先的效能分析工具，領先 Nvidia 與 AMD 的工具，並回報 Trainium3 通過了 96 個 FlexAttention 測試案例中的 89 個。
Ai2 · Allen Institute for AIAI 評分3131 LitPivot：Ai2 的系統協助研究人員透過文獻轉換研究方向
Ai2 與賓州大學的研究人員打造了 LitPivot，這套系統會圍繞研究提案中正在編輯的面向來組織檢索到的論文，並提出有文獻依據的修改建議。在一項有 17 位研究人員參與的研究中，領域專家評價以 LitPivot 發展出的想法，比用文字編輯器和 AI 聊天工具建立的想法更有文獻基礎。參與者也表示，他們修改後的想法更具新穎性和實用性，而 LitPivot 將在 UIST 2026 發表。
Amazon ScienceAI 評分3838 TorchNeuron 背後的科學：Amazon 為 AWS Trainium 晶片打造的全新 PyTorch 後端
Amazon 發布了 TorchNeuron，這是一個開源的 PyTorch 後端，能將 PyTorch 程式碼轉換為可在 AWS Trainium 系統上執行的操作，且幾乎或完全無需修改程式碼。它新增了一個可選用的自適應 eager 模式，會將操作分組並編譯，以達到接近編譯後的效能，另外還有多層 NEFF 快取；在一項 64 程序的 LLM 測試中，共享編譯服務將首次訓練步驟的時間縮短了約三分之一。Annapurna 團隊使用從數十萬個開源模型中精選出的 841 個代表性模型，對其進行了調校與基準測試。
Modal Blog精選AI 評分7171 Modal 發布 Spindle，一個開源、相容於 Tinker 的訓練伺服器
Modal 發布了 Spindle，這是一個開源、相容於 Tinker 的訓練伺服器，可在客戶的 Modal 工作區中運行，讓團隊能自訂技術堆疊，並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA，Modal 表示，在一個 DAPO-math GRPO 任務上，讓 8 個客戶端共用一個訓練器，相較於 Tinker，每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段，並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。
推薦理由：Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案，以 GPU 時間取代按 token 計費，據稱多 LoRA 共用可將成本最多降低 80%。
Ai2 · Allen Institute for AIAI 評分5858 Ai2 發布 OlmoEarth v1.3 衛星嵌入模型，附全球預先計算嵌入與瀏覽器探索工具
Ai2 發布 OlmoEarth v1.3，這是一款衛星嵌入模型，能將一整年的 Sentinel-1、Sentinel-2 與 Landsat 時間序列，轉換為每個 10 公尺像素一個 128 維向量，其中前 64 維可作為較小的嵌入使用。Ai2 預先計算了全球的年度嵌入並發布於 Source Cooperative，其 128 維嵌入在 27 項評估中的 20 項拿下最高分，對手包括 AlphaEarth Foundations 與 Tessera v2，其中也包含一項名為 PLANTEUR 的熱帶作物新基準。此次發布還包括 OlmoEarth Embeddings Explorer，這是一款免登入的瀏覽器工具，可比較不同年份、尋找相似地點，並即時訓練小型分類器，涵蓋 2025、2024 與 2023 年全球範圍，以及 2017 至 2022 年部分國家；權重、預訓練資料與程式碼皆為開放。
inclusionAI ModelsAI 評分5858 inclusionAI 發布 Ling-3.0-flash-Sante，一款 124B 醫療專業化 MoE 模型
inclusionAI 發布 Ling-3.0-flash-Sante，這是一款以 Ling-3.0-flash 為基礎打造的醫療專業化模型，總參數 124B、每 token 激活參數 5.1B，權重已上架 Hugging Face 與 ModelScope。它採用混合線性 MoE 架構，結合 Kimi Delta Attention、門控 MLA 與稀疏 MoE 層，訓練上下文達 256K tokens，預設啟用思考模式，並可透過相容的服務框架進行工具呼叫。該公司將其標示為研究模型而非醫療器材，並表示其輸出不得取代專業醫療建議、診斷或治療。
Microsoft Research精選AI 評分6464 微軟研究院與共同作者證明31年前的KLS猜想
微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits（KLS）猜想，這是高維幾何中懸而未決31年的問題，證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程，其中AI代理探索了超過100種候選方法，而研究人員則進行篩選並重新引導搜尋；另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現，隨後並發布了Lean 4形式化。
推薦理由：高維幾何中懸而未決31年的問題，透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決，並有獨立證明與Lean形式化作為確認。
Anthropic NewsroomAI 評分2828 Anthropic 開放生命科學客座研究員徵求申請
Anthropic 邀請學術機構、非營利組織與政府實驗室的首席研究員及其研究團隊，申請為期 8 至 12 週的客座研究員計畫，運用 Claude 於因果人類生物學、結構與計算分子生物學、藥物化學、藥物發現及臨床科學等領域。Anthropic 將免費提供其模型與工具框架，成果將以開源資料與程式碼形式發表，研究員則保留其資料的權利。申請開放約 14 天，獲選者將於截止後約 14 天以電子郵件通知。
Modal BlogAI 評分5858 Modal 推出 Dojo，一個用於生產級 LLM 訓練的函式庫
Modal 發布了 Modal Dojo，這是一個訓練函式庫，提供建構模組、調校過的預設配方，以及可觀測性儀表板，用於生產級的 LLM 後訓練。它建構在開源框架 Miles 和 Slime 之上，支援從五億到數兆參數的模型，並提供 API 和 CLI，讓代理可以驅動以啟動和除錯執行。Modal 表示 Axiom Bio 使用它擴展到 64k 上下文的 DeepSeek V4.1 Flash 在 64 台 B300 上執行，而 Afterquery 以 256k 上下文長度訓練 Kimi 和 DeepSeek。
Apple Machine Learning ResearchAI 評分2626 TEAL：適用於低預算語意分割的 Token 空間高效主動學習
Apple 研究人員（與 University of Waterloo 合作）提出 TEAL，這是首個建構於凍結 ViT 表徵之上的像素級主動學習框架，透過兩級 MaxHerding 策略直接在原生 token 晶格上選取多樣化候選，並以基於 margin 的不確定性進行精煉。在每張影像僅標註一個像素的情況下，TEAL 在 CamVid、Cityscapes、ADE20K 與 Pascal Context 上相較最強基線最高提升 +24.36 mIoU，僅用 10 px 即達到全監督效能的最高 97%。
Google Developers Blog精選AI 評分6060 Google 將 TorchTitan 接入 TorchTPU，並發布 TPU 模型最佳化手冊
Google 發布了 Meta TorchTitan 的 TPU 分支版本，可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練，並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU，Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU，FLUX.1 在 1,024 顆晶片上達到 19.4% MFU，弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/，另有 Transformers 建模後端與 agent 上手技能，可將同一訓練器延伸至其他檢查點。
推薦理由：Google 與 Meta 合作把 TorchTitan 移植到 TPU，並給出從 FLUX.1 到 Qwen3 235B 的逐級調優路徑與 MFU 數字，可作為 PyTorch 團隊評估 TPU 訓練可行性的參考。
Google Research精選AI 評分7171 Google Research 概述 VERID 與閉環代理工作流程，用於自主濕實驗室
Google Research 描述了三個旨在將 AI 代理紮根於真實濕實驗室實驗的專案，包括 VERID 框架——一個建構於開源 PyLabRobot 框架上的實驗室工作單元語義數位孿生，可追蹤平台佈局、孔槽體積與吸頭庫存，並在執行前對協議進行乾跑。
推薦理由：Google Research 概述了三個將 AI 代理連接至真實濕實驗室硬體的專案，展示模擬乾跑與閉環實驗如何讓代理修正自身的設計規則。
Big TechnologyAI 評分4242 Rivian 執行長 RJ Scaringe：機器人技術的進展遠比你想像的快得多
Rivian 執行長 RJ Scaringe 表示，機器人技術的進展將「遠、遠、遠、遠比」世人預期的更快，並指出如今的機器人已能透過基於 transformer 的模型學習廣泛且可泛化的技能。他於 2025 年創立的初創公司 Mind Robotics 募得 10 億美元，用來打造賣給製造商的雙臂工業機器人，並在 Rivian 的工廠內訓練這項技術。
Mistral AI精選AI 評分7171 Mistral 發布 Timestral 時間序列基礎模型，在 GIFT-Eval、TIME 與 fev-bench 上奪冠
Mistral 發布 Timestral，這是其首個時間序列基礎模型系列，共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上，於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一，且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測，支援僅過去與已知未來的共變量，可在無 GPU 的 CPU 上執行，並可透過 Mistral Forge 進行微調，同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。
推薦理由：Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點，宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一，為預測工作提供了規模與準確度的取捨參考。
Goodfire Research精選AI 評分6262 Goodfire 研究文章主張神經網路本來就是乾淨的，而疊加現象被誤讀了
Goodfire 研究員主張，神經網路中多義性與疊加現象的經典證據被誤讀了，那些看似任意堆疊的現象，大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後，其最後一層 99-100% 的神經元都變得易於解讀；而對 Qwen3-32B 的初步稽核估計，約 90% 的神經元極性只有一項主要職責。文章結論認為，網路只使用一種學習原理而非兩種，因此可解釋性研究可以直接研究神經元與電路，而不必先訓練稀疏自編碼器等分解模型。
推薦理由：這是對該領域經典多義性證據的第一手重新詮釋，主張網路是遞迴地泛化，而非把不相干的概念堆疊在一起，這將使直接的機制性研究變得可行。
Modal BlogAI 評分5858 Modal 在 Qwen3.6-35B-A3B 上測試混合精度、混合加速器的 RL 取樣器
Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B，取樣器分散於六種加速器類型（B200、B300、H100、H200、A100、RTX PRO 6000），精度涵蓋 NVFP4、FP8 與 BF16，並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰，但加入遮罩式重要性取樣與分數中心化（無論是否搭配 top-p 遮罩重播）後，訓練穩定進行至結束，並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準，每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍，作者主張穩定性取決於將不匹配程度維持在有界範圍內，而非維持在低水準。
Amazon Science精選AI 評分7575 Amazon Web Services 研究人員提出 priming，將預訓練 Transformer 轉換為混合狀態空間模型，無需完整重新訓練
Amazon Web Services 研究人員提出 priming，此方法重用預訓練 Transformer 權重，將混合狀態空間架構的預訓練成本降低超過 99%，僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中，Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2，而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當，同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。
推薦理由：Amazon Web Services 研究人員展示，重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%，使狀態空間層的受控比較變得可行。
Epoch AI · Gradient UpdatesAI 評分6565 Epoch AI 的 InnovationEval 發現，前沿代理在自動化 AI 研發上僅達到 SDPO 增益的 15%
6 Sol 與 Fable 5 各自獨立重新發現了一種可與自蒸餾策略優化（SDPO）相媲美的新型後訓練技術，兩者分別在無網際網路連線的沙箱中獲得 3,000 GPU 小時。6 Sol 的方法主要抄襲自先前的研究，在針對較慢的訓練速度進行調整後，僅達到 SDPO 增益的 15%，而 Fable 5 的技術則未能提升效能。
Epoch AI · Gradient UpdatesAI 評分2222 Epoch Brief，2026年10月8日：AI 代理數量估計、AI 成本下降，以及中國晶片曝險
Epoch AI 估計，到 2027 年出貨的 AI 晶片可支援約 3,000 萬至 1.7 億個同時運行的前沿模型代理；若改用較便宜的模型，則可支援近 20 億個。其研究還發現，固定水準的 AI 效能成本在過去三年間每季下降約 47%，相當於每年約 13 倍。另外，Epoch 估計中國對半導體供應衝擊的曝險是美國的 2.7 倍。
Zyphra ResearchAI 評分3636 Zyphra Research：專家耦合減少 MoE 預訓練通訊
Zyphra Research 顯示 MoE 路由具有高度結構性，同一層內被共同選中的專家彼此相關，且一個 token 的專家選擇能預測後續層的路由。透過相關專家放置與 token 重排來利用這一點，在 MI300X GPU 上的 Megatron-LM 實驗中，將全對全通訊時間最多縮短 2.63×，並將端到端訓練步進時間最多提升 1.41×，且不改變架構或路由決策。
Waymo BlogAI 評分3030 Waymo 研究：清醒駕駛夜間致命車禍風險仍高出近 4 倍
Waymo 經同儕審查的研究發現，即使完全清醒的駕駛，夜間致命車禍風險仍比白天高出 3.1 至 3.9 倍；而移除酒精受損駕駛後，都市平均致命車禍涉入率可降低 23%，從每 1 億英里 1.42 起降至 1.10 起。另一項針對 2023 年 FARS 資料庫中 37,654 起致命案例的研究顯示，僅 8.2% 單純涉及人為行為因素。Waymo 將這些發現詮釋為對「安全系統方針」的支持，以及以零 BAC 人類基準來衡量自動駕駛的依據。
Epoch AI · Gradient UpdatesAI 評分5858 Epoch AI：未來兩年建置的算力可運行數億個 AI 代理
Epoch AI 估計，未來兩年產出的 AI 算力可支援數千萬至數億個同時運行當今最強模型的代理，或數十億個運行較便宜模型的代理。該分析採用 2025 年至 2027 年預估的 HBM 出貨量，統計 GB300 等效 GPU，發現頂級代理不間斷運行可提供約 1.4 億至 7 億名全職員工的每週工時，而以 DeepSeek V4 Pro 服務基準推估則約可支援 19 億個同時運行的代理。報告指出，關鍵不確定性在於需求成長是否夠快、足以支撐這波建置，還是會留下過剩的代理。