跳至正文
11月13日星期五
  1. Hacker News · AI58

    研究發現2026年上半年13.7%的新npm套件存在AI風格的過時版本鎖定

    Kobi Mozgori抽樣25萬個npm套件後發現,新套件中鎖定的依賴版本多為已被取代的整數x.0.0版本的比例,從2019年至2024年初的1–2.4%基準,上升至2026年上半年的13.7%,並在2026年下半年至11月初降至7.6%。2021–2023年期間,鎖定依賴版本在套件誕生時的中位數年齡約為155天,但2026年第二季度為451天;而誕生時幾乎所有鎖定版本都指向最新發行版的套件比例,從約28%降至約10%。作者將此模式視為推論而非證明,因為註冊表元數據無法顯示是誰或什麼撰寫了清單,並指出2026年中期以來的下降尚未得到解釋。

  2. Hacker News · AI85

    取證分析將六個中國前沿模型與受出口管制的 NVIDIA Blackwell GPU 相關聯

    Unemployment Labs 對已發布模型權重的取證分析發現,來自 DeepSeek、Moonshot AI、MiniMax 和螞蟻集團的六個模型是在 NVIDIA Blackwell 硬體上初始化,而同一批實驗室較早的模型則與 Hopper 相符。該方法從保留的權重中還原每個模型的隨機種子和執行緒佈局,作者表示這些匹配已在實體 H100、B300 和 GB200 晶片上重現。報告估計每次訓練運行在兩到三個月內需要大約 500 到 3,000 塊 Blackwell GPU,並指出這些證據並未確定晶片所在位置,也未確定是否違反了出口管制。

    推薦理由:該報告僅從已發布的模型權重中得出硬體證據,提供了一種可重現的方法,無需依賴洩露即可追蹤是哪種 GPU 初始化了模型。

11月12日星期四
  1. MIT News34

    MIT研究人員開發訓練技術,打造更快、更值得信賴的氣候模擬器

    MIT研究人員開發出一種訓練技術,能提升AI氣候模擬器的效能與適應性,同時僅需使用通常所需資料的一小部分。該方法會生成經過優化的合成訓練情境,其中包含快速的排放變化,讓以遠少於以往資料訓練的模擬器能準確預測傳統模擬器失敗的未見情境。這項研究發表於《美國國家科學院院刊》。

  2. Google Research58

    Google Research 利用穿戴式裝置建立 CKM 風險概況與個人化指導

    Google Research 提出一套研究性框架,可將消費級穿戴式裝置資料轉化為可據以指導的健康年齡,並模擬個人化的 12 週「假設情境」健康軌跡。SensorWM 世界模型以約 10 萬名使用者、共 228 萬人週的去識別化 Fitbit 資料進行預訓練,能在不同的步數、睡眠與有氧作息下預測 20 項生理指標。在一項盲測研究中,生活型態教練在 71.4% 的評估中選擇以反事實為依據的計畫為整體最佳,醫師則評定 99.2% 的計畫落在安全運動強度範圍內;作者指出這些模型屬於研究原型,並非臨床診斷工具。

11月11日星期三
  1. inclusionAI Models40

    inclusionAI 發布 ZoomGain-9B 與 ZoomGain-4B 模型,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點,同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題,而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。

  2. inclusionAI Models38

    inclusionAI 發布 ZoomGain-4B 與 ZoomGain-9B,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 arXiv 論文、ZoomGainBench 評估基準、RL 訓練資料集,以及 ZoomGain-4B/ZoomGain-9B 模型檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多個細粒度與通用感知基準上達到更優表現。ZoomGain 挖掘從全局到縮放的感知落差,為視覺語言模型建立細粒度視覺監督。

  3. Microsoft Research75

    微軟研究人員描述 Lazarus:一種重新程式化 AI 代理中休眠神經元的後門

    微軟研究人員描述了 Lazarus,這是一種後門技術,可重新程式化 LLM 中不到 10 個休眠神經元,使建構於其上的代理在出現隱藏觸發條件時發出攻擊者指令,且無需重新訓練。修改後的模型仍能通過標準評估,並在觸發前表現正常,觸發條件可以簡單到只是日期變更,隨後代理便以其被賦予的任何權限執行下載的程式碼。作者表示,偵測需要與原始權重進行差異比對,而 Microsoft Foundry 已將開放權重模型與其發行商綁定並掃描其容器,同時紅隊測試框架、基於代理的權重掃描以及具備防篡改來源證明的簽署模型正在開發中。

    推薦理由:微軟研究人員展示,重新程式化不到 10 個休眠神經元即可在無需重新訓練的情況下對 LLM 代理植入後門,這使得權重來源與完整性成為實際的安全需求。

11月10日星期二
  1. Apple Machine Learning Research34

    用於高效長上下文檢索的加權狀態湯

    Apple 研究人員與哈佛合作者提出加權狀態湯(weighted state souping),此方法學習依查詢而定的權重,用以重新組合快取的 SSM 狀態編碼,在單跳與多跳文件問答、大海撈針檢索、變數追蹤與工具使用上提升長上下文表現。一種稀疏變體在編碼成本相對於上下文長度幾乎恆定的情況下,仍維持、有時甚至提升表現。該論文獲 NeurIPS 2026 的 PALM workshop 接受。

  2. Apple Machine Learning Research38

    Apple 研究:門控機制解釋了為何 SSM 會記憶而非進行上下文學習

    一項 Apple 與哈佛的研究顯示,狀態空間模型(SSM)中的門控機制會使其先學到一種權重內的「記憶」解法,延遲甚至阻止其收斂到正確的上下文學習。即使架構與記憶容量並未施加任何根本限制,此現象依然發生。然而,門控往往能改善對長序列長度的泛化能力。

  3. Apple Machine Learning Research31

    Apple 研究評估 LLM 評審於個人化寫作風格評估的表現

    Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現,使用四種 LLM 針對三項長篇寫作任務生成文本,並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關(Pearson's ρ ≤ 0.2),且隨寫作任務與評估標準而異,成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估,可能是因為對細微細節的敏感度被誇大。

  4. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月9日星期一
  1. Hugging Face Blog38

    NVIDIA 與 Elith 發布 Nemotron-Personas-Finance-Japan 合成資料集

    Elith 與 NVIDIA 發布 Nemotron-Personas-Finance-Japan,這是一個以政府官方統計資料為基礎、針對日本金融業打造的開放合成人物資料集。它包含 50 個領域、約 15 億個 token 的 900 萬個人物(100 萬筆記錄 × 9 個人物),以 NeMo SDG-PGMs 與 NeMo Data Designer 生成,並以 CC BY 4.0 授權提供商業使用。

  2. inclusionAI Repositories38

    ZoomGain:挖掘全域到縮放感知落差以實現細粒度視覺監督

    ZoomGain 利用只有放大後才會清晰的視覺細節,針對整張影像建構問題,並將這種全域到縮放的感知落差作為視覺語言模型的監督訊號。本次發布包含 arXiv 論文、ZoomGainBench 基準(1,000 道問題,涵蓋 941 張影像,涉及屬性辨識、計數與 OCR)、涵蓋 7,713 張來源影像的 9,000 筆 RL 訓練紀錄,以及 ZoomGain-4B 與 ZoomGain-9B 檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。

11月8日星期日
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 發布,新增 Decision Score 與私有基準測試

    Artificial Analysis 發布 Decision Index v2,該指數目前有 45% 建立於私有資料集上,高於 v1 的 25%。Nace AI 的 Drex Max v1.1 以 73 分微幅領先各決策模型,與 GLiDE v1.2 和 Mammoth 27B 的差距在 1 分以內。新的 Decision Score 同時獎勵正確性與校準後的信心度,而 AA-Paperclip 與 AA-Symmetry 則新增了私有文件與一致性測試。

11月6日星期五
  1. Hugging Face Blog58

    Ai2 發布 ToyBlocks,一個用於機器人學習的開放模擬積木操作世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面積木構建的開放模擬框架,是其 FoundationWorlds 系列中用於受控機器人學習與評估的首個成果。該框架在 Isaac Lab 中透過強化學習與運動規劃自動生成技能與示範,在單一 GPU 上可達最高 24 倍即時速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在其實驗中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在真實 Franka FR3 上為 81.1%;而 Molmo 2 加 ManiFlow 系統在模擬與真實世界回合中的成功率分別為 55.5% 與 50.0%。

  2. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

11月5日星期四
  1. Apple Machine Learning Research38

    Apple 的學習式支撐函數加速 RAG 檢索

    Apple 研究人員在 ICML 2026 發表了「Amortizing Maximum Inner Product Search with Learned Support Functions」,透過離線訓練小型神經網路,將查詢更快地導向最匹配的鍵。SupportNet 透過輸入凸神經網路(ICNNs)學習支撐函數,以改善叢集路由;KeyNet 則直接輸出最匹配的鍵向量,並藉由歐拉定理得出的一致性損失,使其在幾何上保持有據。兩者皆在實際查詢分布上訓練,以預先攤提的成本換取推論時更快、更準確的檢索。

  2. Google Research47

    Google Research 的 Agile Deliberation 協助人類定義主觀的 AI 類別

    Google Research 推出 Agile Deliberation,這是一套框架,將主觀 AI 分類器的建立轉化為反覆對話,由 AI 協助使用者釐清自己的定義。它將任務拆分為概念範疇界定與概念迭代,運用視覺語言模型找出邊界案例影像,並將回饋導入自動提示優化迴圈。在 18 場各 1.5 小時的實際使用者工作坊中,此方法減輕了使用者的疲勞與焦慮,並產出更一致的模型,表現優於標準基準;程式碼已在 GitHub 開源。

  3. Anthropic Research58

    Anthropic 研究研究人員如何在各科學領域與任務中使用 Claude

    Anthropic 使用隱私保護分類器,分析了 2026 年 8 月 2 日至 9 月 30 日期間的 207,049 個 Claude 與 Claude Code 研究會話,發現科學家最常將 Claude 用於資料分析與寫作,最少用於資料蒐集與構思。資料分析佔 Claude 會話的 33.7%、Claude Code 會話的 48.1%,而研究人員投入的時間佔 27.6%;構思則佔會話的 4.2% 與 2.1%,研究人員投入的時間佔 7.1%。報告估計,廣泛採用現有能力可能使某些領域的研究產出大致翻倍,而完全自動化非實體工作可能使電腦科學與統計學等領域提升多達 15 倍。

  4. Goodfire Research58

    Goodfire Research 提出機制塑造,透過內部表徵引導模型

    Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。

11月4日星期三
  1. Anthropic Research66

    Anthropic 生物實驗室以 Claude 解出首個原核生物穹頂顆粒結構

    Anthropic 的生物研究實驗室報告了原核細胞中穹頂顆粒(vault particle)的首個三維結構,這是一種名為 L05 的噬菌體蛋白,由 96 個拷貝組成,質量約 9.5 兆道爾頓。在團隊指導下,Claude 搜尋了約 150 億個預測蛋白質的資料庫、設計了 DNA 構建體、優化了尺寸排阻層析分離法,將純化時間從三天縮短到約 90 分鐘,並執行了 RELION 冷凍電鏡處理,在 34 小時內產出首個完整模型。該預印本已提交至 bioRxiv,團隊表示這些穹頂顆粒的生物學功能仍未知。

    推薦理由:Anthropic 的生物實驗室報告了原核生物穹頂顆粒的首個三維結構,Claude 負責資料庫搜尋、構建體設計、純化與冷凍電鏡處理。

11月3日星期二
  1. Ai2 · Allen Institute for AI55

    Ai2 發布 StateBench,用於測試語言模型如何在長文件中追蹤狀態變化

    Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。

  2. Apple Machine Learning Research32

    Attention to Mamba:跨架構蒸餾的配方

    Apple 研究人員提出一套兩階段配方,用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧,將預訓練的 Transformer 蒸餾成線性化 Attention 模型,再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能,困惑度達到 14.01,而教師模型為 13.86,但在依賴上下文回憶的任務上存在一些差距。

11月2日星期一
  1. SemiAnalysis58

    SemiAnalysis 發布 GDPx 基準,用於評估高價值領域的前沿代理能力

    SemiAnalysis 發布 GDPx,這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準,由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%,其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠,Gemini 4 Carbon 在生物學與軟體工程領先,GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行,例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場,這與 OpenAI 的 GDPval 不同;SemiAnalysis 認為後者過度餵給上下文,且缺乏環境。

10月30日星期五
  1. Microsoft Research40

    微軟打造合成企業資料平台以評估 Copilot

    微軟的產業評估資料生成平台建立完整的合成企業環境,在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎,生成包含使用者、會議、電子郵件與文件的擬真租用戶,並搭配自動化查詢流程與品質框架。微軟表示,這為 Copilot 建立了首個標準化評估基準。

  2. Amazon Science38

    加速旅遊應用的 LLM:Medusa 結合知識蒸餾

    將知識蒸餾與 Medusa 框架結合,讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質,同時執行速度快 10 到 20 倍,成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成,此流程彌合了超過 90% 的品質差距,並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。

10月28日星期三
  1. Google Research58

    Google Research 的睡眠框架讓 LLM 能鞏固新知識而不會災難性遺忘

    Google Research 提出一套用於持續學習的睡眠框架,讓主動互動與離線記憶鞏固交替進行,使 LLM 能將新事實吸收進擴展的混合專家參數中,而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾,以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出,在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零,在 BABILong 上擴展到 1000 萬 token 時幾乎完美,在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%,在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。

10月27日星期二
  1. Ai2 · Allen Institute for AI58

    Ai2 研究測試 LLMs 是否能可靠判斷研究想法的創新性

    Ai2 發布了 Old Ideas, Novel Problems,這是一項研究與基準,用來測試 LLMs 評估研究想法創新性的可靠程度,並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中,小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點,而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 $30.66 達到 0.642,Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。

  2. Epoch AI · Gradient Updates58

    Epoch AI 以自身研究任務測試 AI,頂尖模型得分 65% 且全數未通過

    Epoch AI 將其早先自動化資深研究員工作的嘗試擴展為 Epoch Automation Reports,以與人類員工相同的標準,在圖形設計和研究規劃等真實 Epoch 任務上評估 AI。1 和 GPT-6 Astra 在評分標準上平均得分 65%,但 65% 的分數仍算作任務失敗,因為若由人類提交,每份提交都會被拒絕或修改。

10月23日星期五
  1. Ai2 · Allen Institute for AI31

    LitPivot:Ai2 的系統協助研究人員透過文獻轉換研究方向

    Ai2 與賓州大學的研究人員打造了 LitPivot,這套系統會圍繞研究提案中正在編輯的面向來組織檢索到的論文,並提出有文獻依據的修改建議。在一項有 17 位研究人員參與的研究中,領域專家評價以 LitPivot 發展出的想法,比用文字編輯器和 AI 聊天工具建立的想法更有文獻基礎。參與者也表示,他們修改後的想法更具新穎性和實用性,而 LitPivot 將在 UIST 2026 發表。

10月22日星期四
  1. Microsoft Research64

    微軟研究院與共同作者證明31年前的KLS猜想

    微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits(KLS)猜想,這是高維幾何中懸而未決31年的問題,證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程,其中AI代理探索了超過100種候選方法,而研究人員則進行篩選並重新引導搜尋;另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現,隨後並發布了Lean 4形式化。

    推薦理由:高維幾何中懸而未決31年的問題,透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決,並有獨立證明與Lean形式化作為確認。

10月21日星期三
  1. Apple Machine Learning Research26

    TEAL:適用於低預算語意分割的 Token 空間高效主動學習

    Apple 研究人員(與 University of Waterloo 合作)提出 TEAL,這是首個建構於凍結 ViT 表徵之上的像素級主動學習框架,透過兩級 MaxHerding 策略直接在原生 token 晶格上選取多樣化候選,並以基於 margin 的不確定性進行精煉。在每張影像僅標註一個像素的情況下,TEAL 在 CamVid、Cityscapes、ADE20K 與 Pascal Context 上相較最強基線最高提升 +24.36 mIoU,僅用 10 px 即達到全監督效能的最高 97%。

10月17日星期六
  1. Google Research71

    Google Research 概述 VERID 與閉環代理工作流程,用於自主濕實驗室

    Google Research 描述了三個旨在將 AI 代理紮根於真實濕實驗室實驗的專案,包括 VERID 框架——一個建構於開源 PyLabRobot 框架上的實驗室工作單元語義數位孿生,可追蹤平台佈局、孔槽體積與吸頭庫存,並在執行前對協議進行乾跑。

    推薦理由:Google Research 概述了三個將 AI 代理連接至真實濕實驗室硬體的專案,展示模擬乾跑與閉環實驗如何讓代理修正自身的設計規則。

10月15日星期四
  1. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的,而疊加現象被誤讀了

    Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。

    推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。

10月13日星期二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上測試混合精度、混合加速器的 RL 取樣器

    Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B,取樣器分散於六種加速器類型(B200、B300、H100、H200、A100、RTX PRO 6000),精度涵蓋 NVFP4、FP8 與 BF16,並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰,但加入遮罩式重要性取樣與分數中心化(無論是否搭配 top-p 遮罩重播)後,訓練穩定進行至結束,並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準,每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍,作者主張穩定性取決於將不匹配程度維持在有界範圍內,而非維持在低水準。

  2. Amazon Science75

    Amazon Web Services 研究人員提出 priming,將預訓練 Transformer 轉換為混合狀態空間模型,無需完整重新訓練

    Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。

10月10日星期六
  1. Epoch AI · Gradient Updates65

    Epoch AI 的 InnovationEval 發現,前沿代理在自動化 AI 研發上僅達到 SDPO 增益的 15%

    6 Sol 與 Fable 5 各自獨立重新發現了一種可與自蒸餾策略優化(SDPO)相媲美的新型後訓練技術,兩者分別在無網際網路連線的沙箱中獲得 3,000 GPU 小時。6 Sol 的方法主要抄襲自先前的研究,在針對較慢的訓練速度進行調整後,僅達到 SDPO 增益的 15%,而 Fable 5 的技術則未能提升效能。

10月8日星期四
  1. Zyphra Research36

    Zyphra Research:專家耦合減少 MoE 預訓練通訊

    Zyphra Research 顯示 MoE 路由具有高度結構性,同一層內被共同選中的專家彼此相關,且一個 token 的專家選擇能預測後續層的路由。透過相關專家放置與 token 重排來利用這一點,在 MI300X GPU 上的 Megatron-LM 實驗中,將全對全通訊時間最多縮短 2.63×,並將端到端訓練步進時間最多提升 1.41×,且不改變架構或路由決策。

  2. Waymo Blog30

    Waymo 研究:清醒駕駛夜間致命車禍風險仍高出近 4 倍

    Waymo 經同儕審查的研究發現,即使完全清醒的駕駛,夜間致命車禍風險仍比白天高出 3.1 至 3.9 倍;而移除酒精受損駕駛後,都市平均致命車禍涉入率可降低 23%,從每 1 億英里 1.42 起降至 1.10 起。另一項針對 2023 年 FARS 資料庫中 37,654 起致命案例的研究顯示,僅 8.2% 單純涉及人為行為因素。Waymo 將這些發現詮釋為對「安全系統方針」的支持,以及以零 BAC 人類基準來衡量自動駕駛的依據。

10月3日星期六
  1. Epoch AI · Gradient Updates58

    Epoch AI:未來兩年建置的算力可運行數億個 AI 代理

    Epoch AI 估計,未來兩年產出的 AI 算力可支援數千萬至數億個同時運行當今最強模型的代理,或數十億個運行較便宜模型的代理。該分析採用 2025 年至 2027 年預估的 HBM 出貨量,統計 GB300 等效 GPU,發現頂級代理不間斷運行可提供約 1.4 億至 7 億名全職員工的每週工時,而以 DeepSeek V4 Pro 服務基準推估則約可支援 19 億個同時運行的代理。報告指出,關鍵不確定性在於需求成長是否夠快、足以支撐這波建置,還是會留下過剩的代理。