跳至正文
11月13日星期五
  1. Microsoft Research22

    Microsoft Research Focus Edition #98:AI 翻譯、KLS 猜想證明與更快的編碼代理

    Microsoft Research Focus Edition #98 重點介紹了讓通用翻譯更接近現實的 AI 進展,以及一項解決高維幾何中懸而未決 31 年的 KLS 猜想的新證明。本期還涵蓋 CompactionBench 與 APEC,它們將編碼代理的上下文壓縮成本降低多達 25.4%,執行時間縮短 9.6%,以及 Latent Core Tokenizer,它在 104 種語言上改進了分詞。

11月12日星期四
  1. OpenAI Alignment Blog58

    OpenAI 使用自動化紅隊測試來提升 GPT-6 Astra 與 Sol 的模糊穩健性

    OpenAI 研究人員描述,自動化紅隊測試以 GPT-5.6 Sol 系列推理模型作為攻擊方,對 GPT-5.4 與 GPT-5.5 防守方進行攻擊,產生合成越獄,並將其用作 GPT-6 Astra 與 Sol 的強化學習訓練資料。在先前針對 GPT-5.4 與 5.5 的攻擊所產生的固定越獄上,GPT-6 Astra 在網路安全方面有 91.5% 安全作答,而 GPT-5.6 Sol 為 59%;且在自適應多輪評估中,它在所有攻擊方預算下都保持更穩健。OpenAI 報告指出,穩健性訓練並未提高對良性任務的拒答率,並引用 GPT-6 Astra 系統卡中安全與有用性方面的帕雷托改進。

  2. Apple Machine Learning Research38

    語言模型對齊的理論極限

    Apple Machine Learning Research 的研究人員推導出 KL 正則化語言模型對齊的資訊理論極限,給出在固定 KL 預算下最大期望獎勵增益的閉式表達式,該增益由 Jeffreys 散度項決定,而非先前分析中使用的 √KL。他們證明理想對齊與代理對齊之間的差距(獎勵駭客)會隨獎勵誤差增大和 KL 懲罰減小而擴大,並證明獎勵集成可緩解此問題。在安全與摘要任務上,best-of-N 緊密接近理論極限,而 PPO 與 GRPO 仍顯著次優。

  3. Google Research58

    Google Research 利用穿戴式裝置建立 CKM 風險概況與個人化指導

    Google Research 提出一套研究性框架,可將消費級穿戴式裝置資料轉化為可據以指導的健康年齡,並模擬個人化的 12 週「假設情境」健康軌跡。SensorWM 世界模型以約 10 萬名使用者、共 228 萬人週的去識別化 Fitbit 資料進行預訓練,能在不同的步數、睡眠與有氧作息下預測 20 項生理指標。在一項盲測研究中,生活型態教練在 71.4% 的評估中選擇以反事實為依據的計畫為整體最佳,醫師則評定 99.2% 的計畫落在安全運動強度範圍內;作者指出這些模型屬於研究原型,並非臨床診斷工具。

  4. Google Developers Blog58

    Google Agent Anomaly Detection 在五項公開代理安全基準測試中的評分

    Google 讓其 Agent Anomaly Detection(於 Gemini Enterprise Agent Platform 上進行 Private Preview)接受五項並非由 Google 撰寫的公開代理安全基準測試,共評分 1,774 個工作階段。它標記出代理實際執行之有有害指令中的 87%,對 2% 至 16% 的良性工作階段發出誤報,且在 18 個因長期記憶遭投毒而驅使代理採取行動的工作階段中,僅攔截到 4 個。測試使用以 Agent Development Kit(ADK)在 gemini-2.5-flash 上建構的代理,涵蓋 AgentDojo、InjecAgent、Agent Security Bench、AgentDyn 與 AgentHarm。

11月11日星期三
  1. inclusionAI Models40

    inclusionAI 發布 ZoomGain-9B 與 ZoomGain-4B 模型,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點,同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題,而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。

  2. inclusionAI Models38

    inclusionAI 發布 ZoomGain-4B 與 ZoomGain-9B,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 arXiv 論文、ZoomGainBench 評估基準、RL 訓練資料集,以及 ZoomGain-4B/ZoomGain-9B 模型檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多個細粒度與通用感知基準上達到更優表現。ZoomGain 挖掘從全局到縮放的感知落差,為視覺語言模型建立細粒度視覺監督。

  3. Microsoft Research75

    微軟研究人員描述 Lazarus:一種重新程式化 AI 代理中休眠神經元的後門

    微軟研究人員描述了 Lazarus,這是一種後門技術,可重新程式化 LLM 中不到 10 個休眠神經元,使建構於其上的代理在出現隱藏觸發條件時發出攻擊者指令,且無需重新訓練。修改後的模型仍能通過標準評估,並在觸發前表現正常,觸發條件可以簡單到只是日期變更,隨後代理便以其被賦予的任何權限執行下載的程式碼。作者表示,偵測需要與原始權重進行差異比對,而 Microsoft Foundry 已將開放權重模型與其發行商綁定並掃描其容器,同時紅隊測試框架、基於代理的權重掃描以及具備防篡改來源證明的簽署模型正在開發中。

    推薦理由:微軟研究人員展示,重新程式化不到 10 個休眠神經元即可在無需重新訓練的情況下對 LLM 代理植入後門,這使得權重來源與完整性成為實際的安全需求。

11月10日星期二
  1. Google DeepMind82

    Google DeepMind 推出 AlphaProof Code,正式驗證 Signal 的加密程式碼

    Google DeepMind 研究人員使用 AlphaProof Code——一個多 LLM 代理框架——對 Signal 協議實際底層程式碼的關鍵安全屬性進行正式驗證。由 Gemini Carbon 驅動的代理生成了超過六百萬行 Lean 程式碼,人類專家僅審查了約百分之一的程式碼庫;驗證耗時四週,而這項任務歷來需要專家團隊數年時間。當兩個先前已修復的錯誤被重新引入 Signal 程式碼的隔離版本時,該系統產生了機器檢查的證明,證明有錯誤的版本不安全,DeepMind 正在將其正式驗證產物開源。

    推薦理由:Google DeepMind 的多代理框架在四週內正式驗證了 Signal 部署的加密程式碼,而這項任務歷來需要專家團隊數年時間。

  2. OpenAI Alignment Blog60

    OpenAI 研究在模型生命週期中影響 CoT 可監控性的因素

    OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性的兩項代理指標:無 CoT 能力與 CoT 可控性。他們報告指出,無 CoT 能力會隨著較低的基礎模型困惑度平滑變化;CoT 可控性在強化學習期間上升,即使除了長度限制與最終答案評分之外沒有過程監督;且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒,這兩項代理指標都不完美,且隨著能力擴展,模型可能變得更難透過其 CoT 進行監控。

    推薦理由:OpenAI 的生命週期研究將較低的預訓練困惑度與 RL 擴展連結到較弱的 CoT 可監控性,為訓練選擇如何形塑監督風險提供了具體框架。

  3. Apple Machine Learning Research34

    用於高效長上下文檢索的加權狀態湯

    Apple 研究人員與哈佛合作者提出加權狀態湯(weighted state souping),此方法學習依查詢而定的權重,用以重新組合快取的 SSM 狀態編碼,在單跳與多跳文件問答、大海撈針檢索、變數追蹤與工具使用上提升長上下文表現。一種稀疏變體在編碼成本相對於上下文長度幾乎恆定的情況下,仍維持、有時甚至提升表現。該論文獲 NeurIPS 2026 的 PALM workshop 接受。

  4. Apple Machine Learning Research38

    Apple 研究:門控機制解釋了為何 SSM 會記憶而非進行上下文學習

    一項 Apple 與哈佛的研究顯示,狀態空間模型(SSM)中的門控機制會使其先學到一種權重內的「記憶」解法,延遲甚至阻止其收斂到正確的上下文學習。即使架構與記憶容量並未施加任何根本限制,此現象依然發生。然而,門控往往能改善對長序列長度的泛化能力。

  5. Apple Machine Learning Research31

    Apple 研究評估 LLM 評審於個人化寫作風格評估的表現

    Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現,使用四種 LLM 針對三項長篇寫作任務生成文本,並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關(Pearson's ρ ≤ 0.2),且隨寫作任務與評估標準而異,成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估,可能是因為對細微細節的敏感度被誇大。

  6. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神經元作為可解釋基礎

    Goodfire Research 發表一項研究,主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性,其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化,語言模型損失僅上升 2.9%,且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發,並透過模擬恢復 73% 的消融損害。

    推薦理由:Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張,僅靠強活化就承載了模型的大部分計算,為特徵字典可解釋性提供了一個具體的替代方案。

11月9日星期一
  1. Hugging Face Blog38

    NVIDIA 與 Elith 發布 Nemotron-Personas-Finance-Japan 合成資料集

    Elith 與 NVIDIA 發布 Nemotron-Personas-Finance-Japan,這是一個以政府官方統計資料為基礎、針對日本金融業打造的開放合成人物資料集。它包含 50 個領域、約 15 億個 token 的 900 萬個人物(100 萬筆記錄 × 9 個人物),以 NeMo SDG-PGMs 與 NeMo Data Designer 生成,並以 CC BY 4.0 授權提供商業使用。

  2. Hugging Face Blog40

    HOPE:混合專家語言模型中的高階專家剪枝

    研究人員提出 HOPE,一種針對混合專家語言模型的二階專家剪枝方法,該方法考量共同激活專家之間的成對交互作用,而非獨立地為每個專家評分。在 50% 剪枝率下,HOPE 取得所有方法中最佳的平均排名,在代理式編碼任務上相較於次佳的剪枝方法最高提升 +6.1%。此研究針對 Qwen3.5-122B 等模型的記憶體瓶頸,其中專家 MLP 佔據約 250 GB 足跡的 95%。

  3. Anthropic · Claude.dev80

    Anthropic:1,000 個 Claude Fable 5.2 代理在 28.7 小時內重現費馬最後定理的形式化

    在沒有 Prove2Me 平台、也沒有研究人員引導的情況下耗時 7 小時,而 Anthropic 九月那次執行則用上了這兩者;這次寫出的證明長度只有七分之一,使用的輸出 token 數也只有三分之一。每個代理都在網路隔離的沙箱中工作,由一個分類器檢查每一條 shell 命令與檔案編輯,另有一個離線監控器;在超過一百萬次工具呼叫中,沒有任何一次達到應被攔截的標準。

    推薦理由:Anthropic 的 1,000 代理執行在沒有 Prove2Me、也沒有研究人員的情況下重現了費馬最後定理的形式化,顯示沙箱與監控如何約束一個自組織的代理團隊。

  4. Berkeley AI Research22

    BAIR 於 CoRL 2026:柏克萊機器人學習論文、口頭報告與主題演講

    加州大學柏克萊分校的 BAIR 在 CoRL 2026 發表 33 篇主會議論文、4 篇最新研究海報、3 場口頭報告與 7 場焦點展示;該會議於 11 月 9 日至 12 日在德州奧斯汀舉行。Negar Mehr 教授發表早期職涯主題演講,探討機器人如何學習與他人互動及協調。研究涵蓋視覺-語言-動作模型的具身記憶、以第一人稱人類資料擴展靈巧操作,以及具自主性的機器人自我改進。

  5. inclusionAI Repositories38

    ZoomGain:挖掘全域到縮放感知落差以實現細粒度視覺監督

    ZoomGain 利用只有放大後才會清晰的視覺細節,針對整張影像建構問題,並將這種全域到縮放的感知落差作為視覺語言模型的監督訊號。本次發布包含 arXiv 論文、ZoomGainBench 基準(1,000 道問題,涵蓋 941 張影像,涉及屬性辨識、計數與 OCR)、涵蓋 7,713 張來源影像的 9,000 筆 RL 訓練紀錄,以及 ZoomGain-4B 與 ZoomGain-9B 檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。

  6. Anthropic Research71

    Anthropic 在真實世界電子設計上測試 Claude Fable 5.2

    Anthropic 報告指出,Claude Fable 5.2 僅憑極少提示便設計出三款電子裝置:免持擴音電話、語音助理中樞與掌上型虛擬寵物,且 Diode Computers 依其設計檔案打造出可運作的原型,無須修正電路。在 Diode 內部的 PCB Gym 基準測試中,Fable 5.2 得分 69%,Fable 5 則為 25%;在公開的 BenchCAD 2.1 上,它達到 83.5%,幾乎是 Claude Fable 5.1 的兩倍。這些裝置仍屬原型,尚未經過電氣驗證、天線調校、熱測試或認證,且 Claude 並未連接至測試設備或製造機器。

    推薦理由:Anthropic 親自說明 Claude Fable 5.2 設計出三款可運作的電子裝置,顯示模型已從局部 PCB 佈局大幅進展到端到端的硬體原型製作。

11月6日星期五
  1. Hugging Face Blog58

    Ai2 發布 ToyBlocks,一個用於機器人學習的開放模擬積木操作世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面積木構建的開放模擬框架,是其 FoundationWorlds 系列中用於受控機器人學習與評估的首個成果。該框架在 Isaac Lab 中透過強化學習與運動規劃自動生成技能與示範,在單一 GPU 上可達最高 24 倍即時速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在其實驗中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在真實 Franka FR3 上為 81.1%;而 Molmo 2 加 ManiFlow 系統在模擬與真實世界回合中的成功率分別為 55.5% 與 50.0%。

  2. Ai2 · Allen Institute for AI58

    Ai2 發布 ToyBlocks,一個用於機器人學習與評估的可控模擬世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面上積木建構的開放模擬框架,作為其 FoundationWorlds 中首個用於可控機器人學習研究的項目。ToyBlocks 透過 Isaac Lab 中的強化學習與運動規劃自動生成任務與示範,在單一 GPU 上可達最高 24 倍的即時資料生成速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在 Franka FR3 的真實世界測試中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在硬體上為 81.1%;而 Molmo 2 加 ManiFlow 系統則在模擬回合中成功 55.5%,在真實回合中成功 50.0%。

  3. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

  4. Google Research72

    Google 研究人員利用智慧手錶 PPG 與加速度計資料偵測高血壓跡象,無需壓脈帶校正

    Google Research 在《Nature》發表一項關於 AI-PPG-ACC-HTN 的研究,這是一套多模態系統,可從智慧手錶的 PPG 與加速度計資料偵測高血壓跡象,且無需壓脈帶校正。該系統在美國五個地點的 196 名參與者中,以 24 小時動態血壓監測進行驗證,初步篩檢達到 65.8% 靈敏度與 90.0% 特異度,確認性檢測則達到 78.4% 靈敏度與 90.9% 特異度。作者將這項工作描述為早期可行性研究,並非臨床手臂壓脈帶的替代品,也不是獨立診斷工具。

    推薦理由:Google 的無壓脈帶智慧手錶高血壓模型以 24 小時動態監測為基準進行評估,顯示被動式多日感測器資料彙整如何支援機會性篩檢。

  5. Anthropic Research36

    Anthropic:教 AI 建立科學模型

    Anthropic 研究主張,AI 系統現在能在一個下午內推導出霍奇金-赫胥黎模型等方程式,但擬合實驗數據並不等同於理解。這項工作將科學建模拆解為建立、約束與詮釋模型,並指出 AI 在約束模型方面進展最大,其中貝氏推論是繪製所有可能參數集而非單一擬合的標準方法。

  6. Microsoft Research58

    微軟研究院的 PDD Kit 正式驗證代理撰寫的全端網頁應用程式

    微軟研究院推出 PDD Kit,這是一個研究原型,能將開發者的自然語言意圖轉換為 Verus 形式規格,證明編碼代理的 Rust 程式碼對所有輸入皆符合該規格,並在證明無法觸及之處退回測試。在 GitHub Next 的 Chopin 內部示範中,團隊使用 PDD Kit 驗證 Pet Store 的登入邏輯,這是一個約 5,000 行的 Rust 全端應用程式,開發者審查的是意圖產物,而非逐行檢視生成的程式碼。PDD Kit 目前僅驗證 Rust,其保證建立在六個經開發者核准的可信片段上,包括 bcrypt 密碼檢查與兩次資料庫查詢。

11月5日星期四
  1. Amazon Science18

    Amazon 科學家 Hamed Karimi 榮獲 2026 年 ECML PKDD 時間考驗獎

    Amazon 資深應用科學家 Hamed Karimi 與共同作者 Julie Nutini 和 Mark Schmidt 憑藉其 2016 年關於 Polyak–Łojasiewicz 條件下梯度與近端梯度方法線性收斂性的論文,榮獲 2026 年 ECML PKDD 時間考驗獎。該論文證明,即使模型缺乏單一最佳解,這個 1963 年的不等式也能保證線性收斂,統一了零散的優化結果,並將其擴展到非平滑景觀以及坐標、符號和隨機梯度下降等演算法。該論文已被引用超過 2,000 次,並收錄於研究所教科書中。

  2. Zyphra Research36

    ZYFA:在 AMD MI355X 上快速且準確的 FP8 注意力核心

    Zyphra Research 發布了 ZYFA,這是針對 AMD MI355X(CDNA4、gfx950)的 BF16 與 FP8 因果預填充注意力核心,支援頭維度 128 以及 DeepSeek-V2 的 MLA 形狀。在 Mistral-7B、Qwen3-8B 與 DeepSeek-V2-Lite 於 16K token 的激活值上,ZYFA 的 FP8 核心達到 AITER 吞吐量的 1.16–1.76 倍;在 32K token 的高斯輸入上,頭維度 128 時為 1.26–1.37 倍,MLA 形狀時為 1.99 倍。在頭維度 128 時,FP8 誤差比 AITER 低 62–78%。

  3. Apple Machine Learning Research38

    Apple 的學習式支撐函數加速 RAG 檢索

    Apple 研究人員在 ICML 2026 發表了「Amortizing Maximum Inner Product Search with Learned Support Functions」,透過離線訓練小型神經網路,將查詢更快地導向最匹配的鍵。SupportNet 透過輸入凸神經網路(ICNNs)學習支撐函數,以改善叢集路由;KeyNet 則直接輸出最匹配的鍵向量,並藉由歐拉定理得出的一致性損失,使其在幾何上保持有據。兩者皆在實際查詢分布上訓練,以預先攤提的成本換取推論時更快、更準確的檢索。

  4. Google Research47

    Google Research 的 Agile Deliberation 協助人類定義主觀的 AI 類別

    Google Research 推出 Agile Deliberation,這是一套框架,將主觀 AI 分類器的建立轉化為反覆對話,由 AI 協助使用者釐清自己的定義。它將任務拆分為概念範疇界定與概念迭代,運用視覺語言模型找出邊界案例影像,並將回饋導入自動提示優化迴圈。在 18 場各 1.5 小時的實際使用者工作坊中,此方法減輕了使用者的疲勞與焦慮,並產出更一致的模型,表現優於標準基準;程式碼已在 GitHub 開源。

  5. Anthropic Research58

    Anthropic 研究研究人員如何在各科學領域與任務中使用 Claude

    Anthropic 使用隱私保護分類器,分析了 2026 年 8 月 2 日至 9 月 30 日期間的 207,049 個 Claude 與 Claude Code 研究會話,發現科學家最常將 Claude 用於資料分析與寫作,最少用於資料蒐集與構思。資料分析佔 Claude 會話的 33.7%、Claude Code 會話的 48.1%,而研究人員投入的時間佔 27.6%;構思則佔會話的 4.2% 與 2.1%,研究人員投入的時間佔 7.1%。報告估計,廣泛採用現有能力可能使某些領域的研究產出大致翻倍,而完全自動化非實體工作可能使電腦科學與統計學等領域提升多達 15 倍。

  6. Goodfire Research58

    Goodfire Research 提出機制塑造,透過內部表徵引導模型

    Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。

11月4日星期三
  1. Anthropic Research66

    Anthropic 生物實驗室以 Claude 解出首個原核生物穹頂顆粒結構

    Anthropic 的生物研究實驗室報告了原核細胞中穹頂顆粒(vault particle)的首個三維結構,這是一種名為 L05 的噬菌體蛋白,由 96 個拷貝組成,質量約 9.5 兆道爾頓。在團隊指導下,Claude 搜尋了約 150 億個預測蛋白質的資料庫、設計了 DNA 構建體、優化了尺寸排阻層析分離法,將純化時間從三天縮短到約 90 分鐘,並執行了 RELION 冷凍電鏡處理,在 34 小時內產出首個完整模型。該預印本已提交至 bioRxiv,團隊表示這些穹頂顆粒的生物學功能仍未知。

    推薦理由:Anthropic 的生物實驗室報告了原核生物穹頂顆粒的首個三維結構,Claude 負責資料庫搜尋、構建體設計、純化與冷凍電鏡處理。

11月3日星期二
  1. Ai2 · Allen Institute for AI55

    Ai2 發布 StateBench,用於測試語言模型如何在長文件中追蹤狀態變化

    Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。

  2. OpenAI Alignment Blog58

    OpenAI 探討代理安全中的評估與生產行為落差,以及評估意識的角色

    OpenAI 研究人員測量了代理安全中的評估與生產行為落差:在六個已部署模型中,Respecting Warnings 評估的成功率比對應的 Codex 生產決策低 10.2 至 37.4 個百分點,其中 GPT-5.6 Sol 與 GPT-6 Sol 的落差最大。單獨的通用評估意識與該落差關聯微弱(R² = 0.008),而特定的評估目標意識關聯較強(R² = 0.370),且最常口頭表述錯誤目標(抵抗提示注入)的模型落差最大。在對 GPT-6.1 Sol 的干預中,通用評估提示幾乎未改變成功率(63.1% 對 63.4%),正確目標提示將其提升至 91.6%,錯誤目標提示則將其降至 17.6%。

  3. Apple Machine Learning Research32

    Attention to Mamba:跨架構蒸餾的配方

    Apple 研究人員提出一套兩階段配方,用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧,將預訓練的 Transformer 蒸餾成線性化 Attention 模型,再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能,困惑度達到 14.01,而教師模型為 13.86,但在依賴上下文回憶的任務上存在一些差距。

  4. OpenAI Alignment Blog60

    OpenAI 詳述用於安全與對齊的訓練激活分類器

    OpenAI 描述了訓練激活分類器(或稱探針)的方法,這些探針讀取模型內部的殘差流激活,以標記未對齊或違反政策的助手補全,並表示已從 GPT-5.6 開始在其最強能力模型的內部和外部流量上部署這些探針。這些探針採用 Attention probe 架構,結合 MLP 與 QV-attention 以及指數移動平均,使用最多 100 萬條由推理模型評審標註的訊息進行訓練,並在推理引擎上以串流方式運行,因此可以在回合中途封鎖補全。OpenAI 報告稱,探針在許多後訓練階段之間具有出色的遷移能力,但在預訓練檢查點之間的遷移較為有限,並表示在其紅隊測試中,探針整體上比基於內容的分類器對越獄更具穩健性。

    推薦理由:OpenAI 詳述了內部模型激活上的激活探針如何作為串流安全層,包括它們在跨檢查點遷移方面的限制以及重新訓練的需求。

11月2日星期一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分層注意力,一種具備次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),這是一種稀疏注意力方法,它建立一棵由壓縮 KV-cache 摘要構成的樹,並讓查詢自上而下地穿過這棵樹進行路由,在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配,僅需使用數十億個 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 個可訓練參數,約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上,寬樹模型得分為 96.2%,而稠密注意力為 96.0%;深層六級樹在 LongBench v2 上得分為 63.4%,而稠密注意力為 58.0%,同時僅關注約 1.1% 的 KV cache;一個 GPU roofline 模型預測,在 10M token 時相比稠密注意力可實現 32-35 倍加速。

  2. Anthropic Research70

    Anthropic 發布 FlashProve,一套用於可驗證 LLM 推理的開源 zkSNARK 系統

    Anthropic 發布 FlashProve,這是一個開源原型,使用 zkSNARKs 來證明某個回應來自一個已承諾的模型,而不揭露其權重。在 Llama 4 Maverick(400B 參數 MoE,4 位元權重)上,單張 H100 以約 110 tokens/秒 的速度生成證明,每 1,024-token 請求的證明約 19 MB,約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器(具備機器檢查的完備性、可靠性和零知識陳述),以及一份技術報告,全部採用 Apache 2.0 授權。

    推薦理由:Anthropic 的 FlashProve 顯示,基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用,並附有開放程式碼和經 Lean 檢查的安全性聲明。

10月30日星期五
  1. Microsoft Research40

    微軟打造合成企業資料平台以評估 Copilot

    微軟的產業評估資料生成平台建立完整的合成企業環境,在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎,生成包含使用者、會議、電子郵件與文件的擬真租用戶,並搭配自動化查詢流程與品質框架。微軟表示,這為 Copilot 建立了首個標準化評估基準。