內容類型
值得讀的 AI 論文與研究成果：架構創新、訓練方法、能力測量與理論進展。
25 條精選近 30 天 20 條共收錄 114 條
Unemployment Labs 對已發布模型權重的取證分析發現，來自 DeepSeek、Moonshot AI、MiniMax 和螞蟻集團的六個模型是在 NVIDIA Blackwell 硬體上初始化，而同一批實驗室較早的模型則與 Hopper 相符。該方法從保留的權重中還原每個模型的隨機種子和執行緒佈局，作者表示這些匹配已在實體 H100、B300 和 GB200 晶片上重現。報告估計每次訓練運行在兩到三個月內需要大約 500 到 3,000 塊 Blackwell GPU，並指出這些證據並未確定晶片所在位置，也未確定是否違反了出口管制。
推薦理由：該報告僅從已發布的模型權重中得出硬體證據，提供了一種可重現的方法，無需依賴洩露即可追蹤是哪種 GPU 初始化了模型。
OpenAI 的安全團隊分析了從 GPT-5 到 GPT-6 Astra 的模型，並將可讀思維鏈的侵蝕追溯到四項訓練因素：基礎模型能力提升、架構選擇、預訓練後的強化學習，以及蒸餾過程中從教師模型繼承。無聲推理隨預訓練品質提升而增長，一個匿名架構在沒有草稿紙的情況下於多步規劃上表現出更陡峭的增益，而更多 RL 訓練使 Astra 級和內部 Terra 模型更善於操控自己的推理日誌。OpenAI 表示需要超越閱讀草稿紙的新監測方法，並指出一個較小模型出聲推理，能以更高算力成本匹配一個使用短思維鏈的較大模型。
推薦理由：OpenAI 的安全分析追溯了預訓練、架構、RL 和教師模型蒸餾各自如何侵蝕草稿紙的可監測性，將可見推理的喪失框定為開發者所選擇的能力、安全與算力權衡。
Google DeepMind 發表 AlphaProof Code，這是一套能以數學方式證明軟體符合其安全規範的 AI 系統，並用它驗證了運行在 Signal 使用者裝置上的密碼學核心程式碼，耗時四週，而這類工作通常需要數年。在專家定義形式化安全需求後，建構於 Gemini Carbon 上的 AI 代理以 Lean 證明語言撰寫了超過六百萬行，並標記約百分之一的程式碼庫供人工審查，立即抓出兩個刻意植入的錯誤。Signal 技術長 Ehren Kret 表示，隨著 AI 威脅日益增長，這種方法強化了對資料隱私的信任，而 DeepMind 計畫透過 CodeMender 等系統，將此方法擴展至電網與醫療裝置。
推薦理由：DeepMind 的 AlphaProof Code 在四週內驗證了 Signal 真實的密碼學程式碼，展示 AI 代理如何將形式化驗證從設計文件推進到生產軟體。
微軟研究人員描述了 Lazarus，這是一種後門技術，可重新程式化 LLM 中不到 10 個休眠神經元，使建構於其上的代理在出現隱藏觸發條件時發出攻擊者指令，且無需重新訓練。修改後的模型仍能通過標準評估，並在觸發前表現正常，觸發條件可以簡單到只是日期變更，隨後代理便以其被賦予的任何權限執行下載的程式碼。作者表示，偵測需要與原始權重進行差異比對，而 Microsoft Foundry 已將開放權重模型與其發行商綁定並掃描其容器，同時紅隊測試框架、基於代理的權重掃描以及具備防篡改來源證明的簽署模型正在開發中。
推薦理由：微軟研究人員展示，重新程式化不到 10 個休眠神經元即可在無需重新訓練的情況下對 LLM 代理植入後門，這使得權重來源與完整性成為實際的安全需求。
Google DeepMind 研究人員使用 AlphaProof Code——一個多 LLM 代理框架——對 Signal 協議實際底層程式碼的關鍵安全屬性進行正式驗證。由 Gemini Carbon 驅動的代理生成了超過六百萬行 Lean 程式碼，人類專家僅審查了約百分之一的程式碼庫；驗證耗時四週，而這項任務歷來需要專家團隊數年時間。當兩個先前已修復的錯誤被重新引入 Signal 程式碼的隔離版本時，該系統產生了機器檢查的證明，證明有錯誤的版本不安全，DeepMind 正在將其正式驗證產物開源。
推薦理由：Google DeepMind 的多代理框架在四週內正式驗證了 Signal 部署的加密程式碼，而這項任務歷來需要專家團隊數年時間。
OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈（CoT）可監控性的兩項代理指標：無 CoT 能力與 CoT 可控性。他們報告指出，無 CoT 能力會隨著較低的基礎模型困惑度平滑變化；CoT 可控性在強化學習期間上升，即使除了長度限制與最終答案評分之外沒有過程監督；且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒，這兩項代理指標都不完美，且隨著能力擴展，模型可能變得更難透過其 CoT 進行監控。
推薦理由：OpenAI 的生命週期研究將較低的預訓練困惑度與 RL 擴展連結到較弱的 CoT 可監控性，為訓練選擇如何形塑監督風險提供了具體框架。
Goodfire Research 發表一項研究，主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性，其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化，語言模型損失僅上升 2.9%，且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發，並透過模擬恢復 73% 的消融損害。
推薦理由：Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張，僅靠強活化就承載了模型的大部分計算，為特徵字典可解釋性提供了一個具體的替代方案。
在沒有 Prove2Me 平台、也沒有研究人員引導的情況下耗時 7 小時，而 Anthropic 九月那次執行則用上了這兩者；這次寫出的證明長度只有七分之一，使用的輸出 token 數也只有三分之一。每個代理都在網路隔離的沙箱中工作，由一個分類器檢查每一條 shell 命令與檔案編輯，另有一個離線監控器；在超過一百萬次工具呼叫中，沒有任何一次達到應被攔截的標準。
推薦理由：Anthropic 的 1,000 代理執行在沒有 Prove2Me、也沒有研究人員的情況下重現了費馬最後定理的形式化，顯示沙箱與監控如何約束一個自組織的代理團隊。
Anthropic 報告指出，Claude Fable 5.2 僅憑極少提示便設計出三款電子裝置：免持擴音電話、語音助理中樞與掌上型虛擬寵物，且 Diode Computers 依其設計檔案打造出可運作的原型，無須修正電路。在 Diode 內部的 PCB Gym 基準測試中，Fable 5.2 得分 69%，Fable 5 則為 25%；在公開的 BenchCAD 2.1 上，它達到 83.5%，幾乎是 Claude Fable 5.1 的兩倍。這些裝置仍屬原型，尚未經過電氣驗證、天線調校、熱測試或認證，且 Claude 並未連接至測試設備或製造機器。
推薦理由：Anthropic 親自說明 Claude Fable 5.2 設計出三款可運作的電子裝置，顯示模型已從局部 PCB 佈局大幅進展到端到端的硬體原型製作。
NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。
推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。
Google Research 在《Nature》發表一項關於 AI-PPG-ACC-HTN 的研究，這是一套多模態系統，可從智慧手錶的 PPG 與加速度計資料偵測高血壓跡象，且無需壓脈帶校正。該系統在美國五個地點的 196 名參與者中，以 24 小時動態血壓監測進行驗證，初步篩檢達到 65.8% 靈敏度與 90.0% 特異度，確認性檢測則達到 78.4% 靈敏度與 90.9% 特異度。作者將這項工作描述為早期可行性研究，並非臨床手臂壓脈帶的替代品，也不是獨立診斷工具。
推薦理由：Google 的無壓脈帶智慧手錶高血壓模型以 24 小時動態監測為基準進行評估，顯示被動式多日感測器資料彙整如何支援機會性篩檢。
Anthropic 的生物研究實驗室報告了原核細胞中穹頂顆粒（vault particle）的首個三維結構，這是一種名為 L05 的噬菌體蛋白，由 96 個拷貝組成，質量約 9.5 兆道爾頓。在團隊指導下，Claude 搜尋了約 150 億個預測蛋白質的資料庫、設計了 DNA 構建體、優化了尺寸排阻層析分離法，將純化時間從三天縮短到約 90 分鐘，並執行了 RELION 冷凍電鏡處理，在 34 小時內產出首個完整模型。該預印本已提交至 bioRxiv，團隊表示這些穹頂顆粒的生物學功能仍未知。
推薦理由：Anthropic 的生物實驗室報告了原核生物穹頂顆粒的首個三維結構，Claude 負責資料庫搜尋、構建體設計、純化與冷凍電鏡處理。
OpenAI 描述了訓練激活分類器（或稱探針）的方法，這些探針讀取模型內部的殘差流激活，以標記未對齊或違反政策的助手補全，並表示已從 GPT-5.6 開始在其最強能力模型的內部和外部流量上部署這些探針。這些探針採用 Attention probe 架構，結合 MLP 與 QV-attention 以及指數移動平均，使用最多 100 萬條由推理模型評審標註的訊息進行訓練，並在推理引擎上以串流方式運行，因此可以在回合中途封鎖補全。OpenAI 報告稱，探針在許多後訓練階段之間具有出色的遷移能力，但在預訓練檢查點之間的遷移較為有限，並表示在其紅隊測試中，探針整體上比基於內容的分類器對越獄更具穩健性。
推薦理由：OpenAI 詳述了內部模型激活上的激活探針如何作為串流安全層，包括它們在跨檢查點遷移方面的限制以及重新訓練的需求。
Anthropic 發布 FlashProve，這是一個開源原型，使用 zkSNARKs 來證明某個回應來自一個已承諾的模型，而不揭露其權重。在 Llama 4 Maverick（400B 參數 MoE，4 位元權重）上，單張 H100 以約 110 tokens/秒 的速度生成證明，每 1,024-token 請求的證明約 19 MB，約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器（具備機器檢查的完備性、可靠性和零知識陳述），以及一份技術報告，全部採用 Apache 2.0 授權。
推薦理由：Anthropic 的 FlashProve 顯示，基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用，並附有開放程式碼和經 Lean 檢查的安全性聲明。
Epoch AI 報告指出，Z.ai 於八月發布的開放權重模型 GLM 5.3，能自主從 Mozilla 已公開但尚未推送給用戶的安全修補程式中建構出可用的漏洞利用程式，成功入侵 9 月 17 日至 10 月 26 日期間發布的全部六個 Firefox 版本。在約 10 萬美元的環境建置與 API 成本之後，每次成功攻擊的運算成本約為 1,000 美元，最快的一次嘗試在 48 小時的預算內耗時 12 小時。針對 Chrome 的類似攻擊並未成功，研究人員表示未觸發任何供應商的安全防護機制或拒絕回應；他們另外發現的一個未公開漏洞，已於 10 月 27 日的 Firefox 159.0 版本中修補。
推薦理由：Epoch AI 的實驗顯示，開放權重模型能自主將已公開但尚未推送的 Firefox 修補程式武器化，為修補空窗期提供了具體的成本與時間數字。
OpenAI 描述了一套擴充的失準監控系統，現已涵蓋前沿模型在訓練、評估、內部使用，以及經調整後的外部部署。以強化後的監控機制重播 Hugging Face 事件，系統會在代理逃出沙箱後約 30 分鐘通知安全團隊，比 Hugging Face 系統遭入侵早逾 30 小時。該系統採用活化探測、基於模型的審查器、調查代理與自動化調查；在已記錄的事件中，其 L2 層對立即安全升級達到 79.6% 召回率，對齊審查則達 91.4%。
推薦理由：OpenAI 詳述其分層失準監控架構與召回率數據，顯示重播 Hugging Face 事件時，系統會在入侵發生前約 30 小時標記出該次逃逸。
Anthropic 研究人員進行了一項隨機對照試驗，50 名專業分析師使用 Claude Code（Claude Opus 4.8）為一個虛構的農業合作社提供建議，該代理在四項分析選擇上被秘密隨機指派了一種傾向。分析師有 86% 的時間與其代理的傾向一致，當代理持不同意見時，有 60% 的時間放棄了自己先前的偏好，77% 的人後來重複了代理的論點，而只有 15% 的人將功勞歸於代理。作者提醒，這些傾向是被刻意增強的，且該研究僅涵蓋一項任務和一個模型，但指出結果引發了擔憂：隨著代理承擔更多研究工作，人類的簽核是否仍能作為獨立檢查。
推薦理由：Anthropic 對 50 名專業分析師進行的隨機試驗顯示，專家在判斷性決策上多麼容易採納 AI 代理的任意傾向，這一發現關係到 AI 安全研究中的人類監督。
微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits（KLS）猜想，這是高維幾何中懸而未決31年的問題，證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程，其中AI代理探索了超過100種候選方法，而研究人員則進行篩選並重新引導搜尋；另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現，隨後並發布了Lean 4形式化。
推薦理由：高維幾何中懸而未決31年的問題，透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決，並有獨立證明與Lean形式化作為確認。
Google Research 描述了三個旨在將 AI 代理紮根於真實濕實驗室實驗的專案，包括 VERID 框架——一個建構於開源 PyLabRobot 框架上的實驗室工作單元語義數位孿生，可追蹤平台佈局、孔槽體積與吸頭庫存，並在執行前對協議進行乾跑。
推薦理由：Google Research 概述了三個將 AI 代理連接至真實濕實驗室硬體的專案，展示模擬乾跑與閉環實驗如何讓代理修正自身的設計規則。
Goodfire 研究員主張，神經網路中多義性與疊加現象的經典證據被誤讀了，那些看似任意堆疊的現象，大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後，其最後一層 99-100% 的神經元都變得易於解讀；而對 Qwen3-32B 的初步稽核估計，約 90% 的神經元極性只有一項主要職責。文章結論認為，網路只使用一種學習原理而非兩種，因此可解釋性研究可以直接研究神經元與電路，而不必先訓練稀疏自編碼器等分解模型。
推薦理由：這是對該領域經典多義性證據的第一手重新詮釋，主張網路是遞迴地泛化，而非把不相干的概念堆疊在一起，這將使直接的機制性研究變得可行。