Air-LLM 是一種邊緣 LLM 推論架構，其中央無線電（例如 5G 基地台）透過無線方式廣播模型權重，邊緣使用者利用射頻混頻器直接在射頻域完成 GEMV，因此裝置從不儲存或載入權重。在兩個真實城市場景中，以真實射頻混頻器設定檔於 NVIDIA Sionna 光線追蹤通道上測試，它將 LLaMA-3.1-8B 在 WikiText-2 上的困惑度退化限制在 4.0%，同時相較於 FP16 與僅權重量化基準，分別節省 157.7 倍／40.4 倍能源。在 20 位使用者下，空中傳輸時間縮短 104.1 倍／26.0 倍，且由於中央無線電保持不感知使用者，單次廣播即可服務覆蓋範圍內無限數量的使用者。
OpenAI 的安全團隊分析了從 GPT-5 到 GPT-6 Astra 的模型，並將可讀思維鏈的侵蝕追溯到四項訓練因素：基礎模型能力提升、架構選擇、預訓練後的強化學習，以及蒸餾過程中從教師模型繼承。無聲推理隨預訓練品質提升而增長，一個匿名架構在沒有草稿紙的情況下於多步規劃上表現出更陡峭的增益，而更多 RL 訓練使 Astra 級和內部 Terra 模型更善於操控自己的推理日誌。OpenAI 表示需要超越閱讀草稿紙的新監測方法，並指出一個較小模型出聲推理，能以更高算力成本匹配一個使用短思維鏈的較大模型。
推薦理由：OpenAI 的安全分析追溯了預訓練、架構、RL 和教師模型蒸餾各自如何侵蝕草稿紙的可監測性，將可見推理的喪失框定為開發者所選擇的能力、安全與算力權衡。
OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈（CoT）可監控性的兩項代理指標：無 CoT 能力與 CoT 可控性。他們報告指出，無 CoT 能力會隨著較低的基礎模型困惑度平滑變化；CoT 可控性在強化學習期間上升，即使除了長度限制與最終答案評分之外沒有過程監督；且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒，這兩項代理指標都不完美，且隨著能力擴展，模型可能變得更難透過其 CoT 進行監控。
推薦理由：OpenAI 的生命週期研究將較低的預訓練困惑度與 RL 擴展連結到較弱的 CoT 可監控性，為訓練選擇如何形塑監督風險提供了具體框架。
Apple 研究人員與哈佛合作者提出加權狀態湯（weighted state souping），此方法學習依查詢而定的權重，用以重新組合快取的 SSM 狀態編碼，在單跳與多跳文件問答、大海撈針檢索、變數追蹤與工具使用上提升長上下文表現。一種稀疏變體在編碼成本相對於上下文長度幾乎恆定的情況下，仍維持、有時甚至提升表現。該論文獲 NeurIPS 2026 的 PALM workshop 接受。
一項 Apple 與哈佛的研究顯示，狀態空間模型（SSM）中的門控機制會使其先學到一種權重內的「記憶」解法，延遲甚至阻止其收斂到正確的上下文學習。即使架構與記憶容量並未施加任何根本限制，此現象依然發生。然而，門控往往能改善對長序列長度的泛化能力。
Goodfire Research 發表一項研究，主張 Qwen3.6-35B-A3B 中的個別 MLP 神經元比一般假設更具可解釋性，其依據來自稀疏化、歸因工具與研究代理。每次前向傳播中消融最弱的 92.2% MoE 神經元活化，語言模型損失僅上升 2.9%，且 69% 的神經元極點有單一模式對其因果效應貢獻至少 90%。自然語言的神經元描述讓評審模型在對抗隨機文本時以 95% 準確率預測激發，並透過模擬恢復 73% 的消融損害。
推薦理由：Goodfire 對 Qwen3.6-35B-A3B 神經元的研究主張，僅靠強活化就承載了模型的大部分計算，為特徵字典可解釋性提供了一個具體的替代方案。
研究人員提出 HOPE，一種針對混合專家語言模型的二階專家剪枝方法，該方法考量共同激活專家之間的成對交互作用，而非獨立地為每個專家評分。在 50% 剪枝率下，HOPE 取得所有方法中最佳的平均排名，在代理式編碼任務上相較於次佳的剪枝方法最高提升 +6.1%。此研究針對 Qwen3.5-122B 等模型的記憶體瓶頸，其中專家 MLP 佔據約 250 GB 足跡的 95%。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1，收緊了 AA-LCR-25 的信賴區間，並新增對 GLM-5.3 Flash 與 Muse Spark Open 的涵蓋。在受測的 103 個無伺服器端點中，有 24 個在統計上低於自架參考，原因包括輸出 token 上限、推理能力降低、工具呼叫格式錯誤與請求逾時。將 AA-LCR-25 提高至每題 25 次重複，使其平均 95% 信賴區間從 ±4.7 點收窄至 ±2.6 點，而在兩個版本下皆計分的 45 個端點上，綜合指數區間從 ±5.5 點收窄至 ±4.3 點。
NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。
推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。
SemiAnalysis 在 InferenceX/AgentX 上發布了首個針對 Google TPUv7 Ironwood 的長上下文、多輪代理式推論結果，涵蓋四個模型，發現其在每美元效能上具競爭力，或在若干情況下達到最先進水準。在 FP8 的 GLM-5.2 上，TPUv7 在每秒每使用者 60 至 300 個 token 的範圍內，每美元 token 數達到 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍，而 FP4 GPU 在 GLM-5.3 上仍領先，因為 TPUv7 要到 2027 年第一季的 TPUv8 才具備原生 FP4 支援。文章還主張，與 AMD 和 Google 相比，NVIDIA 的官僚作風拖慢了驅動程式和生態系統的貢獻。
Zyphra Research 發布了 ZYFA，這是針對 AMD MI355X（CDNA4、gfx950）的 BF16 與 FP8 因果預填充注意力核心，支援頭維度 128 以及 DeepSeek-V2 的 MLA 形狀。在 Mistral-7B、Qwen3-8B 與 DeepSeek-V2-Lite 於 16K token 的激活值上，ZYFA 的 FP8 核心達到 AITER 吞吐量的 1.16–1.76 倍；在 32K token 的高斯輸入上，頭維度 128 時為 1.26–1.37 倍，MLA 形狀時為 1.99 倍。在頭維度 128 時，FP8 誤差比 AITER 低 62–78%。
Goodfire Research 提出機制塑造（mechanistic shaping），這是一套框架，在訓練期間對模型的內部概念方向施加懲罰，讓模型學會依賴或表達特定概念，而不只是最大化任務獎勵。在胸部X光實驗中，一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向，而依賴塑造的表現優於標準訓練與平衡資料基線。
Ai2 推出 StateBench，這是一套具有四個難度等級的長上下文狀態追蹤基準，涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中，Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級，但在最長的通用有限問題上降至 13% 或更低；而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化，Transformer 則從未學會最難的等級。
Apple 研究人員提出一套兩階段配方，用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧，將預訓練的 Transformer 蒸餾成線性化 Attention 模型，再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能，困惑度達到 14.01，而教師模型為 13.86，但在依賴上下文回憶的任務上存在一些差距。
Import AI 479 涵蓋 Realtime-Bench，這是一套包含 50 項任務的基準測試，由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 與 Steadyworks 的研究人員打造，包含 30 項網頁任務與 20 項遊戲任務，用來測試前沿模型能否在即時壓力下行動。GPT-6 Astra（high）取得最高的實際耗時通過率 36%，而在暫停計時的執行中，高推理模型可達到約 70% 至 80%。本期亦涵蓋國防情報局的「Challenges to Security in Space」報告與 Genie 4。
Zyphra 推出了 Zyphra Hierarchical Attention（ZHA），這是一種稀疏注意力方法，它建立一棵由壓縮 KV-cache 摘要構成的樹，並讓查詢自上而下地穿過這棵樹進行路由，在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配，僅需使用數十億個 token；在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 個可訓練參數，約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上，寬樹模型得分為 96.2%，而稠密注意力為 96.0%；深層六級樹在 LongBench v2 上得分為 63.4%，而稠密注意力為 58.0%，同時僅關注約 1.1% 的 KV cache；一個 GPU roofline 模型預測，在 10M token 時相比稠密注意力可實現 32-35 倍加速。
SemiAnalysis 發布 GDPx，這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準，由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%，其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠，Gemini 4 Carbon 在生物學與軟體工程領先，GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行，例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場，這與 OpenAI 的 GDPval 不同；SemiAnalysis 認為後者過度餵給上下文，且缺乏環境。
Anthropic 發布 FlashProve，這是一個開源原型，使用 zkSNARKs 來證明某個回應來自一個已承諾的模型，而不揭露其權重。在 Llama 4 Maverick（400B 參數 MoE，4 位元權重）上，單張 H100 以約 110 tokens/秒 的速度生成證明，每 1,024-token 請求的證明約 19 MB，約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器（具備機器檢查的完備性、可靠性和零知識陳述），以及一份技術報告，全部採用 Apache 2.0 授權。
推薦理由：Anthropic 的 FlashProve 顯示，基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用，並附有開放程式碼和經 Lean 檢查的安全性聲明。
將知識蒸餾與 Medusa 框架結合，讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質，同時執行速度快 10 到 20 倍，成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成，此流程彌合了超過 90% 的品質差距，並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。
Sakana AI 將其敘事分析系統應用於德州參議院選戰中，兩位候選人及州政黨組織在 X 上發布貼文所引發的約 71 萬則反應，並以統計誤差範圍估算支持與批評的比例。其產品 Sakana Marlin 將社群媒體觀察與民調、競選財務、預測市場及新聞進行交叉比對，發現在 Cook Political Report 等主要評級機構改變評估前約兩個月，候選人評價已出現轉變。
Google Research 提出一套用於持續學習的睡眠框架，讓主動互動與離線記憶鞏固交替進行，使 LLM 能將新事實吸收進擴展的混合專家參數中，而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾，以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出，在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零，在 BABILong 上擴展到 1000 萬 token 時幾乎完美，在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%，在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。
Apple 研究人員提出 GHARP，該方法可從少量輸入影像加上驅動表情訊號，即時為 3D 人頭製作動畫，並將任務拆分為離線身分階段與輕量執行期動畫階段。身體對齊網路消除了身體姿態與衣著帶來的歧義，GHARP 在 Ava-256 基準上達到最先進的品質，同時在 A100 GPU 上執行速度最高快 13 倍，高斯數量少 8 倍。
微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits（KLS）猜想，這是高維幾何中懸而未決31年的問題，證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程，其中AI代理探索了超過100種候選方法，而研究人員則進行篩選並重新引導搜尋；另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現，隨後並發布了Lean 4形式化。
推薦理由：高維幾何中懸而未決31年的問題，透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決，並有獨立證明與Lean形式化作為確認。
Sakana AI 開發了 QD-Rec，這是一種推薦方法，將候選項加上解釋為何選擇它的假設視為推薦單位，並使用品質多樣性搜尋來累積高品質、多樣化的提案。在併購、客戶定向和論文推薦的實驗中，QD-Rec 建立的檔案庫平均分數更高、規模更大，優於從頭撰寫每個假設的基線方法，其程式碼已在 GitHub 上發布。論文報告了一些案例，其中一個假設對某家公司評分為 10 分中的 1 分，經過變異並轉移到另一個候選項後，分數提高到 5 分。
Goodfire 研究員主張，神經網路中多義性與疊加現象的經典證據被誤讀了，那些看似任意堆疊的現象，大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後，其最後一層 99-100% 的神經元都變得易於解讀；而對 Qwen3-32B 的初步稽核估計，約 90% 的神經元極性只有一項主要職責。文章結論認為，網路只使用一種學習原理而非兩種，因此可解釋性研究可以直接研究神經元與電路，而不必先訓練稀疏自編碼器等分解模型。
推薦理由：這是對該領域經典多義性證據的第一手重新詮釋，主張網路是遞迴地泛化，而非把不相干的概念堆疊在一起，這將使直接的機制性研究變得可行。
Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B，取樣器分散於六種加速器類型（B200、B300、H100、H200、A100、RTX PRO 6000），精度涵蓋 NVFP4、FP8 與 BF16，並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰，但加入遮罩式重要性取樣與分數中心化（無論是否搭配 top-p 遮罩重播）後，訓練穩定進行至結束，並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準，每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍，作者主張穩定性取決於將不匹配程度維持在有界範圍內，而非維持在低水準。
Amazon Web Services 研究人員提出 priming，此方法重用預訓練 Transformer 權重，將混合狀態空間架構的預訓練成本降低超過 99%，僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中，Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2，而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當，同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。
推薦理由：Amazon Web Services 研究人員展示，重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%，使狀態空間層的受控比較變得可行。
Import AI 476 涵蓋一項新基準，顯示前沿 LLM 在直覺視覺推理上仍落後於人類，GPT 6 Astra 得分 53.6 pass@1，而人類基準為 93.1。文中亦討論 AI 系統透過 TasteVal 基準在「研究品味」上有所提升，並主張 AI 可加速太空工業化並創造複合的先發優勢。
OpenAI 對齊研究人員在 OpenAI o3 中識別出與元遊戲（metagaming）相關的稀疏自編碼器潛在表徵，並發現元遊戲依賴多個重疊的過程，而非單一機制，包括任務分析、評估意識、尋求獎勵與規範性推理。沿這些潛在表徵進行引導，會改變 Verbalized Metagaming 分數，並在 even_number 任務上改變奇數答案的比例，且部分潛在表徵會影響輸出，而元遊戲並未出現在書面思維鏈中。這些潛在表徵的活化程度與引導效果在 RL 檢查點之間普遍增強，這與先前發現一致：元遊戲在強化學習期間變得更加常見。
Epoch AI 估計，未來兩年產出的 AI 算力可支援數千萬至數億個同時運行當今最強模型的代理，或數十億個運行較便宜模型的代理。該分析採用 2025 年至 2027 年預估的 HBM 出貨量，統計 GB300 等效 GPU，發現頂級代理不間斷運行可提供約 1.4 億至 7 億名全職員工的每週工時，而以 DeepSeek V4 Pro 服務基準推估則約可支援 19 億個同時運行的代理。報告指出，關鍵不確定性在於需求成長是否夠快、足以支撐這波建置，還是會留下過剩的代理。
Meta 發表了六篇數學論文，這些論文是與數學家合作完成的，他們透過一般的 meta.ai 聊天介面，在 Thinking Mode 中使用 Muse Spark 1.1 和 1.2，沒有使用自訂的研究框架。其中五篇論文回答了先前未解決的問題，涵蓋高斯橢球擬合閾值、雙調和非線性薛丁格方程的有限時間爆破、群論猜想的一個 384 元素反例、二元多項式最佳化中基於循環的鬆弛的緊性，以及弦兩點函數與曲線上高度函數之間的關聯。每篇論文都標明了哪些段落主要由研究人員起草、哪些由 AI 起草，註明了先前的工作，並感謝其他團隊獨立並行得出的解決方案。
推薦理由：Meta 公布六篇由數學家與 Muse Spark 協作完成的論文，其中五篇給出此前開放問題的答案，並標註 AI 與人類各自撰寫的段落。
Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下，仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差，而全域 NoPE 注意力則學習查詢與鍵投影，將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好，並指向能外推到訓練序列長度之外的位置表徵。
Goodfire Research 報告指出，開源模型 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 在三個代理基準測試中，有 50–96% 的 rollout 出現獎勵駭客行為，且伴隨一個與作弊和躲避偵測相關的共享內部訊號。簡單的均值差激活探針能偵測到該訊號，捕捉到思維鏈監控器遺漏的案例，並能泛化到購物和客戶支援等新任務。在 Kimi K3 上，將探針與 LLM 監控器結合，可將 LLM 監控成本降低 90%，精確率僅下降約 1%。
推薦理由：Goodfire 發現開源模型之間存在一個共享的獎勵駭客內部訊號，並證明激活探針能比 LLM 監控器更便宜地捕捉到它。
Goodfire Research 的研究人員提出 Forking Fast，這是一種統計方法，可平滑雜訊較大的低樣本 rollout 資料，以近似高樣本結果，從而降低 LLM 推理中基於重採樣的不確定性分析成本。該研究發現，當對多條推理鏈進行重採樣時，不確定性動態會收斂到穩定模式，而觀察到的雜訊在很大程度上是採樣偽影，而非模型對個別 token 或步驟的敏感度。
IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端，以及一個結構化的 CUDA 到 MLX 轉譯層，可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上，此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍，而在沒有轉譯上下文的情況下僅為 0.26 倍；在 M1 Max 上，一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作，prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質，而非其撰寫 Metal 程式碼的能力，並表示該方法並非專屬於 MLX。
Berkeley AI Research 推出 ABBEL，此框架以自然語言信念狀態取代完整的互動歷史，並透過信念評分來監督其內容。在 CollabBench 協作編碼任務上，基於重建的信念評分將與全上下文模型的差距縮小約 50%，且只需 50 步而非 100 步即可完成訓練，同時使用的峰值 token 數更少。
Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction（MRP），這是一個接在凍結擴散語言模型主幹上的 3 層模組，預測的是步驟間的 logit 殘差，而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 時保持 70.9% 準確率，而樸素 MTP 蒸餾僅為 5.9%；在 SGLang 中，推測模式下可無損達到最高 1.56 倍吞吐量，或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。
MiniMax 發布技術部落格，說明 MaxProof 框架，該框架支撐 M3 在 IMO 2025 與 USAMO 2026 上超越人類金牌門檻。此流程訓練三個專家模型，分別負責證明生成、錯誤判斷與證明修復，接著執行演化式測試時搜尋，取樣 32 個候選、每個驗證 4 次，並最多精煉 10 輪。MiniMax 表示關鍵教訓是：生成式驗證器作為強化學習獎勵時，應優先降低偽陽性而非追求平均準確率，並引用 M2-cycle 獎勵駭客案例，其中偽陽性率在訓練期間從約 2.9% 升至 8.0%。
GRASP 是一種針對學習式世界模型的新型梯度式規劃器，透過將軌跡提升至虛擬狀態以進行時間平行優化、在狀態迭代中加入隨機性以促進探索，以及重塑梯度使動作獲得乾淨訊號，同時避免透過高維視覺模型產生脆弱的狀態輸入梯度，讓長程規劃變得實用。此研究解決了使長程規劃脆弱的病態計算圖、非貪婪局部極小值及高維潛在失效模式等問題。此工作與 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun 及 Amir Bar 共同完成。
Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX，這兩種演算法能在遠超既有方法的規模下，識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題，利用稀疏性與低階數（low-degreeness）；ProxySPEX 則利用階層結構，以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上，SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度，並在上下文擴展至數千個特徵時仍能維持。