跳至正文
11月13日星期五
  1. Hacker News · AI58

    研究發現2026年上半年13.7%的新npm套件存在AI風格的過時版本鎖定

    Kobi Mozgori抽樣25萬個npm套件後發現,新套件中鎖定的依賴版本多為已被取代的整數x.0.0版本的比例,從2019年至2024年初的1–2.4%基準,上升至2026年上半年的13.7%,並在2026年下半年至11月初降至7.6%。2021–2023年期間,鎖定依賴版本在套件誕生時的中位數年齡約為155天,但2026年第二季度為451天;而誕生時幾乎所有鎖定版本都指向最新發行版的套件比例,從約28%降至約10%。作者將此模式視為推論而非證明,因為註冊表元數據無法顯示是誰或什麼撰寫了清單,並指出2026年中期以來的下降尚未得到解釋。

  2. Hacker News · AI26

    Erik Hoel 推出 Qualiaphobic AI,以工程化非意識機器

    Erik Hoel 推出了 Qualiaphobic AI,這是一項研究計畫,旨在建構被設計來排斥意識的神經架構,類似於疏水性物質排斥水的原理。該提案探索了三種方法:依據主流意識理論對 AI 進行蒸餾、轉換或消融;將架構轉向「錨點」,例如查找表;以及碎片化潛在的現象學。Hoel 計畫建構並開源這些技術,主張它們可以解決 AI 福利問題,並使人類成為唯一的道德主體。

  3. Hacker News · AI58

    GitHub 上最多星標的 AI 工具中,有多少是由編碼代理撰寫的?

    一項對 GitHub 上 52 個最多星標的 AI 工具儲存庫完整 git 歷史的分析,涵蓋 324,088 次提交,發現中位數儲存庫在其最後 180 天活動中的提交有 16.9% 帶有 AI 簽名,52 個中有 21 個達到 25% 或以上。星標數與 AI 簽名佔比之間沒有可檢測的關聯(Spearman ρ = -0.05,p = 0.72),而 36,892 次簽名提交中有 85.3% 來自 Claude,其工具預設會添加 trailer。作者提醒,大量 AI 使用集中在 2025 年或之後啟動的專案,因此樣本無法將 AI 使用與新近程度分開,且每個 AI 百分比都是下限。

11月11日星期三
  1. inclusionAI Models40

    inclusionAI 發布 ZoomGain-9B 與 ZoomGain-4B 模型,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點,同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題,而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。

  2. inclusionAI Models38

    inclusionAI 發布 ZoomGain-4B 與 ZoomGain-9B,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 arXiv 論文、ZoomGainBench 評估基準、RL 訓練資料集,以及 ZoomGain-4B/ZoomGain-9B 模型檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多個細粒度與通用感知基準上達到更優表現。ZoomGain 挖掘從全局到縮放的感知落差,為視覺語言模型建立細粒度視覺監督。

11月9日星期一
  1. Hugging Face Blog38

    NVIDIA 與 Elith 發布 Nemotron-Personas-Finance-Japan 合成資料集

    Elith 與 NVIDIA 發布 Nemotron-Personas-Finance-Japan,這是一個以政府官方統計資料為基礎、針對日本金融業打造的開放合成人物資料集。它包含 50 個領域、約 15 億個 token 的 900 萬個人物(100 萬筆記錄 × 9 個人物),以 NeMo SDG-PGMs 與 NeMo Data Designer 生成,並以 CC BY 4.0 授權提供商業使用。

  2. Hugging Face Blog40

    HOPE:混合專家語言模型中的高階專家剪枝

    研究人員提出 HOPE,一種針對混合專家語言模型的二階專家剪枝方法,該方法考量共同激活專家之間的成對交互作用,而非獨立地為每個專家評分。在 50% 剪枝率下,HOPE 取得所有方法中最佳的平均排名,在代理式編碼任務上相較於次佳的剪枝方法最高提升 +6.1%。此研究針對 Qwen3.5-122B 等模型的記憶體瓶頸,其中專家 MLP 佔據約 250 GB 足跡的 95%。

  3. inclusionAI Repositories38

    ZoomGain:挖掘全域到縮放感知落差以實現細粒度視覺監督

    ZoomGain 利用只有放大後才會清晰的視覺細節,針對整張影像建構問題,並將這種全域到縮放的感知落差作為視覺語言模型的監督訊號。本次發布包含 arXiv 論文、ZoomGainBench 基準(1,000 道問題,涵蓋 941 張影像,涉及屬性辨識、計數與 OCR)、涵蓋 7,713 張來源影像的 9,000 筆 RL 訓練紀錄,以及 ZoomGain-4B 與 ZoomGain-9B 檢查點。28 個模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。

11月6日星期五
  1. Hugging Face Blog58

    Ai2 發布 ToyBlocks,一個用於機器人學習的開放模擬積木操作世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面積木構建的開放模擬框架,是其 FoundationWorlds 系列中用於受控機器人學習與評估的首個成果。該框架在 Isaac Lab 中透過強化學習與運動規劃自動生成技能與示範,在單一 GPU 上可達最高 24 倍即時速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在其實驗中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在真實 Franka FR3 上為 81.1%;而 Molmo 2 加 ManiFlow 系統在模擬與真實世界回合中的成功率分別為 55.5% 與 50.0%。

  2. Ai2 · Allen Institute for AI58

    Ai2 發布 ToyBlocks,一個用於機器人學習與評估的可控模擬世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面上積木建構的開放模擬框架,作為其 FoundationWorlds 中首個用於可控機器人學習研究的項目。ToyBlocks 透過 Isaac Lab 中的強化學習與運動規劃自動生成任務與示範,在單一 GPU 上可達最高 24 倍的即時資料生成速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在 Franka FR3 的真實世界測試中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在硬體上為 81.1%;而 Molmo 2 加 ManiFlow 系統則在模擬回合中成功 55.5%,在真實回合中成功 50.0%。

  3. vLLM Blog77

    REINFORCE Zero:核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練,並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示,對齊 rollout 與訓練器的核心,可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲,在策略延遲 64 下穩定訓練 20,000 次更新,並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時,rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍,線上 AIME24 pass@1 從 34.27% 降至 13.96%,而序列閘門雖能穩定訓練,但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1,以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1,程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由:NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配,顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

11月5日星期四
  1. Zyphra Research36

    ZYFA:在 AMD MI355X 上快速且準確的 FP8 注意力核心

    Zyphra Research 發布了 ZYFA,這是針對 AMD MI355X(CDNA4、gfx950)的 BF16 與 FP8 因果預填充注意力核心,支援頭維度 128 以及 DeepSeek-V2 的 MLA 形狀。在 Mistral-7B、Qwen3-8B 與 DeepSeek-V2-Lite 於 16K token 的激活值上,ZYFA 的 FP8 核心達到 AITER 吞吐量的 1.16–1.76 倍;在 32K token 的高斯輸入上,頭維度 128 時為 1.26–1.37 倍,MLA 形狀時為 1.99 倍。在頭維度 128 時,FP8 誤差比 AITER 低 62–78%。

  2. Google Research47

    Google Research 的 Agile Deliberation 協助人類定義主觀的 AI 類別

    Google Research 推出 Agile Deliberation,這是一套框架,將主觀 AI 分類器的建立轉化為反覆對話,由 AI 協助使用者釐清自己的定義。它將任務拆分為概念範疇界定與概念迭代,運用視覺語言模型找出邊界案例影像,並將回饋導入自動提示優化迴圈。在 18 場各 1.5 小時的實際使用者工作坊中,此方法減輕了使用者的疲勞與焦慮,並產出更一致的模型,表現優於標準基準;程式碼已在 GitHub 開源。

10月29日星期四
  1. inclusionAI Repositories52

    Inclusion AI 的 IDM 在生成器自身的 EMA 特徵空間中進行匹配,加速一步與兩步文字生成圖像

    Inclusion AI 與學術合作者發布 IDM,一種結合內部分佈匹配與生成器自身 EMA 特徵空間中矩匹配的蒸餾方法,無需外部特徵編碼器。在 2 NFE 下,IDM(Z-Image)在 LongText-CN 上得分 94.25%,在 LongText-EN 上得分 90.20%;全參數 IDM(Z-Image)在單張 A100 上以 BF16 運行,1 NFE 耗時 0.25 秒,2 NFE 耗時 0.30 秒。同一個訓練好的檢查點同時支援 1-NFE 與 2-NFE 取樣,程式碼以 Apache 2.0 授權釋出,檢查點則標示為即將推出。

10月19日星期一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一種將候選項與 LLM 撰寫的假設配對的品質多樣性推薦方法

    Sakana AI 開發了 QD-Rec,這是一種推薦方法,將候選項加上解釋為何選擇它的假設視為推薦單位,並使用品質多樣性搜尋來累積高品質、多樣化的提案。在併購、客戶定向和論文推薦的實驗中,QD-Rec 建立的檔案庫平均分數更高、規模更大,優於從頭撰寫每個假設的基線方法,其程式碼已在 GitHub 上發布。論文報告了一些案例,其中一個假設對某家公司評分為 10 分中的 1 分,經過變異並轉移到另一個候選項後,分數提高到 5 分。

10月15日星期四
  1. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的,而疊加現象被誤讀了

    Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。

    推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。

10月13日星期二
  1. Amazon Science75

    Amazon Web Services 研究人員提出 priming,將預訓練 Transformer 轉換為混合狀態空間模型,無需完整重新訓練

    Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。

9月1日星期二
  1. Zyphra Research48

    Zyphra 發布 PUFFER,一套用於持續演進訓練語料的增量模糊去重系統

    Zyphra 以 Apache 2.0 授權發布 PUFFER,這是一套開源、具備來源感知能力的增量模糊去重系統,用於持續成長的 LLM 訓練語料。相較於現有基於 CPU 的去重方法,它帶來 11 倍至 35 倍的加速,並可在單一進程上於 1.75 小時內攝入十億份文件,且已在超過 300 億份文件上進行生產部署。PUFFER 保留一份存於磁碟的 MinHash-LSH 歷史紀錄,因此可以新增資料集、以確定性方式恢復中斷的工作,並可撤除個別資料集而無需重建整個語料索引。

7月29日星期三
  1. Berkeley AI Research58

    從 CUDA 到 MLX:K-Search 將核心優化專業知識帶到 Apple Silicon

    IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端,以及一個結構化的 CUDA 到 MLX 轉譯層,可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上,此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍,而在沒有轉譯上下文的情況下僅為 0.26 倍;在 M1 Max 上,一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作,prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質,而非其撰寫 Metal 程式碼的能力,並表示該方法並非專屬於 MLX。

7月1日星期三
  1. Modal Blog58

    Modal Research 與 HeavyBall 的 MRP 將多 token 預測引入擴散語言模型

    Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction(MRP),這是一個接在凍結擴散語言模型主幹上的 3 層模組,預測的是步驟間的 logit 殘差,而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 時保持 70.9% 準確率,而樸素 MTP 蒸餾僅為 5.9%;在 SGLang 中,推測模式下可無損達到最高 1.56 倍吞吐量,或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。

4月29日星期三
  1. Factory58

    Factory 對 13 個模型進行程式碼審查基準測試,發現 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。

3月13日星期五
  1. Berkeley AI Research38

    Berkeley AI Research 推出 SPEX 與 ProxySPEX,用於識別 LLM 的大規模交互作用

    Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX,這兩種演算法能在遠超既有方法的規模下,識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題,利用稀疏性與低階數(low-degreeness);ProxySPEX 則利用階層結構,以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上,SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度,並在上下文擴展至數千個特徵時仍能維持。