跳至正文
11月13日星期五
  1. Hacker News · AI58

    研究發現2026年上半年13.7%的新npm套件存在AI風格的過時版本鎖定

    Kobi Mozgori抽樣25萬個npm套件後發現,新套件中鎖定的依賴版本多為已被取代的整數x.0.0版本的比例,從2019年至2024年初的1–2.4%基準,上升至2026年上半年的13.7%,並在2026年下半年至11月初降至7.6%。2021–2023年期間,鎖定依賴版本在套件誕生時的中位數年齡約為155天,但2026年第二季度為451天;而誕生時幾乎所有鎖定版本都指向最新發行版的套件比例,從約28%降至約10%。作者將此模式視為推論而非證明,因為註冊表元數據無法顯示是誰或什麼撰寫了清單,並指出2026年中期以來的下降尚未得到解釋。

  2. Hacker News · AI58

    GitHub 上最多星標的 AI 工具中,有多少是由編碼代理撰寫的?

    一項對 GitHub 上 52 個最多星標的 AI 工具儲存庫完整 git 歷史的分析,涵蓋 324,088 次提交,發現中位數儲存庫在其最後 180 天活動中的提交有 16.9% 帶有 AI 簽名,52 個中有 21 個達到 25% 或以上。星標數與 AI 簽名佔比之間沒有可檢測的關聯(Spearman ρ = -0.05,p = 0.72),而 36,892 次簽名提交中有 85.3% 來自 Claude,其工具預設會添加 trailer。作者提醒,大量 AI 使用集中在 2025 年或之後啟動的專案,因此樣本無法將 AI 使用與新近程度分開,且每個 AI 百分比都是下限。

11月6日星期五
  1. Microsoft Research58

    微軟研究院的 PDD Kit 正式驗證代理撰寫的全端網頁應用程式

    微軟研究院推出 PDD Kit,這是一個研究原型,能將開發者的自然語言意圖轉換為 Verus 形式規格,證明編碼代理的 Rust 程式碼對所有輸入皆符合該規格,並在證明無法觸及之處退回測試。在 GitHub Next 的 Chopin 內部示範中,團隊使用 PDD Kit 驗證 Pet Store 的登入邏輯,這是一個約 5,000 行的 Rust 全端應用程式,開發者審查的是意圖產物,而非逐行檢視生成的程式碼。PDD Kit 目前僅驗證 Rust,其保證建立在六個經開發者核准的可信片段上,包括 bcrypt 密碼檢查與兩次資料庫查詢。

10月30日星期五
  1. Meta Engineering Blog58

    Meta 詳細說明「Catching JiTTests」的生產部署,並採用人在迴路中審查

    Meta 已將 Catching JiTTests(其基於 LLM 的即時測試生成方法)從研究原型推進至生產基礎設施,並在 FSE 2026 論文《Just-in-Time Catching Test Generation at Meta》中發表了結果。該系統利用閒置算力在夜間運行,針對有風險的 diff,透過 dodgy-diff 與意圖感知工作流程生成測試,並在結果送達工程師之前,以 LLM-as-Judge 集成加上基於規則的 RubFake 評估器過濾誤報。截至撰寫本文時,已有 589 名工程師(佔觸達人數的 64%)參與了這些結果,結果顯示真陽性率為 60%;在 2026 年上半年,該系統在 diff 階段捕獲了 74 個嚴重的隱私缺陷,並將隱私 SEV 降低了 20%。

10月24日星期六
  1. Epoch AI · Gradient Updates42

    Epoch 簡報:AI 工作自動化測試、SpireClimb 基準,以及 Gemini 4 Argon 的前沿推進

    Epoch AI 在 11 項真實的 Epoch 工作任務上測試了六個領先模型,發現沒有一個能可靠達到其品質標準,其中 Claude Fable 5.1 與 GPT-6 Astra 大致並列領先。其新的 SpireClimb 基準顯示,前沿模型在六個月內從在《Slay the Spire》中苦苦掙扎,發展到能贏得超過 90% 的基礎難度對局,其中 GPT-6 Astra 達到 98%。Gemini 4 Argon 在 Epoch Capabilities Index 上得分 166,與 Claude Fable 5.1 並列,落後於同為 169 的 Claude Opus 5.5 和 GPT-6 Astra。

10月5日星期一
  1. GitHub Blog · AI & ML58

    GitHub 發布 ReviewBench,一個用於 AI 程式碼審查的開放基準

    GitHub 發布了 ReviewBench,這是一個用於 AI 程式碼審查代理的開放基準,建構於橫跨 19 種語言的 219 個公開 pull request 之上,其語言與儲存庫規模分布仿照 1.039 億個 GitHub pull request 設計。黃金集彙整了人類審查者、作者後續提交、靜態分析以及多個前沿 LLM 的發現,並由 Claude Sonnet 5 依據已發布的評分標準進行評分,資深工程師則獨立重新標註了每一項發現,一致率達 96.6%。GitHub 表示,其對 Copilot 程式碼審查的離線評估預示了生產環境 A/B 測試的方向,其中已處理率上升 8.0%、召回率上升 13.6%,每次審查成本下降 8.0%。

4月29日星期三
  1. Factory58

    Factory 對 13 個模型進行程式碼審查基準測試,發現 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。