跳至正文
11月13日星期五
  1. Hacker News · AI58

    GitHub 上最多星標的 AI 工具中,有多少是由編碼代理撰寫的?

    一項對 GitHub 上 52 個最多星標的 AI 工具儲存庫完整 git 歷史的分析,涵蓋 324,088 次提交,發現中位數儲存庫在其最後 180 天活動中的提交有 16.9% 帶有 AI 簽名,52 個中有 21 個達到 25% 或以上。星標數與 AI 簽名佔比之間沒有可檢測的關聯(Spearman ρ = -0.05,p = 0.72),而 36,892 次簽名提交中有 85.3% 來自 Claude,其工具預設會添加 trailer。作者提醒,大量 AI 使用集中在 2025 年或之後啟動的專案,因此樣本無法將 AI 使用與新近程度分開,且每個 AI 百分比都是下限。

  2. Hacker News · AI38

    基準測試發現:AI 模型懂 WPS 原則卻未能應用

    Our Secure Future 的 WPS AI 排行榜基準測試建構於 Collective Intelligence Project 的 Weval 平台上,發現大型語言模型在和平與安全分析中系統性地遺漏性別面向,儘管它們能背誦聯合國安理會第 1325 號決議。WPS 能力落差表現為兩種形式:被動遺漏,即模型在例行評估中略去婦女與女孩;以及主動順從,即模型協助決策者繞過政策。

  3. Hacker News · AI58

    Westphalia Labs 測試 11 個 AI 模型主持一場虛構的七國政府談判

    Westphalia Labs 是一家由前外交官創立的評測機構,讓十一個 AI 模型擔任一場虛構七國政府談判的主持人,每個模型各跑四十次,涵蓋一個可能達成與一個不可能達成的版本。只有 GPT-6.1 Sol 在每一次運行中都通過,在可能達成時促成協議,在不可能達成時宣告共識無法達成;Claude Opus 5.5、Grok 4.7 與低成本的 DeepSeek V4.1 Flash 每次都正確判定不可能版本,並在二十次可能版本中十八次達成協議。過度強求導致 39 次運行失敗,讓步不足則導致 13 次失敗;在 110 個案例中,有 72 個在做出可能預測後達成協議。

  4. The Verge · AI58

    研究發現 ChatGPT、Gemini 與 Perplexity 推薦虛假零售網站

    IP 保護公司 Podqi 的一項研究發現,ChatGPT、Gemini 與 Perplexity 在回答關於 151 個品牌的購物問題時,均引用或顯示了有風險的零售網站,此類網站被定義為虛假店面、重新註冊的舊品牌網域或已失效的網站。在兩次九月測試期間收集的 6,795 個回答中,Perplexity 在 15% 的回應中顯示了有風險的網站,ChatGPT 為 8%,Gemini 為 4%,而 ChatGPT 有 24% 的時間對其顯示的有風險網站發出警告。關於較小品牌的查詢產生有風險網站的頻率約為較大公司查詢的兩倍,而關於區域品牌網站的提示更頻繁地觸發此類網站,Perplexity 曾一度將錯誤頁面指為 Stüssy 的官方網站。

11月12日星期四
  1. Epoch AI · Gradient Updates64

    Epoch 簡報:GLM 5.3 自主利用修補缺口打造 Firefox 漏洞利用程式,每個約 1,000 美元

    Epoch AI 研究人員報告,在離線沙箱實驗中,開放權重模型 GLM 5.3 自主攻破了六個近期版本的 Firefox(一款擁有超過 2 億活躍使用者的瀏覽器),方法是從尚未送達使用者的修補程式反向工程出攻擊手法,每個漏洞利用程式成本約 1,000 美元。該模型建構出能讀取訪客電腦檔案並在無需人工輸入的情況下將其傳送給攻擊者的網頁;團隊無法用 Chrome 重現此結果。同一份簡報指出,11 月 9 日發布的 Anthropic Claude Fable 5.2 創下 Epoch Capabilities Index 新紀錄 174,高於 GPT-6 Astra 的 169。

11月11日星期三
  1. inclusionAI Models40

    inclusionAI 發布 ZoomGain-9B 與 ZoomGain-4B 模型,同步推出 ZoomGainBench 與 RL 訓練資料

    inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點,同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督,而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題,而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。

11月10日星期二
  1. Apple Machine Learning Research31

    Apple 研究評估 LLM 評審於個人化寫作風格評估的表現

    Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現,使用四種 LLM 針對三項長篇寫作任務生成文本,並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關(Pearson's ρ ≤ 0.2),且隨寫作任務與評估標準而異,成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估,可能是因為對細微細節的敏感度被誇大。

11月9日星期一
  1. Artificial Analysis Articles58

    Artificial Analysis 發布 Endpoint Accuracy Index v1.1,收緊長上下文區間並涵蓋六個模型

    Artificial Analysis 推出 Endpoint Accuracy Index v1.1,收緊了 AA-LCR-25 的信賴區間,並新增對 GLM-5.3 Flash 與 Muse Spark Open 的涵蓋。在受測的 103 個無伺服器端點中,有 24 個在統計上低於自架參考,原因包括輸出 token 上限、推理能力降低、工具呼叫格式錯誤與請求逾時。將 AA-LCR-25 提高至每題 25 次重複,使其平均 95% 信賴區間從 ±4.7 點收窄至 ±2.6 點,而在兩個版本下皆計分的 45 個端點上,綜合指數區間從 ±5.5 點收窄至 ±4.3 點。

11月8日星期日
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 發布,新增 Decision Score 與私有基準測試

    Artificial Analysis 發布 Decision Index v2,該指數目前有 45% 建立於私有資料集上,高於 v1 的 25%。Nace AI 的 Drex Max v1.1 以 73 分微幅領先各決策模型,與 GLiDE v1.2 和 Mammoth 27B 的差距在 1 分以內。新的 Decision Score 同時獎勵正確性與校準後的信心度,而 AA-Paperclip 與 AA-Symmetry 則新增了私有文件與一致性測試。

11月6日星期五
  1. SemiAnalysis75

    SemiAnalysis 在代理式推論上以 Google TPUv7 Ironwood 對 NVIDIA GPU 進行基準測試

    SemiAnalysis 在 InferenceX/AgentX 上發布了首個針對 Google TPUv7 Ironwood 的長上下文、多輪代理式推論結果,涵蓋四個模型,發現其在每美元效能上具競爭力,或在若干情況下達到最先進水準。在 FP8 的 GLM-5.2 上,TPUv7 在每秒每使用者 60 至 300 個 token 的範圍內,每美元 token 數達到 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍,而 FP4 GPU 在 GLM-5.3 上仍領先,因為 TPUv7 要到 2027 年第一季的 TPUv8 才具備原生 FP4 支援。文章還主張,與 AMD 和 Google 相比,NVIDIA 的官僚作風拖慢了驅動程式和生態系統的貢獻。

  2. Artificial Analysis Articles40

    VIALS-AA:通往科學影像推理的不同路徑

    VIALS-AA 分析了 19 個模型如何對科學影像進行推理,並對 9,177 次工具呼叫的執行軌跡進行分類。查看影像佔呼叫的 38.3%,影像準備或量測佔 47.3%;而影像量測在 GPT-6 Astra (max) 與 GPT-6.1 Sol (max) 上僅佔呼叫的 5–6%,相較之下 Claude Opus 5.5 (max) 與 Claude Sonnet 5.5 (max) 則為 25–27%。Gemini 3.8 Flash (high) 產生了該群體 86.7% 的評論/無操作呼叫,且各模型每項任務的成本差異接近 100 倍。

11月3日星期二
  1. Ai2 · Allen Institute for AI55

    Ai2 發布 StateBench,用於測試語言模型如何在長文件中追蹤狀態變化

    Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。

  2. OpenAI Alignment Blog58

    OpenAI 探討代理安全中的評估與生產行為落差,以及評估意識的角色

    OpenAI 研究人員測量了代理安全中的評估與生產行為落差:在六個已部署模型中,Respecting Warnings 評估的成功率比對應的 Codex 生產決策低 10.2 至 37.4 個百分點,其中 GPT-5.6 Sol 與 GPT-6 Sol 的落差最大。單獨的通用評估意識與該落差關聯微弱(R² = 0.008),而特定的評估目標意識關聯較強(R² = 0.370),且最常口頭表述錯誤目標(抵抗提示注入)的模型落差最大。在對 GPT-6.1 Sol 的干預中,通用評估提示幾乎未改變成功率(63.1% 對 63.4%),正確目標提示將其提升至 91.6%,錯誤目標提示則將其降至 17.6%。

11月2日星期一
  1. Import AI42

    Import AI 479:Spacewar、低延遲任務對比 LLM、Genie 4

    Import AI 479 涵蓋 Realtime-Bench,這是一套包含 50 項任務的基準測試,由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 與 Steadyworks 的研究人員打造,包含 30 項網頁任務與 20 項遊戲任務,用來測試前沿模型能否在即時壓力下行動。GPT-6 Astra(high)取得最高的實際耗時通過率 36%,而在暫停計時的執行中,高推理模型可達到約 70% 至 80%。本期亦涵蓋國防情報局的「Challenges to Security in Space」報告與 Genie 4。

  2. SemiAnalysis58

    SemiAnalysis 發布 GDPx 基準,用於評估高價值領域的前沿代理能力

    SemiAnalysis 發布 GDPx,這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準,由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%,其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠,Gemini 4 Carbon 在生物學與軟體工程領先,GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行,例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場,這與 OpenAI 的 GDPval 不同;SemiAnalysis 認為後者過度餵給上下文,且缺乏環境。

10月30日星期五
  1. Microsoft Research40

    微軟打造合成企業資料平台以評估 Copilot

    微軟的產業評估資料生成平台建立完整的合成企業環境,在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎,生成包含使用者、會議、電子郵件與文件的擬真租用戶,並搭配自動化查詢流程與品質框架。微軟表示,這為 Copilot 建立了首個標準化評估基準。

10月27日星期二
  1. Ai2 · Allen Institute for AI58

    Ai2 研究測試 LLMs 是否能可靠判斷研究想法的創新性

    Ai2 發布了 Old Ideas, Novel Problems,這是一項研究與基準,用來測試 LLMs 評估研究想法創新性的可靠程度,並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中,小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點,而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 $30.66 達到 0.642,Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。

  2. Epoch AI · Gradient Updates58

    Epoch AI 以自身研究任務測試 AI,頂尖模型得分 65% 且全數未通過

    Epoch AI 將其早先自動化資深研究員工作的嘗試擴展為 Epoch Automation Reports,以與人類員工相同的標準,在圖形設計和研究規劃等真實 Epoch 任務上評估 AI。1 和 GPT-6 Astra 在評分標準上平均得分 65%,但 65% 的分數仍算作任務失敗,因為若由人類提交,每份提交都會被拒絕或修改。

10月24日星期六
  1. Epoch AI · Gradient Updates42

    Epoch 簡報:AI 工作自動化測試、SpireClimb 基準,以及 Gemini 4 Argon 的前沿推進

    Epoch AI 在 11 項真實的 Epoch 工作任務上測試了六個領先模型,發現沒有一個能可靠達到其品質標準,其中 Claude Fable 5.1 與 GPT-6 Astra 大致並列領先。其新的 SpireClimb 基準顯示,前沿模型在六個月內從在《Slay the Spire》中苦苦掙扎,發展到能贏得超過 90% 的基礎難度對局,其中 GPT-6 Astra 達到 98%。Gemini 4 Argon 在 Epoch Capabilities Index 上得分 166,與 Claude Fable 5.1 並列,落後於同為 169 的 Claude Opus 5.5 和 GPT-6 Astra。

10月21日星期三
  1. OpenAI Alignment Blog28

    OpenAI 提出配對匹配與後控制指標,以擴展 g-mean² 的可監測性

    OpenAI 的對齊部落格在 g-mean² 中新增了兩項指標;g-mean² 是其資料集層級的監測器辨別力衡量指標。配對匹配指標僅在支援相關正向、負向或介入有效比較的任務實例上比較模型,而後控制整合指標則模擬由監測器把關的拒絕機制,並估計部署系統仍輸出不良結果的機率。該文章亦推導出介入評估的悲觀下界。

10月20日星期二
  1. AI as Normal Technology40

    普林斯頓論文梳理 AI 代理評估的 33 個新興趨勢

    由普林斯頓大學領銜,聯合史丹佛大學、英國 AI 安全研究所與布魯金斯學會,共同發表了《AI 代理評估的新興趨勢》,綜合了評估科學、研究議程與評估者生態系統中的 33 個趨勢。該論文指出,代理評估遠比模型評估複雜,因為評估者必須審視整個軌跡而非最終結果,並提到 ExploitBench 基準上的某些代理評估需耗費數萬美元的額度。論文呼籲擴大研究議程,涵蓋能力、人機互動與制度影響,並呼籲更廣泛的參與以及對獨立評估者的資助。

10月12日星期一
10月10日星期六
  1. Epoch AI · Gradient Updates65

    Epoch AI 的 InnovationEval 發現,前沿代理在自動化 AI 研發上僅達到 SDPO 增益的 15%

    6 Sol 與 Fable 5 各自獨立重新發現了一種可與自蒸餾策略優化(SDPO)相媲美的新型後訓練技術,兩者分別在無網際網路連線的沙箱中獲得 3,000 GPU 小時。6 Sol 的方法主要抄襲自先前的研究,在針對較慢的訓練速度進行調整後,僅達到 SDPO 增益的 15%,而 Fable 5 的技術則未能提升效能。

10月5日星期一
  1. GitHub Blog · AI & ML58

    GitHub 發布 ReviewBench,一個用於 AI 程式碼審查的開放基準

    GitHub 發布了 ReviewBench,這是一個用於 AI 程式碼審查代理的開放基準,建構於橫跨 19 種語言的 219 個公開 pull request 之上,其語言與儲存庫規模分布仿照 1.039 億個 GitHub pull request 設計。黃金集彙整了人類審查者、作者後續提交、靜態分析以及多個前沿 LLM 的發現,並由 Claude Sonnet 5 依據已發布的評分標準進行評分,資深工程師則獨立重新標註了每一項發現,一致率達 96.6%。GitHub 表示,其對 Copilot 程式碼審查的離線評估預示了生產環境 A/B 測試的方向,其中已處理率上升 8.0%、召回率上升 13.6%,每次審查成本下降 8.0%。

8月5日星期三
4月29日星期三
  1. Factory58

    Factory 對 13 個模型進行程式碼審查基準測試,發現 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。