跳至正文
Hacker News · AI·· 56 分鐘前AI 評分58

SatBench 分析 173 個 AI 基準測試,發現其中 109 個已被解決

SatBench a Benchmark of AI Benchmarks

AI 導讀

SatBench 是一個建立在 Benchmark Almanac 之上的「基準測試的基準測試」,其報告指出,在 173 個最常被引用的基準測試中,已有 109 個達到 85% 並被計為已解決,高於 2023 年至 2025 年初之間約 30% 的比例。達到 85% 的中位時間從約 20 個月降至約 14 個月,而 OpenAI 在最多基準測試上率先突破 85%(20 個),Anthropic 則在 2026 年領先(11 個)。作者提醒,若只計入獨立執行,SatBench 的比例會是 24% 而非 63%,因為每四次首次突破中有三次來自實驗室自家的發布貼文。

來源:Hacker News · AI · github.com