Hacker News · AI·· 56 分钟前AI 评分58
SatBench 分析 173 个 AI 基准,发现 109 个已被解决
SatBench a Benchmark of AI Benchmarks
AI 导读
SatBench 是一个基于 Benchmark Almanac 构建的“基准的基准”,其报告称,在 173 个被引用最多的基准中,有 109 个已达到 85% 并被计为已解决,相比 2023 年至 2025 年初约 30% 的比例有所上升。达到 85% 的中位时间从约 20 个月降至约 14 个月,OpenAI 在最多基准上率先突破 85%(20 个),而 Anthropic 在 2026 年领先(11 个)。作者提醒,若只统计独立运行,SatBench 的比例为 24% 而非 63%,因为四分之三的首次突破来自实验室自己的发布公告。
来源:Hacker News · AI · github.com