Tới nội dung
Hacker News · AI·· 56 phút trướcĐiểm AI58

SatBench phân tích 173 bộ đánh giá AI và phát hiện 109 bộ đã được giải quyết

SatBench a Benchmark of AI Benchmarks

Tóm tắt bằng AI

SatBench, một bộ đánh giá các bộ đánh giá AI được xây dựng trên Benchmark Almanac, báo cáo rằng 109 trong số 173 bộ đánh giá được trích dẫn nhiều nhất đã đạt 85% và được tính là đã giải quyết, tăng từ khoảng 30% trong giai đoạn 2023 đến đầu 2025. Thời gian trung vị để đạt 85% giảm từ khoảng 20 tháng xuống khoảng 14 tháng, và OpenAI là đơn vị đầu tiên vượt 85% trên nhiều bộ đánh giá nhất (20), trong khi Anthropic dẫn đầu trong năm 2026 (11). Tác giả lưu ý rằng nếu chỉ tính các lần chạy độc lập thì SatBench ở mức 24% thay vì 63%, vì ba trong bốn lần vượt mốc đầu tiên đến từ bài công bố ra mắt của chính phòng thí nghiệm đó.

Nguồn:Hacker News · AI · github.com