Tới nội dung
Sự việc nóngĐang diễn ra

SatBench: 109 trong số 173 benchmark AI hàng đầu hiện được tính là đã giải quyết

1 bài viết1 nguồn đưa tinCập nhật 45 phút trước

Bắt đầu từ đây

Tóm tắt AI

Ethan Mollick công bố SatBench, một phân tích dựa trên Benchmark Almanac, coi 173 benchmark được các phòng thí nghiệm AI trích dẫn nhiều nhất như các câu hỏi trong một bài kiểm tra. Tính đến ngày 14 tháng 11 năm 2026, báo cáo cho biết 109 trong số 173 benchmark đó đã đạt 85% và được tính là đã giải quyết, tăng từ khoảng 30% trong giai đoạn 2023 đến đầu 2025. Thời gian trung vị để đạt 85% giảm từ khoảng 20 tháng xuống khoảng 14 tháng, và OpenAI là đơn vị đầu tiên vượt 85% ở nhiều benchmark nhất (20), trong khi Anthropic dẫn đầu trong năm 2026 (11). Mollick lưu ý rằng con số nổi bật phụ thuộc vào cách đếm các lần chạy: nếu chỉ tính các lần chạy độc lập thì SatBench ở mức 24% thay vì 63%, vì ba trong bốn lần vượt mốc đầu tiên đến từ bài đăng ra mắt của chính phòng thí nghiệm. Ông cũng lưu ý rằng dữ liệu trước 2025 còn mỏng và kết quả này là một phép ngoại suy, không phải dự báo.

Tạo từ các bài viết · cập nhật 39 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Hacker News · AI
    SatBench phân tích 173 bộ đánh giá AI và phát hiện 109 bộ đã được giải quyết

    SatBench, một bộ đánh giá các bộ đánh giá AI được xây dựng trên Benchmark Almanac, báo cáo rằng 109 trong số 173 bộ đánh giá được trích dẫn nhiều nhất đã đạt 85% và được tính là đã giải quyết, tăng từ khoảng 30% trong giai đoạn 2023 đến đầu 2025. Thời gian trung vị để đạt 85% giảm từ khoảng 20 tháng xuống khoảng 14 tháng, và OpenAI là đơn vị đầu tiên vượt 85% trên nhiều bộ đánh giá nhất (20), trong khi Anthropic dẫn đầu trong năm 2026 (11). Tác giả lưu ý rằng nếu chỉ tính các lần chạy độc lập thì SatBench ở mức 24% thay vì 63%, vì ba trong bốn lần vượt mốc đầu tiên đến từ bài công bố ra mắt của chính phòng thí nghiệm đó.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.