SatBench: 173 อันดับแรกของ AI benchmarks ถูกนับว่าถูกแก้ไขแล้ว 109 รายการ
เริ่มตรงนี้
Ethan Mollick เผยแพร่ SatBench ซึ่งเป็นการวิเคราะห์ที่สร้างบน Benchmark Almanac โดยถือว่า 173 benchmarks ที่ห้องปฏิบัติการ AI อ้างอิงมากที่สุดเป็นคำถามในข้อสอบชุดเดียว ณ วันที่ 14 พ.ย. 2026 รายงานระบุว่า 109 จาก 173 รายการมีอัตราความสำเร็จถึง 85% และถูกนับว่าแก้ไขแล้ว เพิ่มขึ้นจากประมาณ 30% ระหว่างปี 2023 ถึงต้นปี 2025 ค่ามัธยฐานของเวลาที่ใช้ไปถึง 85% ลดลงจากประมาณ 20 เดือนเหลือประมาณ 14 เดือน และ OpenAI เป็นเจ้าแรกที่ผ่าน 85% ใน benchmarks มากที่สุด (20 รายการ) ขณะที่ Anthropic นำในปี 2026 (11 รายการ) Mollick เตือนว่าตัวเลขพาดหัวขึ้นอยู่กับวิธีนับการรัน: หากนับเฉพาะการรันอิสระ SatBench จะอยู่ที่ 24% ไม่ใช่ 63% เพราะสามในสี่ของการข้ามผ่านครั้งแรกมาจากโพสต์เปิดตัวของห้องปฏิบัติการเอง เขายังตั้งข้อสังเกตว่าข้อมูลก่อนปี 2025 มีน้อย และผลลัพธ์นี้เป็นการคาดการณ์ต่อเนื่อง ไม่ใช่การพยากรณ์
สร้างจากรายงาน · อัปเดต 39 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AISatBench วิเคราะห์เบนช์มาร์ก AI 173 รายการ พบว่า 109 รายการได้รับการแก้ไขแล้ว
SatBench ซึ่งเป็นเบนช์มาร์กของเบนช์มาร์ก AI ที่สร้างขึ้นบน Benchmark Almanac รายงานว่า 109 จาก 173 เบนช์มาร์กที่มีการอ้างอิงมากที่สุดได้มาถึง 85% และถูกนับว่าแก้ไขแล้ว เพิ่มขึ้นจากประมาณ 30% ระหว่างปี 2023 ถึงต้นปี 2025 เวลามัธยฐานในการไปถึง 85% ลดลงจากประมาณ 20 เดือนเหลือประมาณ 14 เดือน และ OpenAI เป็นเจ้าแรกที่ผ่าน 85% ในเบนช์มาร์กมากที่สุด (20 รายการ) ขณะที่ Anthropic นำในปี 2026 (11 รายการ) ผู้เขียนเตือนว่าการนับเฉพาะการรันอิสระทำให้ SatBench อยู่ที่ 24% ไม่ใช่ 63% เนื่องจากสามในสี่ของการข้ามผ่านครั้งแรกมาจากโพสต์เปิดตัวของห้องแล็บเอง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม