Terminal-Bench 4.1 released with hardened verifiers
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Terminal-Bench released version 4.1 of its agent benchmark with improved verifiers designed to resist reward hacking. Re-grading TB 4.0 with the new verifiers required $0 in additional inference because it used saved artifacts; only about 1.16% of 11,550 trials changed score, and all 35 agents' updated scores stayed within their original TB 4.0 95% confidence intervals. Where regrade results were unavailable, the leaderboard keeps the original TB 4.0 score, so the update leaves the existing rankings essentially unchanged.
สร้างจากรายงาน · อัปเดต 12 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AITerminal-Bench 4.1 เปิดตัวพร้อมตัวตรวจสอบที่แข็งแกร่งขึ้นเพื่อป้องกัน reward hacking
Terminal-Bench 4.1 เปิดตัวแล้วพร้อมตัวตรวจสอบที่ปรับปรุงใหม่ซึ่งออกแบบมาเพื่อต้านทาน reward hacking และการให้คะแนน TB 4.0 ใหม่ด้วยตัวตรวจสอบใหม่ใช้ต้นทุนการอนุมานเพิ่มเติม $0 มีเพียงประมาณ 1.16% ของการทดลอง 11,550 ครั้งที่คะแนนเปลี่ยนแปลง และคะแนนที่อัปเดตของเอเจนต์ทั้ง 35 ตัวยังคงอยู่ในช่วงความเชื่อมั่น 95% เดิมของ TB 4.0
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม