Hacker News · AI·· 15 ชม. ที่แล้วคะแนน AI38
Terminal-Bench 4.1 เปิดตัวพร้อมตัวตรวจสอบที่แข็งแกร่งขึ้นเพื่อป้องกัน reward hacking
Terminal-Bench 4.1
สรุปโดย AI
Terminal-Bench 4.1 เปิดตัวแล้วพร้อมตัวตรวจสอบที่ปรับปรุงใหม่ซึ่งออกแบบมาเพื่อต้านทาน reward hacking และการให้คะแนน TB 4.0 ใหม่ด้วยตัวตรวจสอบใหม่ใช้ต้นทุนการอนุมานเพิ่มเติม $0 มีเพียงประมาณ 1.16% ของการทดลอง 11,550 ครั้งที่คะแนนเปลี่ยนแปลง และคะแนนที่อัปเดตของเอเจนต์ทั้ง 35 ตัวยังคงอยู่ในช่วงความเชื่อมั่น 95% เดิมของ TB 4.0
แหล่งข่าว:Hacker News · AI · tbench.ai