Terminal-Bench 4.1 ra mắt với các trình xác minh được gia cố
Bắt đầu từ đây
Terminal-Bench đã phát hành phiên bản 4.1 của bộ đánh giá tác nhân (agent benchmark) với các trình xác minh được cải thiện, thiết kế để chống lại reward hacking. Việc chấm lại TB 4.0 bằng các trình xác minh mới không tốn thêm chi phí suy luận nào ($0) vì sử dụng các artifact đã lưu; chỉ khoảng 1,16% trong số 11.550 lượt thử thay đổi điểm, và điểm cập nhật của cả 35 tác nhân đều nằm trong khoảng tin cậy 95% ban đầu của TB 4.0. Ở những nơi không có kết quả chấm lại, bảng xếp hạng giữ nguyên điểm TB 4.0 ban đầu, do đó bản cập nhật gần như không làm thay đổi thứ hạng hiện có.
Tạo từ các bài viết · cập nhật 12 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AITerminal-Bench 4.1 ra mắt với bộ xác minh được gia cố chống reward hacking
Terminal-Bench 4.1 được phát hành với các bộ xác minh cải tiến được thiết kế để chống lại reward hacking, và việc chấm lại TB 4.0 bằng các bộ xác minh mới không tốn thêm $0 chi phí suy luận. Chỉ khoảng 1,16% trong số 11.550 lượt thử nghiệm thay đổi điểm số, và điểm số cập nhật của cả 35 tác nhân vẫn nằm trong khoảng tin cậy 95% ban đầu của TB 4.0.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.