跳到正文
热点事件持续更新

Terminal-Bench 4.1 发布,验证器加固

1 篇报道1 个报道来源18 小时前更新

先了解这件事

AI 综述

Terminal-Bench 发布了其智能体基准测试的 4.1 版本,改进后的验证器旨在抵御奖励黑客行为。使用新验证器对 TB 4.0 重新评分无需额外推理费用,因为它使用了已保存的产物;在 11,550 次试验中,仅约 1.16% 的分数发生变化,且全部 35 个智能体的更新分数均落在其原始 TB 4.0 95% 置信区间内。 在无法获得重新评分结果的地方,排行榜保留原始 TB 4.0 分数,因此此次更新基本未改变现有排名。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. Hacker News · AI
    Terminal-Bench 4.1 发布,强化验证器以抵御奖励黑客攻击

    Terminal-Bench 4.1 已发布,其改进后的验证器旨在抵御奖励黑客攻击;使用新验证器对 TB 4.0 重新评分未产生额外推理成本($0)。在 11,550 次试验中,仅约 1.16% 的分数发生变化,且全部 35 个智能体的更新后分数仍处于其原始 TB 4.0 的 95% 置信区间内。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。