跳至正文
熱點事件持續更新

Terminal-Bench 4.1 發佈,驗證器加固

1 篇報導1 個報導來源18 小時前更新

先了解這件事

AI 綜述

Terminal-Bench 發佈其 agent 基準測試 4.1 版,改進了驗證器,旨在抵禦獎勵駭客行為。用新驗證器重新評分 TB 4.0 無需額外推理費用,因為它使用了已保存的產物;11,550 次試驗中僅約 1.16% 的分數發生變化,且全部 35 個 agent 的更新分數均落在其原始 TB 4.0 95% 置信區間內。 在無法獲得重新評分結果的地方,排行榜保留原始 TB 4.0 分數,因此此次更新基本不改變現有排名。

AI 依報導生成 · 14 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月13日
  1. Hacker News · AI
    Terminal-Bench 4.1 發布,強化驗證器以抵抗獎勵駭客行為

    Terminal-Bench 4.1 已發布,配備改良的驗證器,旨在抵抗獎勵駭客行為;以新驗證器重新評分 TB 4.0 無需額外推論成本,花費為 $0。在 11,550 次試驗中,僅約 1.16% 的分數發生變化,且全部 35 個代理的更新分數仍落在其原始 TB 4.0 95% 信賴區間內。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。