Hacker News · AI·· 4 小时前AI 评分58
Show HN:基准测试在计算机使用代理完成任务后对整个数据库做差异比对
Show HN: A benchmark that diffs the whole database after an AI agent's task
AI 导读
一个新的开源基准 software-world-model,通过在自托管的 Invoice Ninja、Dolibarr、Odoo 17 和 Odoo 18 中,对每个任务完成后的整个数据库做差异比对来给计算机使用代理打分,得出四种判定:成功、附带损害、不可逆变更和虚假完成。在 635 个已评分的 Phase 0 回合中,任务成功率从 Odoo 17 到 Odoo 18 保持稳定(78% 到 76%),而附带损害从 15% 升至 21%,不可逆变更从 6% 升至 10%,干净成功率比原始成功率最多低 12 个百分点。一个 3 步复合任务在 4 个应用和 2 个代理上 50 次中成功 0 次,作者指出样本量小、每个任务仅运行一次以及 Wilson 95% 区间较宽。
来源:Hacker News · AI · github.com