跳到正文
热点事件持续更新

开源基准通过对比完整数据库来给计算机使用智能体打分

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Shubham Joshi 发布了 software-world-model,这是一个开源基准,它在每项任务完成后对比整个数据库,而不是相信智能体自己的报告,以此给计算机使用智能体打分。它运行在自托管的 Invoice Ninja、Dolibarr、Odoo 17 和 Odoo 18 中,返回四种判定:成功、附带损害、不可逆变更和虚假完成。 在 635 个已评分的 Phase 0 回合中,任务成功率从 Odoo 17 到 Odoo 18 大致持平(78% 到 76%),而附带损害从 15% 升至 21%,不可逆变更从 6% 升至 10%。干净成功率比原始成功率低至多 12 个百分点。一个三步复合任务在四个应用和两个智能体上共尝试 50 次,成功 0 次。 Joshi 提醒说,这些是来自一个人 Phase 0 的小样本结果:每个单元格 36 到 72 个回合,每项任务只运行一次,Wilson 95% 区间很宽。安装需要 Docker、Python 3.10–3.12(或 uv)以及约 8 GB 可用磁盘空间;所有服务都绑定到 127.0.0.1,智能体无法离开 localhost,也不会发送真实邮件。Joshi 报告称,在 Phase 0 中,GPT-6 Luna 每成功完成一项任务花费一到三美分。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. Hacker News · AI
    Show HN:基准测试在计算机使用代理完成任务后对整个数据库做差异比对

    一个新的开源基准 software-world-model,通过在自托管的 Invoice Ninja、Dolibarr、Odoo 17 和 Odoo 18 中,对每个任务完成后的整个数据库做差异比对来给计算机使用代理打分,得出四种判定:成功、附带损害、不可逆变更和虚假完成。在 635 个已评分的 Phase 0 回合中,任务成功率从 Odoo 17 到 Odoo 18 保持稳定(78% 到 76%),而附带损害从 15% 升至 21%,不可逆变更从 6% 升至 10%,干净成功率比原始成功率最多低 12 个百分点。一个 3 步复合任务在 4 个应用和 2 个代理上 50 次中成功 0 次,作者指出样本量小、每个任务仅运行一次以及 Wilson 95% 区间较宽。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月16日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。