跳至正文
Hacker News · AI·· 4 小時前AI 評分58

Show HN:基準測試在電腦使用代理任務後對整個資料庫進行差異比對

Show HN: A benchmark that diffs the whole database after an AI agent's task

AI 導讀

一個新的開源基準測試 software-world-model,透過在自架的 Invoice Ninja、Dolibarr、Odoo 17 與 Odoo 18 中,於每項任務後對整個資料庫進行差異比對來評分電腦使用代理,得出四種判定:成功、附帶損害、不可逆變更與虛假完成。在 635 個已評分的 Phase 0 回合中,任務成功率從 Odoo 17 到 Odoo 18 維持穩定(78% 降至 76%),而附帶損害從 15% 升至 21%,不可逆變更從 6% 升至 10%,且乾淨成功率比原始成功率低最多 12 個百分點。一項 3 步複合任務在 4 個應用程式與 2 個代理中,50 次中成功 0 次,作者指出樣本數小、每項任務僅執行一次,且 Wilson 95% 信賴區間偏寬。

來源:Hacker News · AI · github.com