跳至正文
熱點事件持續更新

開源基準測試比對完整資料庫,為電腦操作代理評分

1 篇報導1 個報導來源4 小時前更新

先了解這件事

AI 綜述

Shubham Joshi 發布 software-world-model,這是一個開源基準測試,透過在每項任務後比對整個資料庫來為電腦操作代理評分,而不是信任代理自己的回報。它可在自架的 Invoice Ninja、Dolibarr、Odoo 17 與 Odoo 18 中執行,並回傳四種判定:成功、附帶損害、不可逆變更與虛假完成。 在 635 個已評分的 Phase 0 回合中,任務成功率從 Odoo 17 到 Odoo 18 大致持平(78% 降至 76%),而附帶損害從 15% 升至 21%,不可逆變更從 6% 升至 10%。乾淨成功率比原始成功率低最多 12 個百分點。一項三步驟複合任務在四個應用程式與兩個代理中,50 次裡成功 0 次。 Joshi 提醒,這些是來自單一人士 Phase 0 的小樣本結果:每個儲存格 36 至 72 個回合,每項任務僅執行一次,Wilson 95% 區間偏寬。安裝需要 Docker、Python 3.10–3.12(或 uv)以及約 8 GB 可用磁碟空間;所有服務都綁定至 127.0.0.1,代理無法離開 localhost,也不會寄出真實電子郵件。Joshi 回報,在 Phase 0 中,GPT-6 Luna 每項成功任務花費一至三分錢。

AI 依報導生成 · 4 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Hacker News · AI
    Show HN:基準測試在電腦使用代理任務後對整個資料庫進行差異比對

    一個新的開源基準測試 software-world-model,透過在自架的 Invoice Ninja、Dolibarr、Odoo 17 與 Odoo 18 中,於每項任務後對整個資料庫進行差異比對來評分電腦使用代理,得出四種判定:成功、附帶損害、不可逆變更與虛假完成。在 635 個已評分的 Phase 0 回合中,任務成功率從 Odoo 17 到 Odoo 18 維持穩定(78% 降至 76%),而附帶損害從 15% 升至 21%,不可逆變更從 6% 升至 10%,且乾淨成功率比原始成功率低最多 12 個百分點。一項 3 步複合任務在 4 個應用程式與 2 個代理中,50 次中成功 0 次,作者指出樣本數小、每項任務僅執行一次,且 Wilson 95% 信賴區間偏寬。

本事件熱度走勢

可比範圍當前
9
可比範圍峰值
1011月16日 13:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。