ข้ามไปที่เนื้อหา
Hacker News · AI·· 4 ชม. ที่แล้วคะแนน AI58

Show HN: Benchmark เปรียบเทียบฐานข้อมูลทั้งหมดหลังงานของ computer-use agent

Show HN: A benchmark that diffs the whole database after an AI agent's task

สรุปโดย AI

benchmark โอเพนซอร์สตัวใหม่ชื่อ software-world-model ให้คะแนน computer-use agent โดยการ diff ฐานข้อมูลทั้งหมดหลังแต่ละงานใน Invoice Ninja, Dolibarr, Odoo 17 และ Odoo 18 ที่โฮสต์เอง ให้ผลตัดสิน 4 แบบ: สำเร็จ, ความเสียหายข้างเคียง, การเปลี่ยนแปลงที่ย้อนกลับไม่ได้ และการสำเร็จลวง ใน 635 ตอนของ Phase 0 ที่ให้คะแนนแล้ว ความสำเร็จของงานคงที่จาก Odoo 17 ถึง Odoo 18 (78% เป็น 76%) ขณะที่ความเสียหายข้างเคียงเพิ่มจาก 15% เป็น 21% และการเปลี่ยนแปลงที่ย้อนกลับไม่ได้จาก 6% เป็น 10% และความสำเร็จแบบสะอาดต่ำกว่าความสำเร็จดิบถึง 12 จุด งานผสม 3 ขั้นตอนสำเร็จ 0 จาก 50 ครั้งใน 4 แอปและ 2 agent และผู้เขียนระบุว่าตัวอย่างมีขนาดเล็ก รันหนึ่งครั้งต่องาน และช่วง Wilson 95% กว้าง

แหล่งข่าว:Hacker News · AI · github.com