เบนช์มาร์กโอเพนซอร์สตรวจความต่างของฐานข้อมูลทั้งหมดเพื่อให้คะแนนเอเจนต์ที่ใช้คอมพิวเตอร์
เริ่มตรงนี้
Shubham Joshi เปิดตัว software-world-model ซึ่งเป็นเบนช์มาร์กโอเพนซอร์สที่ให้คะแนนเอเจนต์ที่ใช้คอมพิวเตอร์โดยการตรวจความต่างของฐานข้อมูลทั้งหมดหลังจบแต่ละงาน แทนที่จะเชื่อรายงานของเอเจนต์เอง โดยรันบน Invoice Ninja, Dolibarr, Odoo 17 และ Odoo 18 ที่โฮสต์เอง และคืนผลตัดสินสี่แบบ คือ สำเร็จ, ความเสียหายข้างเคียง, การเปลี่ยนแปลงที่ย้อนกลับไม่ได้ และการแจ้งเสร็จเท็จ ใน 635 ตอนของ Phase 0 ที่ให้คะแนนแล้ว อัตราความสำเร็จของงานค่อนข้างคงที่จาก Odoo 17 ถึง Odoo 18 (78% เป็น 76%) ขณะที่ความเสียหายข้างเคียงเพิ่มจาก 15% เป็น 21% และการเปลี่ยนแปลงที่ย้อนกลับไม่ได้เพิ่มจาก 6% เป็น 10% ความสำเร็จแบบสะอาดต่ำกว่าความสำเร็จดิบได้ถึง 12 จุด งานผสมสามขั้นตอนสำเร็จ 0 จาก 50 ครั้งในสี่แอปและสองเอเจนต์ Joshi เตือนว่าผลเหล่านี้เป็นตัวอย่างขนาดเล็กจาก Phase 0 ของคนคนเดียว โดยมี 36 ถึง 72 ตอนต่อเซลล์ รันหนึ่งครั้งต่อหนึ่งงาน และช่วงความเชื่อมั่น Wilson 95% กว้าง การติดตั้งต้องใช้ Docker, Python 3.10–3.12 (หรือ uv) และพื้นที่ดิสก์ว่างประมาณ 8 GB ทุกอย่างผูกกับ 127.0.0.1 เอเจนต์ออกจาก localhost ไม่ได้ และไม่มีการส่งอีเมลจริง Joshi รายงานว่า GPT-6 Luna มีค่าใช้จ่ายหนึ่งถึงสามเซนต์ต่องานที่สำเร็จใน Phase 0
สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIShow HN: Benchmark เปรียบเทียบฐานข้อมูลทั้งหมดหลังงานของ computer-use agent
benchmark โอเพนซอร์สตัวใหม่ชื่อ software-world-model ให้คะแนน computer-use agent โดยการ diff ฐานข้อมูลทั้งหมดหลังแต่ละงานใน Invoice Ninja, Dolibarr, Odoo 17 และ Odoo 18 ที่โฮสต์เอง ให้ผลตัดสิน 4 แบบ: สำเร็จ, ความเสียหายข้างเคียง, การเปลี่ยนแปลงที่ย้อนกลับไม่ได้ และการสำเร็จลวง ใน 635 ตอนของ Phase 0 ที่ให้คะแนนแล้ว ความสำเร็จของงานคงที่จาก Odoo 17 ถึง Odoo 18 (78% เป็น 76%) ขณะที่ความเสียหายข้างเคียงเพิ่มจาก 15% เป็น 21% และการเปลี่ยนแปลงที่ย้อนกลับไม่ได้จาก 6% เป็น 10% และความสำเร็จแบบสะอาดต่ำกว่าความสำเร็จดิบถึง 12 จุด งานผสม 3 ขั้นตอนสำเร็จ 0 จาก 50 ครั้งใน 4 แอปและ 2 agent และผู้เขียนระบุว่าตัวอย่างมีขนาดเล็ก รันหนึ่งครั้งต่องาน และช่วง Wilson 95% กว้าง
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1016 พฤศจิกายน 13:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู