Tới nội dung
Hacker News · AI·· 4 giờ trướcĐiểm AI58

Show HN: Benchmark so sánh toàn bộ cơ sở dữ liệu sau tác vụ của agent sử dụng máy tính

Show HN: A benchmark that diffs the whole database after an AI agent's task

Tóm tắt bằng AI

Một benchmark mã nguồn mở mới, software-world-model, đánh giá các agent sử dụng máy tính bằng cách so sánh toàn bộ cơ sở dữ liệu sau mỗi tác vụ trong Invoice Ninja tự lưu trữ, Dolibarr, Odoo 17 và Odoo 18, đưa ra bốn kết luận: thành công, thiệt hại ngoài ý muốn, thay đổi không thể đảo ngược và hoàn thành giả. Trong 635 tập pha 0 được chấm điểm, tỷ lệ thành công tác vụ giữ ổn định từ Odoo 17 sang Odoo 18 (78% xuống 76%) trong khi thiệt hại ngoài ý muốn tăng từ 15% lên 21% và thay đổi không thể đảo ngược tăng từ 6% lên 10%, và thành công sạch thấp hơn thành công thô tới 12 điểm. Một tác vụ tổng hợp 3 bước thành công 0 trên 50 lần across 4 ứng dụng và 2 agent, và tác giả lưu ý mẫu nhỏ, một lần chạy mỗi tác vụ và khoảng tin cậy Wilson 95% rộng.

Nguồn:Hacker News · AI · github.com