Tới nội dung
Sự việc nóngĐang diễn ra

Benchmark mã nguồn mở so sánh toàn bộ cơ sở dữ liệu để chấm điểm các tác nhân sử dụng máy tính

1 bài viết1 nguồn đưa tinCập nhật 4 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Shubham Joshi đã phát hành software-world-model, một benchmark mã nguồn mở chấm điểm các tác nhân sử dụng máy tính bằng cách so sánh toàn bộ cơ sở dữ liệu sau mỗi tác vụ thay vì tin vào báo cáo của chính tác nhân. Nó chạy trong Invoice Ninja, Dolibarr, Odoo 17 và Odoo 18 tự lưu trữ và trả về bốn kết luận: thành công, thiệt hại ngoài ý muốn, thay đổi không thể đảo ngược và hoàn thành giả. Trong 635 tập Phase 0 được chấm điểm, tỷ lệ thành công tác vụ gần như không đổi từ Odoo 17 sang Odoo 18 (78% xuống 76%), trong khi thiệt hại ngoài ý muốn tăng từ 15% lên 21% và thay đổi không thể đảo ngược tăng từ 6% lên 10%. Thành công sạch thấp hơn thành công thô tới 12 điểm. Một tác vụ tổng hợp ba bước thành công 0 trên 50 lần trên bốn ứng dụng và hai tác nhân. Joshi lưu ý rằng đây là kết quả mẫu nhỏ từ Phase 0 của một người: 36 đến 72 tập mỗi ô, một lần chạy mỗi tác vụ, với khoảng tin cậy Wilson 95% rộng. Việc thiết lập yêu cầu Docker, Python 3.10–3.12 (hoặc uv) và khoảng 8 GB dung lượng đĩa trống; mọi thứ liên kết với 127.0.0.1, tác nhân không thể rời khỏi localhost và không có email thật nào được gửi. Joshi báo cáo GPT-6 Luna tốn một đến ba xu mỗi tác vụ thành công trong Phase 0.

Tạo từ các bài viết · cập nhật 4 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Hacker News · AI
    Show HN: Benchmark so sánh toàn bộ cơ sở dữ liệu sau tác vụ của agent sử dụng máy tính

    Một benchmark mã nguồn mở mới, software-world-model, đánh giá các agent sử dụng máy tính bằng cách so sánh toàn bộ cơ sở dữ liệu sau mỗi tác vụ trong Invoice Ninja tự lưu trữ, Dolibarr, Odoo 17 và Odoo 18, đưa ra bốn kết luận: thành công, thiệt hại ngoài ý muốn, thay đổi không thể đảo ngược và hoàn thành giả. Trong 635 tập pha 0 được chấm điểm, tỷ lệ thành công tác vụ giữ ổn định từ Odoo 17 sang Odoo 18 (78% xuống 76%) trong khi thiệt hại ngoài ý muốn tăng từ 15% lên 21% và thay đổi không thể đảo ngược tăng từ 6% lên 10%, và thành công sạch thấp hơn thành công thô tới 12 điểm. Một tác vụ tổng hợp 3 bước thành công 0 trên 50 lần across 4 ứng dụng và 2 agent, và tác giả lưu ý mẫu nhỏ, một lần chạy mỗi tác vụ và khoảng tin cậy Wilson 95% rộng.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
9
Đỉnh, trong khoảng so sánh được
1016 tháng 11 13:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.