Tới nội dung
Sự việc nóngĐang theo dõi

KradleBench ra mắt bộ đánh giá AI đa tác nhân trong Minecraft

2 bài viết1 nguồn đưa tinCập nhật 1 ngày trước

Bắt đầu từ đây

Tóm tắt AI

Kradle đã phát hành KradleBench, một bộ đánh giá kiểm tra các mô hình AI tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft thuộc năm hạng mục: hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra đứng đầu tổng thể với 78,28 trên 100, với chi phí LLM là 1,26 USD mỗi lần chạy. Trong so sánh với một người chơi, người chơi Minecraft lành nghề SethBling vẫn đánh bại các mô hình ở hạng mục kinh tế và xung đột, nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đánh giá có thể được phát lại dưới dạng bản ghi tương tác.

Tạo từ các bài viết · cập nhật 1 ngày trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hacker News · AI
    KradleBench ra mắt bộ đánh giá đa tác nhân dựa trên Minecraft cho các mô hình tiên phong

    KradleBench là một bộ đánh giá mới đánh giá các mô hình AI đa tác nhân trong Minecraft trên các nhiệm vụ hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM $1,26 mỗi lần chạy, trong khi người chơi lành nghề SethBling đánh bại các mô hình tiên phong ở kinh tế và xung đột nhưng kém hơn ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy có thể được phát lại dưới dạng bản ghi tương tác.

  2. Hacker News · AI
    KradleBench đánh giá các mô hình AI đa tác nhân trong Minecraft

    KradleBench, một bộ đánh giá từ Kradle, đánh giá các mô hình tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft ở các khía cạnh hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM là 1,26 USD mỗi lần chạy, trong khi người chơi lành nghề SethBling vẫn đánh bại các mô hình ở khía cạnh kinh tế và xung đột nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đều có thể được phát lại dưới dạng bản phát lại tương tác.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
5
Đỉnh, trong khoảng so sánh được
1019 tháng 11 04:00
Thay đổi trong 24 giờ
-48%

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.