KradleBench ra mắt bộ đánh giá AI đa tác nhân trong Minecraft
Bắt đầu từ đây
Kradle đã phát hành KradleBench, một bộ đánh giá kiểm tra các mô hình AI tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft thuộc năm hạng mục: hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra đứng đầu tổng thể với 78,28 trên 100, với chi phí LLM là 1,26 USD mỗi lần chạy. Trong so sánh với một người chơi, người chơi Minecraft lành nghề SethBling vẫn đánh bại các mô hình ở hạng mục kinh tế và xung đột, nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đánh giá có thể được phát lại dưới dạng bản ghi tương tác.
Tạo từ các bài viết · cập nhật 1 ngày trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIKradleBench ra mắt bộ đánh giá đa tác nhân dựa trên Minecraft cho các mô hình tiên phong
KradleBench là một bộ đánh giá mới đánh giá các mô hình AI đa tác nhân trong Minecraft trên các nhiệm vụ hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM $1,26 mỗi lần chạy, trong khi người chơi lành nghề SethBling đánh bại các mô hình tiên phong ở kinh tế và xung đột nhưng kém hơn ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy có thể được phát lại dưới dạng bản ghi tương tác.
- Hacker News · AIKradleBench đánh giá các mô hình AI đa tác nhân trong Minecraft
KradleBench, một bộ đánh giá từ Kradle, đánh giá các mô hình tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft ở các khía cạnh hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM là 1,26 USD mỗi lần chạy, trong khi người chơi lành nghề SethBling vẫn đánh bại các mô hình ở khía cạnh kinh tế và xung đột nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đều có thể được phát lại dưới dạng bản phát lại tương tác.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 5
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 04:00
- Thay đổi trong 24 giờ
- -48%
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.