Tới nội dung
Hacker News · AI·· 1 ngày trướcĐiểm AI58

KradleBench ra mắt bộ đánh giá đa tác nhân dựa trên Minecraft cho các mô hình tiên phong

Show HN: KradleBench – Multi-agent AI evals in Minecraft

Tóm tắt bằng AI

KradleBench là một bộ đánh giá mới đánh giá các mô hình AI đa tác nhân trong Minecraft trên các nhiệm vụ hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM $1,26 mỗi lần chạy, trong khi người chơi lành nghề SethBling đánh bại các mô hình tiên phong ở kinh tế và xung đột nhưng kém hơn ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy có thể được phát lại dưới dạng bản ghi tương tác.

Nguồn:Hacker News · AI · kradle.ai