Hacker News · AI·· 1 ngày trướcĐiểm AI55
KradleBench đánh giá các mô hình AI đa tác nhân trong Minecraft
KradleBench: Multi-agent AI evals in Minecraft
Tóm tắt bằng AI
KradleBench, một bộ đánh giá từ Kradle, đánh giá các mô hình tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft ở các khía cạnh hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM là 1,26 USD mỗi lần chạy, trong khi người chơi lành nghề SethBling vẫn đánh bại các mô hình ở khía cạnh kinh tế và xung đột nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đều có thể được phát lại dưới dạng bản phát lại tương tác.
Nguồn:Hacker News · AI · kradle.ai