Tới nội dung
Hacker News · AI·· 1 ngày trướcĐiểm AI55

KradleBench đánh giá các mô hình AI đa tác nhân trong Minecraft

KradleBench: Multi-agent AI evals in Minecraft

Tóm tắt bằng AI

KradleBench, một bộ đánh giá từ Kradle, đánh giá các mô hình tiên tiến trên các nhiệm vụ đa tác nhân trong Minecraft ở các khía cạnh hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM là 1,26 USD mỗi lần chạy, trong khi người chơi lành nghề SethBling vẫn đánh bại các mô hình ở khía cạnh kinh tế và xung đột nhưng kém hơn chúng ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy đều có thể được phát lại dưới dạng bản phát lại tương tác.

Nguồn:Hacker News · AI · kradle.ai