Hacker News · AI·· 1 ngày trướcĐiểm AI58
KradleBench ra mắt bộ đánh giá đa tác nhân dựa trên Minecraft cho các mô hình tiên phong
Show HN: KradleBench – Multi-agent AI evals in Minecraft
Tóm tắt bằng AI
KradleBench là một bộ đánh giá mới đánh giá các mô hình AI đa tác nhân trong Minecraft trên các nhiệm vụ hợp tác, kinh tế, xung đột, logic và sáng tạo. GPT-6.2 Astra xếp hạng nhất tổng thể với 78,28/100 với chi phí LLM $1,26 mỗi lần chạy, trong khi người chơi lành nghề SethBling đánh bại các mô hình tiên phong ở kinh tế và xung đột nhưng kém hơn ở các thử thách logic và sáng tạo đơn lẻ. Mỗi lần chạy có thể được phát lại dưới dạng bản ghi tương tác.
Nguồn:Hacker News · AI · kradle.ai