Hacker News · AI·· 1 วันที่แล้วคะแนน AI55
KradleBench ทดสอบโมเดล AI แบบหลายเอเจนต์ใน Minecraft
KradleBench: Multi-agent AI evals in Minecraft
สรุปโดย AI
KradleBench ซึ่งเป็นเบนช์มาร์กจาก Kradle ประเมินโมเดลระดับแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่อันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ขณะที่ SethBling ผู้เล่นที่มีทักษะยังคงเอาชนะโมเดลได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในโจทย์ตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบรีเพลย์แบบอินเทอร์แอกทีฟ
แหล่งข่าว:Hacker News · AI · kradle.ai