ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 วันที่แล้วคะแนน AI55

KradleBench ทดสอบโมเดล AI แบบหลายเอเจนต์ใน Minecraft

KradleBench: Multi-agent AI evals in Minecraft

สรุปโดย AI

KradleBench ซึ่งเป็นเบนช์มาร์กจาก Kradle ประเมินโมเดลระดับแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่อันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ขณะที่ SethBling ผู้เล่นที่มีทักษะยังคงเอาชนะโมเดลได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในโจทย์ตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบรีเพลย์แบบอินเทอร์แอกทีฟ

แหล่งข่าว:Hacker News · AI · kradle.ai