ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 วันที่แล้วคะแนน AI58

KradleBench เปิดตัวเบนช์มาร์กหลายเอเจนต์บน Minecraft สำหรับโมเดลระดับแนวหน้า

Show HN: KradleBench – Multi-agent AI evals in Minecraft

สรุปโดย AI

KradleBench เป็นเบนช์มาร์กใหม่ที่ประเมินโมเดล AI หลายเอเจนต์ภายใน Minecraft ครอบคลุมภารกิจด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra ครองอันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรัน ขณะที่ SethBling ผู้เล่นมนุษย์ที่มีทักษะเอาชนะโมเดลระดับแนวหน้าได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังในภารกิจตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบบันทึกแบบโต้ตอบ

แหล่งข่าว:Hacker News · AI · kradle.ai