Hacker News · AI·· 1 วันที่แล้วคะแนน AI58
KradleBench เปิดตัวเบนช์มาร์กหลายเอเจนต์บน Minecraft สำหรับโมเดลระดับแนวหน้า
Show HN: KradleBench – Multi-agent AI evals in Minecraft
สรุปโดย AI
KradleBench เป็นเบนช์มาร์กใหม่ที่ประเมินโมเดล AI หลายเอเจนต์ภายใน Minecraft ครอบคลุมภารกิจด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra ครองอันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรัน ขณะที่ SethBling ผู้เล่นมนุษย์ที่มีทักษะเอาชนะโมเดลระดับแนวหน้าได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังในภารกิจตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบบันทึกแบบโต้ตอบ
แหล่งข่าว:Hacker News · AI · kradle.ai