KradleBench เปิดตัวเกณฑ์มาตรฐาน AI แบบหลายเอเจนต์ใน Minecraft
เริ่มตรงนี้
Kradle ได้เปิดตัว KradleBench ซึ่งเป็นเกณฑ์มาตรฐานที่ทดสอบโมเดล AI ชั้นแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมห้าหมวดหมู่ ได้แก่ การร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่ในอันดับหนึ่งโดยรวมด้วยคะแนน 78.28 จาก 100 โดยมีต้นทุน LLM อยู่ที่ 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ในการเปรียบเทียบกับผู้เล่นที่เป็นมนุษย์ SethBling ผู้เล่น Minecraft ที่มีทักษะยังคงเอาชนะโมเดลได้ในหมวดหมู่เศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในความท้าทายด้านตรรกะและความคิดสร้างสรรค์แบบเดี่ยว การรันเกณฑ์มาตรฐานแต่ละครั้งสามารถเล่นซ้ำได้ในรูปแบบการบันทึกแบบโต้ตอบ
สร้างจากรายงาน · อัปเดต 1 วันที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIKradleBench เปิดตัวเบนช์มาร์กหลายเอเจนต์บน Minecraft สำหรับโมเดลระดับแนวหน้า
KradleBench เป็นเบนช์มาร์กใหม่ที่ประเมินโมเดล AI หลายเอเจนต์ภายใน Minecraft ครอบคลุมภารกิจด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra ครองอันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรัน ขณะที่ SethBling ผู้เล่นมนุษย์ที่มีทักษะเอาชนะโมเดลระดับแนวหน้าได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังในภารกิจตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบบันทึกแบบโต้ตอบ
- Hacker News · AIKradleBench ทดสอบโมเดล AI แบบหลายเอเจนต์ใน Minecraft
KradleBench ซึ่งเป็นเบนช์มาร์กจาก Kradle ประเมินโมเดลระดับแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่อันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ขณะที่ SethBling ผู้เล่นที่มีทักษะยังคงเอาชนะโมเดลได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในโจทย์ตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบรีเพลย์แบบอินเทอร์แอกทีฟ
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 04:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- -48%
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู