ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

KradleBench เปิดตัวเกณฑ์มาตรฐาน AI แบบหลายเอเจนต์ใน Minecraft

2 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 วันที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Kradle ได้เปิดตัว KradleBench ซึ่งเป็นเกณฑ์มาตรฐานที่ทดสอบโมเดล AI ชั้นแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมห้าหมวดหมู่ ได้แก่ การร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่ในอันดับหนึ่งโดยรวมด้วยคะแนน 78.28 จาก 100 โดยมีต้นทุน LLM อยู่ที่ 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ในการเปรียบเทียบกับผู้เล่นที่เป็นมนุษย์ SethBling ผู้เล่น Minecraft ที่มีทักษะยังคงเอาชนะโมเดลได้ในหมวดหมู่เศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในความท้าทายด้านตรรกะและความคิดสร้างสรรค์แบบเดี่ยว การรันเกณฑ์มาตรฐานแต่ละครั้งสามารถเล่นซ้ำได้ในรูปแบบการบันทึกแบบโต้ตอบ

สร้างจากรายงาน · อัปเดต 1 วันที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Hacker News · AI
    KradleBench เปิดตัวเบนช์มาร์กหลายเอเจนต์บน Minecraft สำหรับโมเดลระดับแนวหน้า

    KradleBench เป็นเบนช์มาร์กใหม่ที่ประเมินโมเดล AI หลายเอเจนต์ภายใน Minecraft ครอบคลุมภารกิจด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra ครองอันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรัน ขณะที่ SethBling ผู้เล่นมนุษย์ที่มีทักษะเอาชนะโมเดลระดับแนวหน้าได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังในภารกิจตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบบันทึกแบบโต้ตอบ

  2. Hacker News · AI
    KradleBench ทดสอบโมเดล AI แบบหลายเอเจนต์ใน Minecraft

    KradleBench ซึ่งเป็นเบนช์มาร์กจาก Kradle ประเมินโมเดลระดับแนวหน้าในงานหลายเอเจนต์ภายใน Minecraft ครอบคลุมด้านการร่วมมือ เศรษฐกิจ ความขัดแย้ง ตรรกะ และความคิดสร้างสรรค์ GPT-6.2 Astra อยู่อันดับหนึ่งโดยรวมที่ 78.28/100 ด้วยต้นทุน LLM 1.26 ดอลลาร์ต่อการรันหนึ่งครั้ง ขณะที่ SethBling ผู้เล่นที่มีทักษะยังคงเอาชนะโมเดลได้ในด้านเศรษฐกิจและความขัดแย้ง แต่ตามหลังโมเดลในโจทย์ตรรกะและความคิดสร้างสรรค์แบบเดี่ยว ทุกการรันสามารถเล่นซ้ำได้ในรูปแบบรีเพลย์แบบอินเทอร์แอกทีฟ

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
5
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 04:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
-48%

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู