Bespoke Labs เปิดตัว MAC Bench เพื่อวัดการประสานงานระหว่างเอเจนต์หลายตัว
เริ่มตรงนี้
Bespoke Labs ได้เปิดตัว MAC Bench ซึ่งเป็นชุดทดสอบมาตรฐานที่ประกอบด้วยงานแบบหลายเอเจนต์โดยกำเนิดจำนวนสิบสองงาน และให้คะแนนการตั้งค่าสามรูปแบบบนงานเดียวกัน ได้แก่ เอเจนต์เดี่ยว ทีมเอเจนต์แปดตัว และทีมเอเจนต์แปดตัวที่ไม่มีการประสานงาน การเปรียบเทียบคะแนนเหล่านี้ทำให้ชุดทดสอบสามารถแยกแยะผลประโยชน์ที่ได้จากการประสานงานออกจากผลประโยชน์ที่ได้จากการเพิ่มจำนวนเอเจนต์เพียงอย่างเดียว Bespoke Labs ระบุว่ามีแผนจะอัปเดตชุดทดสอบอย่างต่อเนื่องและเพิ่มงานเป็นระยะ รวมถึงมีแผนจะเผยแพร่ฮาร์เนสที่ใช้รันทีมเอเจนต์บนงานหนึ่งๆ เพื่อให้ผู้อื่นสามารถรัน MAC Bench และสร้างงานของตนเองได้ ปัจจุบันกำลังเปิดรับการส่งงานเข้ามาเพิ่มใน MAC Bench
สร้างจากรายงาน · อัปเดต
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIBespoke Labs เปิดตัว MAC Bench: 12 งานวัดความสามารถในการประสานงานของหลายเอเจนต์
Bespoke Labs เปิดตัว Multi Agent Coordination Bench (MAC Bench) โดยใช้ 12 งานที่มีหลายเอเจนต์โดยกำเนิด เพื่อวัดคะแนนของเอเจนต์เดี่ยว ทีมเอเจนต์แปดตัว และเอเจนต์แปดตัวที่ไม่มีการประสานงานแยกจากกัน เพื่อแยกผล增益ที่เกิดจากการประสานงานออกจากผล增益ที่เกิดจากการเพิ่มจำนวนเอเจนต์
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 03:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- -50%
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู