ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Vals AI และ NextLadder เผยแพร่ Access to Justice Benchmark

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 34 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark เมื่อวันที่ 10 พฤศจิกายน โดยทดสอบโมเดล AI 23 รุ่นกับบทสนทนาช่วยเหลือทางกฎหมายจำลอง 252 บทสนทนา ไม่มีโมเดลใดถึงเกณฑ์ 80% ที่ benchmark กำหนดไว้สำหรับการเป็นจุดติดต่อแรกที่น่าเชื่อถือ ผู้ที่ได้คะแนนสูงสุดคือ Qwen 3.8 Max ของ Alibaba ซึ่งได้ 76.4% โมเดลผ่านเกณฑ์ 78–87% สำหรับคำอธิบายกฎหมายทั่วไป แต่ผ่านเพียง 30–50% สำหรับการระบุทรัพยากรท้องถิ่นเฉพาะ และ 21 จาก 23 รุ่นหันไปใช้ไดเรกทอรีระดับประเทศในอย่างน้อย 70% ของคำตอบสุดท้าย แชทบอทระดับฟรีได้คะแนนเฉลี่ย 69.7% เทียบกับ 70.4% สำหรับระดับพรีเมียม มีเพียง xAI ที่แสดงความได้เปรียบของระดับพรีเมียมอย่างชัดเจน โดย Grok 4.7 ชนะ Grok 4.6 ประมาณ 2.3–2.4 คะแนน ผลลัพธ์ที่เผยแพร่ใช้เพียง 252 สถานการณ์สาธารณะจากชุดข้อมูล 504 สถานการณ์ โมเดลถูกเรียกผ่าน API ซึ่งใกล้เคียงแต่ไม่ได้จำลองพฤติกรรมของแชทบอทสำหรับผู้บริโภค และการกำหนดระดับฟรี/พรีเมียมเป็นการประเมินของ Vals AI ไม่ใช่การจับคู่ที่ยืนยันจากผู้ให้บริการ การปฏิเสธเนื่องจากตัวกรองเนื้อหานับเป็นศูนย์ ซึ่ง Vals AI กล่าวว่าอธิบายคะแนน 41.5% ของ Muse Spark 1.3 ในคำถามด้านอาญาและบันทึก

สร้างจากรายงาน · อัปเดต 21 นาทีที่แล้ว

ล่าสุด14 พฤศจิกายน 22:10
Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark: โมเดลอันดับหนึ่ง Qwen 3.8 Max ได้ 76.4% ต่ำกว่าเกณฑ์ 80%

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

14 พฤศจิกายน
  1. Hacker News · AI
    Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark: โมเดลอันดับหนึ่ง Qwen 3.8 Max ได้ 76.4% ต่ำกว่าเกณฑ์ 80%

    Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark เมื่อวันที่ 10 พฤศจิกายน โดยทดสอบโมเดล AI 23 โมเดลกับบทสนทนาช่วยเหลือทางกฎหมายจำลอง 252 บทสนทนา ไม่มีโมเดลใดถึงเกณฑ์ 80% สำหรับการเป็นจุดติดต่อแรกที่น่าเชื่อถือ และผู้ที่ได้คะแนนสูงสุดคือ Qwen 3.8 Max ของ Alibaba ได้ 76.4% โมเดลผ่านเกณฑ์ 78–87% สำหรับคำอธิบายกฎหมายทั่วไป แต่ผ่านเพียง 30–50% สำหรับการระบุแหล่งทรัพยากรท้องถิ่นเฉพาะ โดย 21 จาก 23 โมเดลหันไปใช้ไดเรกทอรีระดับประเทศในอย่างน้อย 70% ของคำตอบสุดท้าย แชทบอทระดับฟรีได้เฉลี่ย 69.7% เทียบกับ 70.4% ของระดับพรีเมียม และมีเพียง xAI ที่แสดงข้อได้เปรียบด้านพรีเมียมอย่างชัดเจน โดย Grok 4.7 ชนะ Grok 4.6 ประมาณ 2.3–2.4 คะแนน

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม