ข้ามไปที่เนื้อหา
Hacker News · AI·· 46 นาทีที่แล้วคะแนน AI58

Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark: โมเดลอันดับหนึ่ง Qwen 3.8 Max ได้ 76.4% ต่ำกว่าเกณฑ์ 80%

New 'Access to Justice' Benchmark: Leading AI Models Miss Critical Legal Details

สรุปโดย AI

Vals AI และ NextLadder Ventures เผยแพร่ Access to Justice Benchmark เมื่อวันที่ 10 พฤศจิกายน โดยทดสอบโมเดล AI 23 โมเดลกับบทสนทนาช่วยเหลือทางกฎหมายจำลอง 252 บทสนทนา ไม่มีโมเดลใดถึงเกณฑ์ 80% สำหรับการเป็นจุดติดต่อแรกที่น่าเชื่อถือ และผู้ที่ได้คะแนนสูงสุดคือ Qwen 3.8 Max ของ Alibaba ได้ 76.4% โมเดลผ่านเกณฑ์ 78–87% สำหรับคำอธิบายกฎหมายทั่วไป แต่ผ่านเพียง 30–50% สำหรับการระบุแหล่งทรัพยากรท้องถิ่นเฉพาะ โดย 21 จาก 23 โมเดลหันไปใช้ไดเรกทอรีระดับประเทศในอย่างน้อย 70% ของคำตอบสุดท้าย แชทบอทระดับฟรีได้เฉลี่ย 69.7% เทียบกับ 70.4% ของระดับพรีเมียม และมีเพียง xAI ที่แสดงข้อได้เปรียบด้านพรีเมียมอย่างชัดเจน โดย Grok 4.7 ชนะ Grok 4.6 ประมาณ 2.3–2.4 คะแนน

แหล่งข่าว:Hacker News · AI · epyhia.com