跳到正文
Hacker News · AI·· 46 分钟前AI 评分58

Vals AI 与 NextLadder Ventures 发布“司法可及性”基准:最佳模型 Qwen 3.8 Max 得分 76.4%,低于 80% 门槛

New 'Access to Justice' Benchmark: Leading AI Models Miss Critical Legal Details

AI 导读

Vals AI 与 NextLadder Ventures 于11月10日发布“司法可及性”基准,用252段模拟法律援助对话测试了23个 AI 模型;没有任何模型达到作为可靠第一联系点所需的80%门槛,得分最高的阿里巴巴 Qwen 3.8 Max 达到76.4%。模型在一般法律解释类标准上的满足率为78%–87%,但在识别具体本地资源方面仅为30%–50%,23个模型中有21个在至少70%的最终回答中退回到全国性目录。免费版聊天机器人平均得分69.7%,付费版为70.4%,只有 xAI 表现出明显的付费版优势,Grok 4.7 比 Grok 4.6 高出约2.3–2.4分。

来源:Hacker News · AI · epyhia.com