Hacker News · AI·· 46 分鐘前AI 評分58
Vals AI 與 NextLadder Ventures 發布司法近用基準:頂尖模型 Qwen 3.8 Max 得分 76.4%,低於 80% 門檻
New 'Access to Justice' Benchmark: Leading AI Models Miss Critical Legal Details
AI 導讀
Vals AI 與 NextLadder Ventures 於 11 月 10 日發布司法近用基準(Access to Justice Benchmark),以 252 段模擬法律援助對話測試 23 個 AI 模型;沒有任何模型達到作為可靠第一線接觸管道的 80% 門檻,最高分的阿里巴巴 Qwen 3.8 Max 達到 76.4%。各模型在一般法律解釋方面滿足了 78–87% 的評分標準,但在辨識特定在地資源方面僅滿足 30–50%,23 個模型中有 21 個在至少 70% 的最終回答中退而引用全國性名錄。免費版聊天機器人平均為 69.7%,付費版為 70.4%,僅 xAI 展現出明顯的付費版優勢,Grok 4.7 領先 Grok 4.6 約 2.3–2.4 個百分點。
來源:Hacker News · AI · epyhia.com