Vals AI và NextLadder công bố quyền truy cập vào Access to Justice Benchmark
Bắt đầu từ đây
Vals AI và NextLadder Ventures đã công bố Access to Justice Benchmark vào ngày 10 tháng 11, thử nghiệm 23 mô hình AI trên 252 cuộc hội thoại trợ giúp pháp lý mô phỏng. Không mô hình nào đạt ngưỡng 80% mà benchmark đặt ra cho một điểm liên lạc đầu tiên đáng tin cậy; mô hình đạt điểm cao nhất, Qwen 3.8 Max của Alibaba, đạt 76,4%. Các mô hình đáp ứng 78–87% tiêu chí cho các giải thích pháp lý chung nhưng chỉ 30–50% cho việc xác định các nguồn lực địa phương cụ thể, và 21 trong số 23 mô hình dựa vào danh bạ quốc gia trong ít nhất 70% câu trả lời cuối cùng. Các chatbot miễn phí đạt trung bình 69,7% so với 70,4% của các chatbot trả phí; chỉ xAI cho thấy lợi thế rõ rệt của bản trả phí, với Grok 4.7 vượt Grok 4.6 khoảng 2,3–2,4 điểm. Kết quả công bố chỉ sử dụng 252 kịch bản công khai từ một bộ dữ liệu 504 kịch bản. Các mô hình được chạy qua API, điều này gần đúng nhưng không tái tạo hành vi của chatbot tiêu dùng, và việc phân loại gói miễn phí/trả phí là ước tính của Vals AI chứ không phải ánh xạ đã được nhà cung cấp xác nhận. Các lần từ chối do bộ lọc nội dung được tính là 0, mà Vals AI cho rằng điều này giải thích mức 41,5% của Muse Spark 1.3 đối với các câu hỏi về hình sự và hồ sơ.
Tạo từ các bài viết · cập nhật 21 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIVals AI và NextLadder Ventures công bố Access to Justice Benchmark: Mô hình hàng đầu Qwen 3.8 Max đạt 76,4%, dưới ngưỡng 80%
Vals AI và NextLadder Ventures đã công bố Access to Justice Benchmark vào ngày 10 tháng 11, thử nghiệm 23 mô hình AI trên 252 cuộc hội thoại trợ giúp pháp lý mô phỏng; không mô hình nào đạt ngưỡng 80% để trở thành điểm liên hệ đầu tiên đáng tin cậy, và mô hình đạt điểm cao nhất, Qwen 3.8 Max của Alibaba, đạt 76,4%. Các mô hình đáp ứng 78–87% tiêu chí cho giải thích pháp lý chung nhưng chỉ 30–50% cho việc xác định các nguồn lực địa phương cụ thể, với 21 trong số 23 mô hình dựa vào danh bạ quốc gia trong ít nhất 70% câu trả lời cuối cùng. Các chatbot miễn phí đạt trung bình 69,7% so với 70,4% của các chatbot trả phí, và chỉ xAI cho thấy lợi thế rõ rệt của bản trả phí, với Grok 4.7 vượt Grok 4.6 khoảng 2,3–2,4 điểm.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.