Chỉ số Độ chính xác Endpoint v1.1 của Artificial Analysis phát hiện 1 trong 4 endpoint hoạt động kém hơn
Bắt đầu từ đây
Artificial Analysis đã phát hành phiên bản 1.1 của Chỉ số Độ chính xác Endpoint, so sánh các endpoint mô hình mở có trọng số được lưu trữ với các triển khai tham chiếu của cùng trọng số chính thức. Công ty báo cáo rằng khoảng một trong bốn trong số hơn 100 endpoint serverless có điểm số thấp hơn triển khai tham chiếu của cùng trọng số mở. Chỉ số này chạy lại từng endpoint trên BFCL v4-500, HLE-250 và AA-LCR-25. Phiên bản 1.1 tăng số lần lặp ngữ cảnh dài từ 10 lên 25 và thu hẹp khoảng tin cậy trung bình 95% từ cộng hoặc trừ 4,7 điểm xuống cộng hoặc trừ 2,6 điểm. Nó hiện bao gồm DeepSeek V4.1 Flash 1017, GLM-5.3, GLM-5.3 Flash, Muse Spark Open, Kimi K3 và gpt-oss-120b. Trong các ví dụ được báo cáo, hai endpoint GLM-5.3 Flash với giới hạn đầu ra gần 32.000 token đạt độ chính xác HLE-250 thô là 22% và 29% so với 55% của bản tham chiếu, và hai endpoint Muse Spark Open mã hóa đối số công cụ dạng chuỗi thành số đạt 50% và 51% trên BFCL v4-500 so với 59%. Artificial Analysis lưu ý rằng chỉ số sử dụng một bộ đánh giá cố định và các cấu hình được lưu trữ có thể thay đổi sau khi đo lường.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIArtificial Analysis phát hiện 1 trong 4 endpoint AI bên thứ ba hoạt động kém hơn mô hình được quảng cáo
Artificial Analysis phát hành phiên bản 1.1 của Chỉ số Độ chính xác Endpoint, phát hiện khoảng một trong bốn trong số hơn 100 endpoint serverless có điểm số thấp hơn bản triển khai tham chiếu của cùng trọng số mở. Chỉ số này chạy lại từng endpoint trên BFCL v4-500, HLE-250 và AA-LCR-25 và báo cáo khoảng tin cậy 95%, hiện được thu hẹp còn cộng trừ 2,6 điểm. Trong kết quả GLM-5.3 Flash, hai endpoint có giới hạn đầu ra gần 32.000 token giảm xuống độ chính xác HLE-250 thô là 22% và 29% so với 55% của bản tham chiếu, trong khi hai endpoint Muse Spark Open mã hóa đối số công cụ dạng chuỗi thành số đạt 50% và 51% trên BFCL v4-500 so với 59%.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.