Artificial Analysis phát hiện 1 trong 4 endpoint AI bên thứ ba hoạt động kém hơn mô hình được quảng cáo

Artificial Analysis phát hành phiên bản 1.1 của Chỉ số Độ chính xác Endpoint, phát hiện khoảng một trong bốn trong số hơn 100 endpoint serverless có điểm số thấp hơn bản triển khai tham chiếu của cùng trọng số mở. Chỉ số này chạy lại từng endpoint trên BFCL v4-500, HLE-250 và AA-LCR-25 và báo cáo khoảng tin cậy 95%, hiện được thu hẹp còn cộng trừ 2,6 điểm. Trong kết quả GLM-5.3 Flash, hai endpoint có giới hạn đầu ra gần 32.000 token giảm xuống độ chính xác HLE-250 thô là 22% và 29% so với 55% của bản tham chiếu, trong khi hai endpoint Muse Spark Open mã hóa đối số công cụ dạng chuỗi thành số đạt 50% và 51% trên BFCL v4-500 so với 59%.