Artificial Analysis พบ 1 ใน 4 ของ endpoint AI บุคคลที่สามมีประสิทธิภาพต่ำกว่ารุ่นที่โฆษณา

Artificial Analysis เปิดตัว Endpoint Accuracy Index เวอร์ชัน 1.1 โดยพบว่าประมาณ 1 ใน 4 ของ serverless endpoint กว่า 100 แห่งได้คะแนนต่ำกว่าการติดตั้งอ้างอิงของ open weights เดียวกัน ดัชนีนี้รันแต่ละ endpoint ใหม่บน BFCL v4-500, HLE-250 และ AA-LCR-25 และรายงานช่วงความเชื่อมั่น 95% ซึ่งปัจจุบันแคบลงเหลือบวกลบ 2.6 คะแนน ในผลลัพธ์ GLM-5.3 Flash มีสอง endpoint ที่มีขีดจำกัดเอาต์พุตใกล้ 32,000 โทเคนลดลงเหลือความแม่นยำ HLE-250 ดิบ 22% และ 29% เทียบกับ 55% ของการอ้างอิง ขณะที่สอง endpoint ของ Muse Spark Open ที่เข้ารหัสอาร์กิวเมนต์เครื่องมือแบบสตริงเป็นตัวเลขได้คะแนน 50% และ 51% บน BFCL v4-500 เทียบกับ 59%