ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Artificial Analysis Endpoint Accuracy Index v1.1 พบว่า 1 ใน 4 ของ endpoint มีประสิทธิภาพต่ำกว่า

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Artificial Analysis เผยแพร่ Endpoint Accuracy Index เวอร์ชัน 1.1 ซึ่งเปรียบเทียบ endpoint ของโมเดล open-weight ที่ให้บริการโฮสต์กับ deployment อ้างอิงของน้ำหนักทางการชุดเดียวกัน บริษัทรายงานว่า ประมาณ 1 ใน 4 ของ serverless endpoint กว่า 100 แห่งได้คะแนนต่ำกว่า deployment อ้างอิงของ open weight ชุดเดียวกัน ดัชนีนี้รันแต่ละ endpoint ใหม่บน BFCL v4-500, HLE-250 และ AA-LCR-25 เวอร์ชัน 1.1 เพิ่มจำนวนการทำซ้ำบริบทแบบยาวจาก 10 เป็น 25 และลดช่วงความเชื่อมั่น 95% เฉลี่ยจากบวกลบ 4.7 คะแนนเหลือบวกลบ 2.6 คะแนน ปัจจุบันครอบคลุม DeepSeek V4.1 Flash 1017, GLM-5.3, GLM-5.3 Flash, Muse Spark Open, Kimi K3 และ gpt-oss-120b ในตัวอย่างที่รายงาน endpoint GLM-5.3 Flash สองแห่งที่มีเพดานเอาต์พุตใกล้ 32,000 โทเคนได้คะแนนความแม่นยำ HLE-250 ดิบ 22% และ 29% เทียบกับ 55% ของระบบอ้างอิง และ endpoint Muse Spark Open สองแห่งที่เข้ารหัสอาร์กิวเมนต์เครื่องมือแบบสตริงเป็นตัวเลขได้คะแนน 50% และ 51% บน BFCL v4-500 เทียบกับ 59% Artificial Analysis ระบุว่าดัชนีนี้ใช้ชุดการประเมินแบบคงที่ และการกำหนดค่าโฮสต์อาจเปลี่ยนแปลงได้หลังการวัด

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ล่าสุด14 พฤศจิกายน 01:08
Artificial Analysis พบ 1 ใน 4 ของ endpoint AI บุคคลที่สามมีประสิทธิภาพต่ำกว่ารุ่นที่โฆษณา

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

14 พฤศจิกายน
  1. Hacker News · AI
    Artificial Analysis พบ 1 ใน 4 ของ endpoint AI บุคคลที่สามมีประสิทธิภาพต่ำกว่ารุ่นที่โฆษณา

    Artificial Analysis เปิดตัว Endpoint Accuracy Index เวอร์ชัน 1.1 โดยพบว่าประมาณ 1 ใน 4 ของ serverless endpoint กว่า 100 แห่งได้คะแนนต่ำกว่าการติดตั้งอ้างอิงของ open weights เดียวกัน ดัชนีนี้รันแต่ละ endpoint ใหม่บน BFCL v4-500, HLE-250 และ AA-LCR-25 และรายงานช่วงความเชื่อมั่น 95% ซึ่งปัจจุบันแคบลงเหลือบวกลบ 2.6 คะแนน ในผลลัพธ์ GLM-5.3 Flash มีสอง endpoint ที่มีขีดจำกัดเอาต์พุตใกล้ 32,000 โทเคนลดลงเหลือความแม่นยำ HLE-250 ดิบ 22% และ 29% เทียบกับ 55% ของการอ้างอิง ขณะที่สอง endpoint ของ Muse Spark Open ที่เข้ารหัสอาร์กิวเมนต์เครื่องมือแบบสตริงเป็นตัวเลขได้คะแนน 50% และ 51% บน BFCL v4-500 เทียบกับ 59%

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม