Artificial Analysis 端点准确度指数 v1.1 发现每 4 个端点中就有 1 个表现不达标
先了解这件事
Artificial Analysis 发布了其端点准确度指数 1.1 版，该指数将托管式开放权重模型端点与同一官方权重的参考部署进行对比。该公司报告称，在 100 多个无服务器端点中，约有四分之一得分低于同一开放权重的参考部署。 该指数会在 BFCL v4-500、HLE-250 和 AA-LCR-25 上重新运行每个端点。1.1 版将长上下文重复次数从 10 次提高到 25 次，并将平均 95% 置信区间从正负 4.7 个百分点收窄至正负 2.6 个百分点。目前覆盖 DeepSeek V4.1 Flash 1017、GLM-5.3、GLM-5.3 Flash、Muse Spark Open、Kimi K3 和 gpt-oss-120b。 在报告的例子中，两个输出上限接近 32,000 token 的 GLM-5.3 Flash 端点，其 HLE-250 原始准确率分别为 22% 和 29%，而参考部署为 55%；两个将字符串工具参数编码为数字的 Muse Spark Open 端点，在 BFCL v4-500 上的得分分别为 50% 和 51%，而参考部署为 59%。Artificial Analysis 指出，该指数使用固定的评估套件，且托管配置在测量后可能发生变化。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News · AIArtificial Analysis发现四分之一第三方AI端点性能低于其宣称模型
Artificial Analysis发布端点准确率指数1.1版，发现100多个无服务器端点中约四分之一得分低于同一开放权重的参考部署。该指数在BFCL v4-500、HLE-250和AA-LCR-25上重新运行每个端点，并报告95%置信区间，现已收窄至正负2.6个百分点。在GLM-5.3 Flash结果中，两个输出上限接近32,000 token的端点原始HLE-250准确率降至22%和29%，而参考部署为55%；两个将字符串工具参数编码为数字的Muse Spark Open端点BFCL v4-500得分为50%和51%，而参考部署为59%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。