跳到正文
Hacker News · AI·· 2 小时前AI 评分62

Artificial Analysis发现四分之一第三方AI端点性能低于其宣称模型

1 in 4 3rd Party AI Endpoints Underperform Their Advertised Models

AI 导读

Artificial Analysis发布端点准确率指数1.1版,发现100多个无服务器端点中约四分之一得分低于同一开放权重的参考部署。该指数在BFCL v4-500、HLE-250和AA-LCR-25上重新运行每个端点,并报告95%置信区间,现已收窄至正负2.6个百分点。在GLM-5.3 Flash结果中,两个输出上限接近32,000 token的端点原始HLE-250准确率降至22%和29%,而参考部署为55%;两个将字符串工具参数编码为数字的Muse Spark Open端点BFCL v4-500得分为50%和51%,而参考部署为59%。

来源:Hacker News · AI · hermes-ai.net