熱點事件持續更新

Artificial Analysis Endpoint Accuracy Index v1.1 發現每 4 個端點中就有 1 個表現不如預期

1 篇報導1 個報導來源2 小時前更新

先了解這件事

AI 綜述

Artificial Analysis 發布 Endpoint Accuracy Index 1.1 版，將託管的開放權重模型端點與相同官方權重的參考部署進行比較。該公司報告稱，在超過 100 個無伺服器端點中，約有四分之一的分數低於相同開放權重的參考部署。該指數在 BFCL v4-500、HLE-250 和 AA-LCR-25 上重新執行每個端點。1.1 版將長上下文重複次數從 10 次提高到 25 次，並將平均 95% 信賴區間從正負 4.7 個百分點縮小到正負 2.6 個百分點。目前涵蓋 DeepSeek V4.1 Flash 1017、GLM-5.3、GLM-5.3 Flash、Muse Spark Open、Kimi K3 和 gpt-oss-120b。在報告的範例中，兩個輸出上限接近 32,000 個 token 的 GLM-5.3 Flash 端點，其 HLE-250 原始準確率分別為 22% 和 29%，而參考部署為 55%；兩個將字串工具參數編碼為數字的 Muse Spark Open 端點，在 BFCL v4-500 上分別得分 50% 和 51%，而參考部署為 59%。Artificial Analysis 指出，該指數使用固定的評估套件，且託管配置在測量後可能發生變化。

AI 依報導生成 · 1 小時前更新

最新進展11月14日 01:08

Artificial Analysis 發現每 4 個第三方 AI 端點中就有 1 個的表現低於其宣稱的模型

報導時間線

沿著報導，了解事件的不同側面。

11月14日

01:08
Hacker News · AI
Artificial Analysis 發現每 4 個第三方 AI 端點中就有 1 個的表現低於其宣稱的模型
Artificial Analysis 發布了端點準確度指數 1.1 版，發現超過 100 個無伺服器端點中，約有四分之一的分數低於相同開放權重的參考部署。該指數會在 BFCL v4-500、HLE-250 和 AA-LCR-25 上重新執行每個端點，並報告 95% 信賴區間，現已收窄至正負 2.6 個百分點。在 GLM-5.3 Flash 的結果中，兩個輸出上限接近 32,000 個 token 的端點，其原始 HLE-250 準確率降至 22% 和 29%，而參考部署為 55%；另有兩個 Muse Spark Open 端點將字串工具參數編碼為數字，在 BFCL v4-500 上得分為 50% 和 51%，而參考部署為 59%。

本事件熱度走勢

還沒有足夠的連續觀測資料，暫不繪製趨勢。