跳至正文

內容類型

評測基準 最新動態

模型到底誰更強：Benchmark 評測成績、評測方法的爭議與排行榜變化。

8 條精選近 30 天 6 條共收錄 86 條

11月13日 00:51更新

評測基準

今天11月13日星期五第 1–8 條 / 共 8 條
  1. AWS Machine Learning Blog60

    AWS 開源 UAEF，一個與框架無關的 AI 代理評估系統

    AWS 已開源 UAEF（Universal Agent Evaluation Framework），這是一個與框架無關的系統，透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace，再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中，讓團隊可以將代理版本與基準進行比較，以預設 5% 的閾值標記回歸，並生成統計報告及 LLM 撰寫的洞察。文章指出，電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF，Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。

    推薦理由：AWS 團隊開源 UAEF，用適配器把不同框架的 Agent 軌跡統一成一種格式，再以 36 項指標跨 7 個維度打分，為跨框架比較 Agent 版本提供了一套可復用的評測層。

11月11日星期三
  1. OpenRouter Announcements60

    OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響

    OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務，未偵測到 fp16、fp8 與 fp4 之間有準確率差異，六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中，59.5% 完全未回報精度，而 fp8 是最常見的標示格式，佔 23.6%。對多數模型而言，較低精度較便宜，但並非全部皆然；供應商選擇對價格的影響大於精度，同精度端點中最貴者為最便宜者的中位數 1.72 倍。

    推薦理由：OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量，未發現可偵測的準確率差距，而價格差異與供應商的關聯大於與精度的關聯。

11月10日星期二
  1. Latent Space85

    Anthropic 發布 Claude Fable 5.2 與 Mythos 5.2，在 IPO 路演啟動之際重奪頂尖 LLM 地位

    Anthropic 發布 Claude Fable 5.2 與 Claude Mythos 5.2，在多數獨立排行榜上名列前茅，包括 Artificial Analysis Intelligence Index v5 的 65 分與 SemiAnalysis GDPx 的 16.4%。價格下調 20% 至每 100 萬輸入/輸出 token 8 美元/40 美元，但 SemiAnalysis 報告指出，每項 GDPx 任務的成本從 67.16 美元升至 88.15 美元，因為該模型會撰寫數百到數千個測試案例，並啟動子代理來檢查其工作。多項評估顯示，max effort 等級的表現不如 high，且 Fable 每週訂閱上限被限制在 50%。

    推薦理由：Anthropic 發布 Fable 5.2 與 Mythos 5.2，每 token 價格下調 20%，但獨立評估顯示每項任務成本更高，且 max-effort 設定的表現不如 high。

  2. OpenRouter Announcements72

    OpenRouter 對 15 個視覺模型與 Mistral OCR 進行掃描文件基準測試

    OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract，Claude Opus 5.5 最準確，264 個關鍵值中答對 262 個，每 1,000 頁成本 $16.42，而 Mistral OCR 性價比最佳，264 個中答對 258 個，成本 $2.02。在一張褪色收據上，GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼，這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型，以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。

    推薦理由：對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試，並附上可執行的程式碼，可交叉核對兩個模型以揪出捏造的值。

  3. One Useful Thing78

    Ethan Mollick 測試 Claude Fable 5.2 於程式設計、商業與研究領域，稱其幾乎達到 AGI

    在涵蓋硬體改造、商業規劃、人文課程建構、學術研究及一個 450 個世界的 3D 傳送門專案等任務上，並依其定義——在多數電腦化智力任務上能與大多數人類專家匹敵——判定它幾乎達到 AGI。

    推薦理由：Ethan Mollick 對 Claude Fable 5.2 的實測顯示其在程式設計、商業與研究方面具備強大的通用能力，同時也暴露出它在判斷自身工作是否足夠好這方面持續存在的落差。

10月28日星期三
  1. Artificial Analysis Articles82

    Gemini 4 Carbon 登上 Artificial Analysis Intelligence Index v5 榜首，在 Coding Agent Index 排名第二

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Coding Agent Index 上排名第五，得分 5（滿分 62），並在 9 項 Index 評估中的 4 項領先，包括 HLE-Diamond 和 Terminal-Bench-Science。1 從 4% 升至 11%；該模型正逐步向部分使用者推出，尚未公開發布。

    推薦理由：Gemini 4 Carbon 以 59 分登上 Artificial Analysis Intelligence Index v5 榜首，在 Coding Agent Index 上落後 Claude Opus 5.5 三分，並附有每項任務成本與幻覺數據供比較。

9月28日星期一
  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api 技能中新增 build-eval 與 hillclimb 指令

    Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令：/claude-api build-eval 會在你的程式碼庫中建立評估集，而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式，並以保留集來捕捉過擬合。

    推薦理由：Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令，展示 Claude Code 如何設計評估並針對評估反覆迭代，同時防範過擬合。

2024年8月5日星期一
  1. Modal Blog62

    Modal 重現 Large Language Monkeys：LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵

    Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。

    推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。