跳到正文

内容类型

评测基准 最新动态

模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。

8 条精选近 30 天 6 条共收录 86 条

11月13日 00:51更新

评测基准

今天11月13日周五第 1–8 条 / 共 8 条
  1. AWS Machine Learning Blog60

    AWS 开源 UAEF：一个与框架无关的 AI Agent 评估系统

    AWS 已开源 UAEF（Universal Agent Evaluation Framework，通用 Agent 评估框架），这是一个与框架无关的系统，通过适配器将来自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的 Agent 轨迹归一化为统一的 AgentTrace，然后用覆盖 7 个维度的 36 项内置指标进行打分。结果按实验存储在 Amazon DynamoDB 和 Amazon S3 中，使团队可以将 Agent 版本与基线进行比较，用默认 5% 的阈值标记回归，并生成统计报告以及由 LLM 撰写的洞察。文章称，来自电信、医疗和金融服务领域 12 个组织的客户在发布前使用了 UAEF，Apache 2.0 代码、Python 库、CDK 部署和各框架 notebook 均位于 awslabs/uaef GitHub 仓库中。

    推荐理由：AWS 团队开源 UAEF，用适配器把不同框架的 Agent 轨迹统一成一种格式，再以 36 项指标跨 7 个维度打分，为跨框架比较 Agent 版本提供了一套可复用的评测层。

11月11日周三
  1. OpenRouter Announcements60

    OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响

    OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务，未发现 fp16、fp8 和 fp4 之间存在准确率差异，六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中，59.5% 完全未报告精度，fp8 是最常见的标注格式，占 23.6%。对大多数模型而言，较低精度更便宜，但并非所有模型都如此；提供商选择对价格的影响大于精度，同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。

    推荐理由：OpenRouter 在一个模型的 fp8、fp4 和 fp16 端点上测量了 240 个精确答案任务，未发现可检测的准确率差距，而价格差异更多与提供商相关，而非精度。

11月10日周二
  1. Latent Space85

    Anthropic 发布 Claude Fable 5.2 和 Mythos 5.2，在 IPO 路演启动之际重夺 LLM 榜首

    Anthropic 发布了 Claude Fable 5.2 和 Claude Mythos 5.2，二者在多数独立排行榜上位居榜首，包括 Artificial Analysis Intelligence Index v5（65 分）和 SemiAnalysis GDPx（16.4%）。价格下调 20%，降至每 100 万输入/输出 token 8 美元/40 美元，但 SemiAnalysis 报告称，每项 GDPx 任务的成本从 67.16 美元升至 88.15 美元，因为该模型会编写数百到数千个测试用例，并启动子代理来检查其工作。多项评估显示，max effort 级别的表现不如 high，且 Fable 被限制为每周订阅额度的 50%。

    推荐理由：Anthropic 发布 Fable 5.2 和 Mythos 5.2，每 token 价格下调 20%，但独立评估显示每任务成本更高，且 max-effort 设置的表现不如 high。

  2. OpenRouter Announcements72

    OpenRouter 对 15 个视觉模型和 Mistral OCR 在扫描文档上进行基准测试

    OpenRouter 在八份自制的退化扫描件上测试了 15 个视觉模型、Mistral OCR 和 Tesseract，Claude Opus 5.5 最准确，264 个关键值中答对 262 个，每 1,000 页成本 16.42 美元；Mistral OCR 性价比最高，264 个中答对 258 个，成本 2.02 美元。在一张褪色收据上，GPT-6 Luna 和 GPT-6.1 Sol 编造了卡号数字、一个服务器名称和 wifi 密码，这些错误是字符错误率无法揭示的。文章附有代码，可转录扫描件、关闭推理、交叉核对来自不同实验室的两个模型，并通过 file-parser 插件运行 Mistral OCR。

    推荐理由：对 15 个视觉模型以及 Mistral OCR 和 Tesseract 在八份退化扫描件上的实测基准，附可运行代码，用于交叉核对两个模型以捕捉编造的数值。

  3. One Useful Thing78

    Ethan Mollick 在编程、商业和研究领域测试 Claude Fable 5.2，称其几乎达到 AGI

    在涵盖硬件破解、商业规划、人文学科课程建设、学术研究以及一个 450 个世界的 3D 门户项目的任务中，2，并根据他将 AGI 定义为在大多数基于计算机的智力任务上匹配大多数人类专家的标准，判定其几乎达到 AGI。

    推荐理由：Ethan Mollick 对 Claude Fable 5.2 的亲手测试显示，其在编程、商业和研究方面具备强大的通用能力，同时暴露出一个持续存在的差距：在判断工作是否足够好时缺乏自我评判能力。

10月28日周三
  1. Artificial Analysis Articles82

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5，在 Coding Agent Index 上排名第二

    谷歌的 Gemini 4 Carbon 在 Artificial Analysis Coding Agent Index 上位列第 5。5（最高 62），并在 9 项 Index 评测中的 4 项领先，包括 HLE-Diamond 和 Terminal-Bench-Science。1 从 4% 升至 11%；该模型正面向部分用户推出，尚未公开可用。

    推荐理由：Gemini 4 Carbon 以 59 分登顶 Artificial Analysis Intelligence Index v5，在 Coding Agent Index 上落后 Claude Opus 5.5 3 分，并附有每任务成本和幻觉数据供比较。

9月28日周一
  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api skill 中新增 build-eval 和 hillclimb 命令

    Anthropic 在 Claude Code 内的 claude-api skill 中新增了两个命令：/claude-api build-eval 会在你的代码库中构建评估集，/claude-api hillclimb 则基于该评估对应用进行迭代，并使用留出集来防止过拟合。

    推荐理由：Anthropic 为其 claude-api skill 新增了 build-eval 和 hillclimb 命令，展示了 Claude Code 如何设计评估并据此迭代，同时防止过拟合。

2024年8月5日周一
  1. Modal Blog62

    Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o

    Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。

    推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。