Factory·· 2026-04-29AI 评分58
Factory 对 13 个模型进行代码审查基准测试,发现 GPT-5.2 最佳、MiniMax M2.7 最便宜
Which Model Reviews Code Best?
AI 导读
Factory 构建了一个开源基准测试,用来自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 个真实拉取请求测试 13 个模型,每个模型在高推理强度下对每个 PR 至少审查三次,并由 LLM 评审员根据人工整理的金标准集对发现进行评分。GPT-5.2 以 60.5% 的 F1 领先,每个 PR 成本 1.25 美元,领先于 Claude Opus 4.6 的 59.8% F1 和每个 PR 3.11 美元,而 MiniMax M2.7 以每个 PR 0.15 美元达到 45.6% F1,Kimi K2.5 以 0.41 美元达到 51.9% F1。Factory 表示成本仅解释约 21% 的质量差异,并开源了金标准集、评估脚本以及支持全部 13 个模型的 Droid Action GitHub Action。
来源:Factory · factory.com