跳到正文
Hacker News · AI·· 1 小时前AI 评分60

Surge AI 基准测试发现,最小的 Claude 在软件工程判断力上胜过最大的 GPT

The Smallest Claude Is a Better Software Engineer Than the Biggest GPT

AI 导读

Surge AI 在 sudo L7 上评估了五个前沿模型,该基准使用真实授权的代码库来考察资深工程师级别的工程行为,结果每个 Claude 模型的得分都高于顶尖 GPT 模型,其中 Haiku 击败了 Astra 和 Sol。两个模型家族在功能正确性上表现相近,但 Claude 在标记有缺陷的假设、隐藏风险以及变更后果方面更胜一筹,例如缓存客户余额,或一个会销毁并重建基础设施的 Terraform 拼写错误。Claude 的最终报告长度约为后者的 10 倍;虽然 GPT 总体上不准确的说法更少,但按字数计算,其不准确陈述约为后者的 4 倍;Sol 每项任务成本为 $0.91,而 Haiku 为 $1.68。

来源:Hacker News · AI · surgehq.ai