跳到正文
热点事件持续更新

Surge AI 基准测试:最小的 Claude 在工程判断力上击败最大的 GPT

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Surge AI 在 sudo L7 上评估了五个前沿模型,该基准测试使用真实授权的代码库来衡量资深工程师级别的工程行为,结果显示每个 Claude 模型的得分都高于顶尖的 GPT 模型,其中最小的 Claude(Haiku)同时击败了 Astra 和 Sol。两个模型系列在功能正确性上表现相近,但 Claude 在标记有缺陷的假设、隐藏风险以及变更后果方面更胜一筹,例如缓存客户余额,或一个会销毁并重建基础设施的 Terraform 拼写错误。 据 Surge AI 称,Claude 的最终报告长度约为 10 倍。GPT 总体上不准确的说法更少,但每词的不准确陈述数量约为 4 倍。在成本方面,Sol 每项任务为 0.91 美元,而 Haiku 为 1.68 美元。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Hacker News · AI
    Surge AI 基准测试发现,最小的 Claude 在软件工程判断力上胜过最大的 GPT

    Surge AI 在 sudo L7 上评估了五个前沿模型,该基准使用真实授权的代码库来考察资深工程师级别的工程行为,结果每个 Claude 模型的得分都高于顶尖 GPT 模型,其中 Haiku 击败了 Astra 和 Sol。两个模型家族在功能正确性上表现相近,但 Claude 在标记有缺陷的假设、隐藏风险以及变更后果方面更胜一筹,例如缓存客户余额,或一个会销毁并重建基础设施的 Terraform 拼写错误。Claude 的最终报告长度约为后者的 10 倍;虽然 GPT 总体上不准确的说法更少,但按字数计算,其不准确陈述约为后者的 4 倍;Sol 每项任务成本为 $0.91,而 Haiku 为 $1.68。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。