跳至正文
熱點事件持續更新

Surge AI 基準測試:最小的 Claude 在工程判斷上勝過最大的 GPT

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

Surge AI 以 sudo L7 評估了五個前沿模型,該基準測試使用真實授權的程式碼庫來衡量資深工程師層級的工程行為,並回報每一個 Claude 模型的分數都高於頂尖的 GPT 模型,其中最小的 Claude(Haiku)同時勝過 Astra 與 Sol。兩大模型家族在功能正確性上表現相近,但 Claude 在標示出有問題的假設、隱藏風險與變更後果方面更勝一籌,例如快取客戶餘額,或是一個會摧毀並重建基礎設施的 Terraform 錯字。 根據 Surge AI 的說法,Claude 的最終報告長度約為 10 倍。GPT 整體的不準確陳述較少,但每字的不準確陳述約為 4 倍。成本方面,Sol 每項任務為 $0.91,Haiku 則為 $1.68。

AI 依報導生成 · 45 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月17日
  1. Hacker News · AI
    Surge AI 基準測試發現:最小的 Claude 在軟體工程判斷力上勝過最大的 GPT

    Surge AI 以 sudo L7 評估了五個前沿模型,該基準測試使用真實授權的程式碼庫來衡量資深工程師層級的工程行為,結果每一個 Claude 模型都勝過頂尖的 GPT,其中 Haiku 擊敗了 Astra 與 Sol。兩大模型家族在功能正確性上表現相近,但 Claude 在標示有缺陷的假設、隱藏風險與變更後果方面更勝一籌,例如快取客戶餘額,或是一個會摧毀並重建基礎設施的 Terraform 錯字。Claude 的最終報告長度約為 10 倍,而 GPT 整體的不準確陳述雖然較少,但每字的不準確陳述約為 4 倍;Sol 每項任務成本為 $0.91,Haiku 則為 $1.68。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。