跳至正文
Hacker News · AI·· 1 小時前AI 評分60

Surge AI 基準測試發現:最小的 Claude 在軟體工程判斷力上勝過最大的 GPT

The Smallest Claude Is a Better Software Engineer Than the Biggest GPT

AI 導讀

Surge AI 以 sudo L7 評估了五個前沿模型,該基準測試使用真實授權的程式碼庫來衡量資深工程師層級的工程行為,結果每一個 Claude 模型都勝過頂尖的 GPT,其中 Haiku 擊敗了 Astra 與 Sol。兩大模型家族在功能正確性上表現相近,但 Claude 在標示有缺陷的假設、隱藏風險與變更後果方面更勝一籌,例如快取客戶餘額,或是一個會摧毀並重建基礎設施的 Terraform 錯字。Claude 的最終報告長度約為 10 倍,而 GPT 整體的不準確陳述雖然較少,但每字的不準確陳述約為 4 倍;Sol 每項任務成本為 $0.91,Haiku 則為 $1.68。

來源:Hacker News · AI · surgehq.ai