Đánh giá chuẩn của Surge AI cho thấy Claude nhỏ nhất vượt qua GPT lớn nhất về khả năng phán đoán kỹ thuật phần mềm
The Smallest Claude Is a Better Software Engineer Than the Biggest GPT
Surge AI đã đánh giá năm mô hình tiên tiến trên sudo L7, bộ đánh giá chuẩn của họ về hành vi kỹ thuật cấp chuyên gia sử dụng các cơ sở mã được cấp phép thực tế, và mọi mô hình Claude đều đạt điểm cao hơn các mô hình GPT hàng đầu, với Haiku vượt qua Astra và Sol. Hai dòng mô hình có hiệu suất tương tự nhau về tính đúng đắn chức năng, nhưng Claude vượt trội trong việc chỉ ra các giả định sai lầm, rủi ro tiềm ẩn và hậu quả của các thay đổi, chẳng hạn như lưu đệm số dư khách hàng hoặc một lỗi đánh máy trong Terraform có thể phá hủy và tạo lại cơ sở hạ tầng. Báo cáo cuối cùng của Claude dài hơn khoảng 10 lần, và mặc dù GPT có tổng số tuyên bố không chính xác ít hơn, nó tạo ra số tuyên bố không chính xác trên mỗi từ nhiều hơn khoảng 4 lần; Sol tốn 0,91 USD mỗi tác vụ so với 1,68 USD của Haiku.
Nguồn:Hacker News · AI · surgehq.ai