Benchmark của Surge AI: Claude nhỏ nhất vượt GPT lớn nhất về phán đoán kỹ thuật
Bắt đầu từ đây
Surge AI đã đánh giá năm mô hình tiên phong trên sudo L7, benchmark của họ về hành vi kỹ thuật cấp staff sử dụng các codebase thực tế có giấy phép, và báo cáo rằng mọi mô hình Claude đều đạt điểm cao hơn các mô hình GPT hàng đầu, với Claude nhỏ nhất (Haiku) vượt cả Astra và Sol. Hai dòng mô hình có kết quả tương tự nhau về tính đúng đắn chức năng, nhưng Claude vượt trội ở việc chỉ ra các giả định sai lầm, rủi ro ẩn và hậu quả của các thay đổi, chẳng hạn như cache số dư khách hàng hoặc một lỗi đánh máy trong Terraform có thể phá hủy và tạo lại hạ tầng. Theo Surge AI, báo cáo cuối cùng của Claude dài gấp khoảng 10 lần. GPT có tổng số tuyên bố không chính xác ít hơn, nhưng tạo ra số tuyên bố không chính xác trên mỗi từ nhiều gấp khoảng 4 lần. Về chi phí, Sol tốn $0.91 mỗi tác vụ so với $1.68 của Haiku.
Tạo từ các bài viết · cập nhật 45 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIĐánh giá chuẩn của Surge AI cho thấy Claude nhỏ nhất vượt qua GPT lớn nhất về khả năng phán đoán kỹ thuật phần mềm
Surge AI đã đánh giá năm mô hình tiên tiến trên sudo L7, bộ đánh giá chuẩn của họ về hành vi kỹ thuật cấp chuyên gia sử dụng các cơ sở mã được cấp phép thực tế, và mọi mô hình Claude đều đạt điểm cao hơn các mô hình GPT hàng đầu, với Haiku vượt qua Astra và Sol. Hai dòng mô hình có hiệu suất tương tự nhau về tính đúng đắn chức năng, nhưng Claude vượt trội trong việc chỉ ra các giả định sai lầm, rủi ro tiềm ẩn và hậu quả của các thay đổi, chẳng hạn như lưu đệm số dư khách hàng hoặc một lỗi đánh máy trong Terraform có thể phá hủy và tạo lại cơ sở hạ tầng. Báo cáo cuối cùng của Claude dài hơn khoảng 10 lần, và mặc dù GPT có tổng số tuyên bố không chính xác ít hơn, nó tạo ra số tuyên bố không chính xác trên mỗi từ nhiều hơn khoảng 4 lần; Sol tốn 0,91 USD mỗi tác vụ so với 1,68 USD của Haiku.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.