Bitdepth phát hiện các mô hình mở rẻ hơn 95,7% cho các công việc AI thường ngày
Bắt đầu từ đây
Bitdepth đã chạy năm công việc tác nhân AI thường ngày trên Claude Sonnet 5.5 và trên các mô hình mở gpt-oss-120b và DeepSeek V4 Pro, và báo cáo rằng một tháng làm việc đó sẽ tốn 258,53 USD trên Claude Sonnet 5.5 so với 11,04 USD khi dùng thiết lập rẻ nhất trả lời đúng mọi công việc — giảm 95,7%. Bản thân toàn bộ bài kiểm tra chỉ tốn 1,29 USD. Bốn trong năm công việc chạy trên các mô hình mở mà không có câu trả lời sai. Công việc thứ năm, một bản tóm tắt hộp thư đến, thất bại trên cả hai mô hình mở và được giữ lại trên Claude Sonnet 5.5. Các công việc là những tác vụ một lần gọi, giả định, với câu trả lời được chấm bằng mã, và bộ nhớ đệm được để ở mặc định của từng nhà cung cấp. Bitdepth lưu ý mẫu nhỏ và rằng các tác nhân thực tế chuỗi các lần gọi với lịch sử dài hơn, nên khoảng cách có thể không chuyển sang sử dụng trong sản xuất.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIBitdepth thử nghiệm năm tác vụ agent thường quy: 258,53 USD trên Claude Sonnet 5.5 so với 11,04 USD trên các mô hình mở
Bitdepth đã chạy năm tác vụ agent thường quy trên Claude Sonnet 5.5 và trên gpt-oss-120b cùng DeepSeek V4 Pro, nhận thấy một tháng công việc đó tốn 258,53 USD trên Claude Sonnet 5.5 so với 11,04 USD khi dùng thiết lập rẻ nhất mà vẫn trả lời đúng mọi câu, tức giảm 95,7%. Bốn trong năm tác vụ được chuyển mà không có câu trả lời sai, trong khi bản tóm tắt hộp thư đến thất bại trên cả hai mô hình mở và được giữ lại trên Claude Sonnet 5.5. Bài thử nghiệm dùng các tác vụ một lần gọi, giả lập, với câu trả lời được chấm bằng mã, và tác giả lưu ý mẫu nhỏ và rằng các agent thực tế chuỗi nhiều lần gọi với lịch sử dài hơn.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.