Tới nội dung
Hacker News · AI·· 3 giờ trướcĐiểm AI58

Bitdepth thử nghiệm năm tác vụ agent thường quy: 258,53 USD trên Claude Sonnet 5.5 so với 11,04 USD trên các mô hình mở

Five agent chores: $258 on a top model, $11 on open models

Tóm tắt bằng AI

Bitdepth đã chạy năm tác vụ agent thường quy trên Claude Sonnet 5.5 và trên gpt-oss-120b cùng DeepSeek V4 Pro, nhận thấy một tháng công việc đó tốn 258,53 USD trên Claude Sonnet 5.5 so với 11,04 USD khi dùng thiết lập rẻ nhất mà vẫn trả lời đúng mọi câu, tức giảm 95,7%. Bốn trong năm tác vụ được chuyển mà không có câu trả lời sai, trong khi bản tóm tắt hộp thư đến thất bại trên cả hai mô hình mở và được giữ lại trên Claude Sonnet 5.5. Bài thử nghiệm dùng các tác vụ một lần gọi, giả lập, với câu trả lời được chấm bằng mã, và tác giả lưu ý mẫu nhỏ và rằng các agent thực tế chuỗi nhiều lần gọi với lịch sử dài hơn.

Nguồn:Hacker News · AI · bitdepth.dev