AWS công bố khung chi phí trên mỗi tác vụ và ROI của agent cho Bedrock
Bắt đầu từ đây
Blog Machine Learning của AWS đã công bố một khung để đánh giá chi tiêu Amazon Bedrock theo chi phí trên mỗi tác vụ thay vì chi phí trên mỗi token, lập luận rằng hiệu quả của tokenizer, độ dài đầu ra, số vòng lặp agentic và chi phí suy luận có thể khiến một mô hình có giá niêm yết thấp hơn lại tốn kém hơn trên thực tế. Trong ví dụ duy nhất được trình bày trong bài, một mô hình có giá niêm yết gấp đôi lại rẻ hơn 65% trên mỗi tác vụ; bài viết cũng khuyến nghị caching, routing và giới hạn đầu ra để giảm chi phí trên mỗi tác vụ, đồng thời đề xuất đo ROI của agent so với đường cơ sở của con người bằng thử nghiệm holdout và một bảng điểm năm chiều. Một bài viết tiếp theo của AWS trình bày chi tiết bốn cài đặt suy luận của Bedrock thay đổi chi phí mà không thay đổi mô hình hay prompt: thời gian cache, hạng dịch vụ, mức độ suy luận và maxTokens. Bài viết nêu rằng trên Claude Sonnet 5 và Claude Opus 5, ghi cache 5 phút tốn 1,25 lần mức giá đầu vào và ghi 1 giờ tốn 2 lần, trong khi đọc cache tốn 0,1 lần, và rằng các yêu cầu ở hạng Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException. Đây là các khuyến nghị và số liệu của chính các bài viết, không phải đánh giá độc lập.
Tạo từ các bài viết · cập nhật 18 giờ trước
Diễn biến
2 diễn biến
- 13 tháng 11 04:51 · 1 bài viếtBốn lựa chọn suy luận của Amazon Bedrock ảnh hưởng đến chi phíAWS Machine Learning Blog：Bốn lựa chọn suy luận trên Amazon Bedrock ảnh hưởng đến chi phí
- 13 tháng 11 02:43 · 1 bài viếtCông bố khung chi phí trên mỗi tác vụ và ROI của agent trên BeAWS Machine Learning Blog：Tối ưu chi phí trên mỗi tác vụ và chứng minh ROI của agent trên Amazon Bedrock
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogBốn lựa chọn suy luận trên Amazon Bedrock ảnh hưởng đến chi phí
Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.
- AWS Machine Learning BlogTối ưu chi phí trên mỗi tác vụ và chứng minh ROI của agent trên Amazon Bedrock
Bài viết này của AWS lập luận rằng chi tiêu cho Amazon Bedrock nên được đánh giá theo chi phí trên mỗi tác vụ thay vì chi phí trên mỗi token, vì hiệu quả của tokenizer, độ dài đầu ra, số vòng lặp agentic và chi phí suy luận có thể khiến một mô hình có giá niêm yết thấp hơn lại tốn kém hơn. Một ví dụ minh họa cho thấy một mô hình có giá niêm yết gấp 2 lần lại hoàn thành với chi phí rẻ hơn 65% trên mỗi tác vụ, và bài viết bổ sung thêm caching, định tuyến và ràng buộc đầu ra cùng một bảng điểm năm chiều để đo ROI của agent so với đường cơ sở do con người thực hiện.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.