AWS Machine Learning Blog· Sai Pavan Kasani·· 16 giờ trướcĐiểm AI36
Bốn lựa chọn suy luận trên Amazon Bedrock ảnh hưởng đến chi phí
Four Amazon Bedrock inference choices that affect cost
Tóm tắt bằng AI
Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.
Nguồn:AWS Machine Learning Blog · aws.amazon.com