Tới nội dung
AWS Machine Learning Blog· Sai Pavan Kasani·· 16 giờ trướcĐiểm AI36

Bốn lựa chọn suy luận trên Amazon Bedrock ảnh hưởng đến chi phí

Four Amazon Bedrock inference choices that affect cost

Tóm tắt bằng AI

Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.

Nguồn:AWS Machine Learning Blog · aws.amazon.com