跳到正文
AWS Machine Learning Blog· Sai Pavan Kasani·· 17 小时前AI 评分36

影响成本的四个 Amazon Bedrock 推理选择

Four Amazon Bedrock inference choices that affect cost

AI 导读

Amazon Bedrock 的缓存时长、服务层级、推理投入和 maxTokens 设置可以在不改变模型或提示词的情况下改变推理成本。在 Claude Sonnet 5 和 Claude Opus 5 上,5 分钟缓存写入的成本是输入费率的 1.25 倍,1 小时写入是 2 倍,缓存读取是 0.1 倍;向不支持的模型发送 Flex 层级请求会以 ValidationException 失败。

来源:AWS Machine Learning Blog · aws.amazon.com