跳到正文
AWS Machine Learning Blog· Dustin Liu·· 1 小时前AI 评分38

在 Amazon Bedrock 上对开放权重模型使用提示缓存

Use prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 的开放权重模型现在在自动隐式缓存之外,还支持显式提示缓存,让应用可以跨请求复用匹配的提示前缀,而无需重新处理。缓存读取的计费费率低于标准输入,该文章通过 Chat Completions API 演示了两种模式,并在 OpenCode 编码代理会话中演示了隐式缓存。

来源:AWS Machine Learning Blog · aws.amazon.com