AWS Machine Learning Blog· Dustin Liu·· 1 小时前AI 评分38
在 Amazon Bedrock 上对开放权重模型使用提示缓存
Use prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 的开放权重模型现在在自动隐式缓存之外,还支持显式提示缓存,让应用可以跨请求复用匹配的提示前缀,而无需重新处理。缓存读取的计费费率低于标准输入,该文章通过 Chat Completions API 演示了两种模式,并在 OpenCode 编码代理会话中演示了隐式缓存。
来源:AWS Machine Learning Blog · aws.amazon.com