Amazon Bedrock 开放权重模型新增显式提示缓存
热点事件持续更新
Amazon Bedrock 开放权重模型新增显式提示缓存
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
据 AWS Machine Learning Blog 的一篇文章,Amazon Bedrock 的开放权重模型现在除了已有的自动隐式缓存外,还支持显式提示缓存。应用可以在多个请求之间复用匹配的提示前缀,而无需重新处理;文章通过 Chat Completions API 介绍了这两种模式,并在一个 OpenCode 编码代理会话中展示了隐式缓存。 费用取决于具体操作:缓存读取的计费费率低于标准输入,因此每次复用前缀都会带来更多节省;而缓存写入的计费费率可能因模型而异,高于标准输入。模型可用性和提示缓存支持也因 AWS 区域而异,因此建议用户查看模型卡以了解支持的区域。
AI 根据报道生成 · 25 分钟前更新
最新进展11月16日 23:42
在 Amazon Bedrock 上对开放权重模型使用提示缓存报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AWS Machine Learning Blog在 Amazon Bedrock 上对开放权重模型使用提示缓存
Amazon Bedrock 的开放权重模型现在在自动隐式缓存之外,还支持显式提示缓存,让应用可以跨请求复用匹配的提示前缀,而无需重新处理。缓存读取的计费费率低于标准输入,该文章通过 Chat Completions API 演示了两种模式,并在 OpenCode 编码代理会话中演示了隐式缓存。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。