跳到正文
热点事件持续更新

Amazon Bedrock 开放权重模型新增显式提示缓存

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

据 AWS Machine Learning Blog 的一篇文章,Amazon Bedrock 的开放权重模型现在除了已有的自动隐式缓存外,还支持显式提示缓存。应用可以在多个请求之间复用匹配的提示前缀,而无需重新处理;文章通过 Chat Completions API 介绍了这两种模式,并在一个 OpenCode 编码代理会话中展示了隐式缓存。 费用取决于具体操作:缓存读取的计费费率低于标准输入,因此每次复用前缀都会带来更多节省;而缓存写入的计费费率可能因模型而异,高于标准输入。模型可用性和提示缓存支持也因 AWS 区域而异,因此建议用户查看模型卡以了解支持的区域。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AWS Machine Learning Blog
    在 Amazon Bedrock 上对开放权重模型使用提示缓存

    Amazon Bedrock 的开放权重模型现在在自动隐式缓存之外,还支持显式提示缓存,让应用可以跨请求复用匹配的提示前缀,而无需重新处理。缓存读取的计费费率低于标准输入,该文章通过 Chat Completions API 演示了两种模式,并在 OpenCode 编码代理会话中演示了隐式缓存。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。