ArisGlobal 在 Amazon Bedrock 上反转提示词顺序以缓存共享前缀
热点事件持续更新
ArisGlobal 在 Amazon Bedrock 上反转提示词顺序以缓存共享前缀
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
ArisGlobal 改变了其 NavaX AI 引擎在 Amazon Bedrock 上排列提示词的顺序,改为缓存共享的提示词前缀,而不是缓存每份源文档;AWS 表示,这降低了有效输入成本,并让该公司能够增加租户,而成本不会成比例增长。 共享前缀在六个月内从约 72,000 个 token 增长到 180,000 个 token,使单案例推理成本上升超过 200%。自 2025 年 3 月首次在 Bedrock 上部署 Anthropic 的 Claude 以来,NavaX 已在受监管的制药环境中处理了超过 100 万笔真实交易。 Bedrock 上的提示词缓存默认 TTL 为 5 分钟;部分模型通过 "ttl": "1h" 支持 1 小时 TTL。对于 Claude Sonnet 4.5,最小可缓存提示词为 1,024 个 token,且模型可用性因区域而异。
AI 根据报道生成 · 8 小时前更新
最新进展11月17日 23:57
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AWS Machine Learning BlogArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
ArisGlobal 在 Amazon Bedrock 上的 NavaX AI 引擎中反转了提示词顺序,改为缓存共享的提示词前缀,而不是缓存每份源文档,从而降低了实际输入成本。共享前缀在 6 个月内从约 72,000 个 token 增长到 180,000 个 token,使单案例推理成本上升超过 200%。自 2025 年 3 月首次在 Amazon Bedrock 上部署 Anthropic 的 Claude 以来,NavaX 已在受监管的制药环境中处理了超过 100 万笔真实交易。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月18日 01:00
- 近 24 小时变化
- –
02.557.510
18181818
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。