AWS 与 Accenture 报告在 Bedrock 上节省 40–85% 的 token
热点事件持续更新
AWS 与 Accenture 报告在 Bedrock 上节省 40–85% 的 token
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Accenture 在 Amazon Bedrock 上的四个客户项目中应用了六项 token 支出优化手段,AWS 表示在衡量了节省情况的项目中,token 支出下降了约 40–85%。Accenture 表示结果因各客户的工作负载而异,可能有所不同,并出于保密原因未披露客户名称。 这些手段从仅需配置的步骤——提示缓存(AWS 称可将缓存输入 token 成本降低最多 90%)和批量推理(便宜 50%)——到架构变更,例如智能提示路由(AWS 称可节省最多 30%)。四个项目中有两个同时应用了多项变更,因此未单独区分每项手段各自的贡献。 Accenture 通过“每笔业务交易成本”框架来开展这项工作,该框架将 token 消耗与业务成果挂钩,而非原始 token 数量。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 02:48
借助埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济性报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AWS Machine Learning Blog借助埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济性
埃森哲在 Amazon Bedrock 上的四个客户项目中应用了六项 token 支出优化手段,在进行了节省测算的场景中将 token 支出降低了约 40–85%。这些手段既包括仅需配置的步骤,如提示缓存(缓存输入 token 成本最高降低 90%)和批量推理(成本降低 50%),也包括架构层面的改动,如智能提示路由(最高节省 30%)。埃森哲的“每笔业务交易成本”框架将消耗与业务成果挂钩。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。