跳到正文
热点事件持续更新

AWS 与 Accenture 报告在 Bedrock 上节省 40–85% 的 token

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Accenture 在 Amazon Bedrock 上的四个客户项目中应用了六项 token 支出优化手段,AWS 表示在衡量了节省情况的项目中,token 支出下降了约 40–85%。Accenture 表示结果因各客户的工作负载而异,可能有所不同,并出于保密原因未披露客户名称。 这些手段从仅需配置的步骤——提示缓存(AWS 称可将缓存输入 token 成本降低最多 90%)和批量推理(便宜 50%)——到架构变更,例如智能提示路由(AWS 称可节省最多 30%)。四个项目中有两个同时应用了多项变更,因此未单独区分每项手段各自的贡献。 Accenture 通过“每笔业务交易成本”框架来开展这项工作,该框架将 token 消耗与业务成果挂钩,而非原始 token 数量。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AWS Machine Learning Blog
    借助埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济性

    埃森哲在 Amazon Bedrock 上的四个客户项目中应用了六项 token 支出优化手段,在进行了节省测算的场景中将 token 支出降低了约 40–85%。这些手段既包括仅需配置的步骤,如提示缓存(缓存输入 token 成本最高降低 90%)和批量推理(成本降低 50%),也包括架构层面的改动,如智能提示路由(最高节省 30%)。埃森哲的“每笔业务交易成本”框架将消耗与业务成果挂钩。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。