AWS Machine Learning Blog· Ilan Geller·· 2 小时前AI 评分36
借助埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济性
Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach
AI 导读
埃森哲在 Amazon Bedrock 上的四个客户项目中应用了六项 token 支出优化手段,在进行了节省测算的场景中将 token 支出降低了约 40–85%。这些手段既包括仅需配置的步骤,如提示缓存(缓存输入 token 成本最高降低 90%)和批量推理(成本降低 50%),也包括架构层面的改动,如智能提示路由(最高节省 30%)。埃森哲的“每笔业务交易成本”框架将消耗与业务成果挂钩。
来源:AWS Machine Learning Blog · aws.amazon.com