跳到正文
AWS Machine Learning Blog· Pallav Gupta·· 2 小时前AI 评分58

降低 Amazon Bedrock AgentCore JSON 工作负载中的 token 成本与延迟

Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads

AI 导读

Flightscape 与 AWS 介绍了三种可组合的策略,用于降低处理 20 MB 以上 JSON 负载的 Amazon Bedrock AgentCore 智能体中的 token 用量与延迟:将大型产物卸载到 Amazon S3,仅在 AgentCore 内存中保留引用;按需分页返回大型结果列表;将过大的字典输出压缩为描述符。在一个 23 MB 的代表性负载上,这些优化使 token 消耗最多降低 71%,平均延迟最多降低 80%;在 100 个示例问题上,总 token 数从 23.6M 降至 8.5M,平均追踪延迟从 7,930 ms 降至 2,461 ms。该智能体使用 LangGraph 构建,配套代码已在 GitHub 仓库中提供。

来源:AWS Machine Learning Blog · aws.amazon.com