AWS 与 Flightscape 将 AgentCore JSON token 成本降低最多 71%
先了解这件事
Flightscape 与 AWS 在 Amazon Bedrock AgentCore 上构建了一个生产级 agent,用于处理 20 MB 或更大的 JSON 负载,并报告了三种可组合的策略,可降低 token 用量和延迟。这三种策略是:将重型产物卸载到 Amazon S3,在 AgentCore 内存中只保留引用;按需分页返回大型结果列表;将过大的字典输出压缩为描述符。据该文章称,在一个具有代表性的 23 MB 负载上,这些优化将 token 消耗降低了最多 71%,平均延迟降低了最多 80%。在 100 个示例问题上,总 token 从 2360 万降至 850 万,平均 trace 延迟从 7,930 毫秒降至 2,461 毫秒。该 agent 使用 LangGraph 构建,配套代码已在 GitHub 仓库中提供,供他人克隆和改编。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AWS Machine Learning Blog降低 Amazon Bedrock AgentCore JSON 工作负载中的 token 成本与延迟
Flightscape 与 AWS 介绍了三种可组合的策略,用于降低处理 20 MB 以上 JSON 负载的 Amazon Bedrock AgentCore 智能体中的 token 用量与延迟:将大型产物卸载到 Amazon S3,仅在 AgentCore 内存中保留引用;按需分页返回大型结果列表;将过大的字典输出压缩为描述符。在一个 23 MB 的代表性负载上,这些优化使 token 消耗最多降低 71%,平均延迟最多降低 80%;在 100 个示例问题上,总 token 数从 23.6M 降至 8.5M,平均追踪延迟从 7,930 ms 降至 2,461 ms。该智能体使用 LangGraph 构建,配套代码已在 GitHub 仓库中提供。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。