AWS 與 Flightscape 將 AgentCore JSON token 成本降低多達 71%
先了解這件事
Flightscape 與 AWS 在 Amazon Bedrock AgentCore 上打造了一個正式環境的 agent,可處理 20 MB 以上的 JSON 承載資料,並回報了三項可組合的策略,能降低 token 用量與延遲。這三項策略是:將大型產出物卸載到 Amazon S3,在 AgentCore 記憶體中只保留參照;依需求分頁載入大型結果清單;將過大的字典輸出壓縮成描述元。根據該篇文章,在具代表性的 23 MB 承載資料上,這些最佳化將 token 消耗降低多達 71%,平均延遲降低多達 80%。在 100 個範例問題中,總 token 數從 23.6M 降至 8.5M,平均追蹤延遲從 7,930 ms 降至 2,461 ms。該 agent 以 LangGraph 建構,隨附的程式碼已放在 GitHub 儲存庫中,供他人複製與改寫。
AI 依報導生成 · 2 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- AWS Machine Learning Blog降低 Amazon Bedrock AgentCore JSON 工作負載的權杖成本與延遲
Flightscape 與 AWS 說明三種可組合策略,用來削減處理 20 MB 以上 JSON 承載資料的 Amazon Bedrock AgentCore 代理程式之權杖用量與延遲:將大型產出物卸載至 Amazon S3,並在 AgentCore 記憶體中僅保留參照;視需求分頁大型結果清單;以及將過大的字典輸出壓縮為描述元。在具代表性的 23 MB 承載資料上,這些最佳化將權杖消耗降低多達 71%,平均延遲降低多達 80%;在 100 個範例問題中,總權杖數從 23.6M 降至 8.5M,平均追蹤延遲從 7,930 ms 降至 2,461 ms。該代理程式以 LangGraph 建構,隨附程式碼可在 GitHub 儲存庫中取得。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。