AWS Machine Learning Blog· Pallav Gupta·· 2 小時前AI 評分58
降低 Amazon Bedrock AgentCore JSON 工作負載的權杖成本與延遲
Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads
AI 導讀
Flightscape 與 AWS 說明三種可組合策略,用來削減處理 20 MB 以上 JSON 承載資料的 Amazon Bedrock AgentCore 代理程式之權杖用量與延遲:將大型產出物卸載至 Amazon S3,並在 AgentCore 記憶體中僅保留參照;視需求分頁大型結果清單;以及將過大的字典輸出壓縮為描述元。在具代表性的 23 MB 承載資料上,這些最佳化將權杖消耗降低多達 71%,平均延遲降低多達 80%;在 100 個範例問題中,總權杖數從 23.6M 降至 8.5M,平均追蹤延遲從 7,930 ms 降至 2,461 ms。該代理程式以 LangGraph 建構,隨附程式碼可在 GitHub 儲存庫中取得。
來源:AWS Machine Learning Blog · aws.amazon.com