Giảm chi phí token và độ trễ trong khối lượng công việc JSON của Amazon Bedrock AgentCore
Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads
Flightscape và AWS mô tả ba chiến lược có thể kết hợp để cắt giảm việc sử dụng token và độ trễ trong một agent Amazon Bedrock AgentCore xử lý các payload JSON 20 MB+: chuyển các artifact nặng sang Amazon S3 và chỉ lưu trữ tham chiếu trong bộ nhớ AgentCore, phân trang danh sách kết quả lớn theo yêu cầu, và nén các đầu ra từ điển quá khổ thành descriptor. Trên một payload đại diện 23 MB, các tối ưu hóa đã giảm mức tiêu thụ token tới 71% và độ trễ trung bình tới 80%; qua 100 câu hỏi mẫu, tổng số token giảm từ 23,6M xuống 8,5M và độ trễ trace trung bình từ 7.930 ms xuống 2.461 ms. Agent được xây dựng bằng LangGraph, và mã đi kèm có sẵn trong một kho lưu trữ GitHub.
Nguồn:AWS Machine Learning Blog · aws.amazon.com