AWS và Flightscape cắt giảm chi phí token JSON của AgentCore tới 71%
Bắt đầu từ đây
Flightscape và AWS đã xây dựng một agent production trên Amazon Bedrock AgentCore, xử lý các payload JSON từ 20 MB trở lên, và báo cáo ba chiến lược có thể kết hợp để cắt giảm việc sử dụng token và độ trễ. Các chiến lược gồm: chuyển các artifact nặng sang Amazon S3 và chỉ giữ tham chiếu trong bộ nhớ AgentCore, phân trang danh sách kết quả lớn theo nhu cầu, và nén các đầu ra dictionary quá khổ thành descriptor. Trên một payload đại diện 23 MB, các tối ưu hóa đã giảm mức tiêu thụ token tới 71% và độ trễ trung bình tới 80%, theo bài viết. Qua 100 câu hỏi mẫu, tổng số token giảm từ 23,6M xuống 8,5M và độ trễ trace trung bình từ 7.930 ms xuống 2.461 ms. Agent được xây dựng bằng LangGraph, và mã đi kèm có sẵn trong một kho GitHub để người khác clone và tùy chỉnh.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogGiảm chi phí token và độ trễ trong khối lượng công việc JSON của Amazon Bedrock AgentCore
Flightscape và AWS mô tả ba chiến lược có thể kết hợp để cắt giảm việc sử dụng token và độ trễ trong một agent Amazon Bedrock AgentCore xử lý các payload JSON 20 MB+: chuyển các artifact nặng sang Amazon S3 và chỉ lưu trữ tham chiếu trong bộ nhớ AgentCore, phân trang danh sách kết quả lớn theo yêu cầu, và nén các đầu ra từ điển quá khổ thành descriptor. Trên một payload đại diện 23 MB, các tối ưu hóa đã giảm mức tiêu thụ token tới 71% và độ trễ trung bình tới 80%; qua 100 câu hỏi mẫu, tổng số token giảm từ 23,6M xuống 8,5M và độ trễ trace trung bình từ 7.930 ms xuống 2.461 ms. Agent được xây dựng bằng LangGraph, và mã đi kèm có sẵn trong một kho lưu trữ GitHub.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.