Tới nội dung
Sự việc nóngĐang diễn ra

AWS và Flightscape cắt giảm chi phí token JSON của AgentCore tới 71%

1 bài viết1 nguồn đưa tinCập nhật 2 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Flightscape và AWS đã xây dựng một agent production trên Amazon Bedrock AgentCore, xử lý các payload JSON từ 20 MB trở lên, và báo cáo ba chiến lược có thể kết hợp để cắt giảm việc sử dụng token và độ trễ. Các chiến lược gồm: chuyển các artifact nặng sang Amazon S3 và chỉ giữ tham chiếu trong bộ nhớ AgentCore, phân trang danh sách kết quả lớn theo nhu cầu, và nén các đầu ra dictionary quá khổ thành descriptor. Trên một payload đại diện 23 MB, các tối ưu hóa đã giảm mức tiêu thụ token tới 71% và độ trễ trung bình tới 80%, theo bài viết. Qua 100 câu hỏi mẫu, tổng số token giảm từ 23,6M xuống 8,5M và độ trễ trace trung bình từ 7.930 ms xuống 2.461 ms. Agent được xây dựng bằng LangGraph, và mã đi kèm có sẵn trong một kho GitHub để người khác clone và tùy chỉnh.

Tạo từ các bài viết · cập nhật 1 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. AWS Machine Learning Blog
    Giảm chi phí token và độ trễ trong khối lượng công việc JSON của Amazon Bedrock AgentCore

    Flightscape và AWS mô tả ba chiến lược có thể kết hợp để cắt giảm việc sử dụng token và độ trễ trong một agent Amazon Bedrock AgentCore xử lý các payload JSON 20 MB+: chuyển các artifact nặng sang Amazon S3 và chỉ lưu trữ tham chiếu trong bộ nhớ AgentCore, phân trang danh sách kết quả lớn theo yêu cầu, và nén các đầu ra từ điển quá khổ thành descriptor. Trên một payload đại diện 23 MB, các tối ưu hóa đã giảm mức tiêu thụ token tới 71% và độ trễ trung bình tới 80%; qua 100 câu hỏi mẫu, tổng số token giảm từ 23,6M xuống 8,5M và độ trễ trace trung bình từ 7.930 ms xuống 2.461 ms. Agent được xây dựng bằng LangGraph, và mã đi kèm có sẵn trong một kho lưu trữ GitHub.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.