Tới nội dung
Sự việc nóngĐang theo dõi

Google: Định cỡ node pool của GKE cho phiên agent, không phải cho request

1 bài viết1 nguồn đưa tinCập nhật 1 ngày trước

Bắt đầu từ đây

Tóm tắt AI

Google đã công bố một hướng dẫn kỹ thuật lập luận rằng các phiên AI agent trên Google Kubernetes Engine (GKE) nên được định cỡ khác với request web, vì agent dành phần lớn thời gian để chờ đợi thay vì tính toán. Google dẫn một nghiên cứu trace của GitHub Copilot phát hiện rằng agent chờ người dùng khoảng 80% thời gian. Hướng dẫn tập trung vào Agent Substrate 1.0, mà Google cho biết hiện đã generally available trên GKE. Nó tạm ngưng các actor nhàn rỗi vào object storage và giải phóng worker của chúng, cho phép nhiều agent chia sẻ cùng một lượng compute. Theo Google, Agent Substrate không tự tạm ngưng một actor nhàn rỗi: agent harness, hoặc service đứng trước nó, phải gọi API suspend sau một khoảng idle timeout. Nếu các actor nhàn rỗi chiếm giữ mọi worker, một request cho actor khác sẽ chờ tối đa 5 giây theo mặc định rồi thất bại với HTTP 503, theo tài liệu của Agent Substrate. Google cũng mô tả AX, một thành phần đồng hành mà họ cho biết vẫn đang trong quá trình phát triển tích cực trước bản phát hành ổn định đầu tiên, và mời góp ý cũng như báo issue trên GitHub.

Tạo từ các bài viết · cập nhật 1 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Google Developers Blog
    Google: Định cỡ GKE Node Pool cho phiên AI Agent, không phải cho request

    Google lập luận rằng các phiên AI agent nên được định cỡ khác với request web trên GKE, vì một nghiên cứu trace của GitHub Copilot phát hiện agent chờ người dùng khoảng 80% thời gian. Agent Substrate 1.0, hiện đã generally available trên GKE, tạm ngưng các actor nhàn rỗi vào object storage và giải phóng worker của chúng, cho phép nhiều agent hơn chia sẻ cùng một lượng compute.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.