Google Developers Blog·· 1 ngày trướcĐiểm AI38
Google: Định cỡ GKE Node Pool cho phiên AI Agent, không phải cho request
Agents are sessions, not requests: size GKE node pools for AI agent sessions
Tóm tắt bằng AI
Google lập luận rằng các phiên AI agent nên được định cỡ khác với request web trên GKE, vì một nghiên cứu trace của GitHub Copilot phát hiện agent chờ người dùng khoảng 80% thời gian. Agent Substrate 1.0, hiện đã generally available trên GKE, tạm ngưng các actor nhàn rỗi vào object storage và giải phóng worker của chúng, cho phép nhiều agent hơn chia sẻ cùng một lượng compute.
Nguồn:Google Developers Blog · developers.googleblog.com