Google:GKE 節點集區應依 Agent 工作階段而非請求來規劃規模
先了解這件事
Google 發布技術指南,主張在 Google Kubernetes Engine(GKE)上,AI agent 工作階段的規模規劃方式應與網頁請求不同,因為 agent 大部分時間都在等待,而非運算。Google 引用一項 GitHub Copilot 追蹤研究,發現 agent 約有 80% 的時間在等待使用者。 該指南以 Agent Substrate 1.0 為核心,Google 表示此版本現已在 GKE 上正式推出。它會將閒置的 actor 暫停並存入物件儲存,同時釋放其 worker,讓更多 agent 共用相同的運算資源。根據 Google 的說法,Agent Substrate 不會自行暫停閒置的 actor:agent harness 或其前方的服務必須在閒置逾時後呼叫 suspend API。依據 Agent Substrate 文件,若閒置的 actor 佔用了所有 worker,對另一個 actor 的請求預設最多會等待 5 秒,之後便以 HTTP 503 失敗。 Google 也介紹了 AX,這是其表示仍在積極開發中、尚未推出首個穩定版的配套元件,並邀請使用者在 GitHub 上提供意見與回報問題。
AI 依報導生成 · 1 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Google Developers BlogGoogle:GKE 節點集區應依 AI 代理工作階段規劃規模,而非依請求數
Google 主張,在 GKE 上,AI 代理工作階段的規模規劃方式應與網頁請求不同,因為一項 GitHub Copilot 追蹤研究發現,代理約有 80% 的時間都在等待使用者。Agent Substrate 1.0 現已在 GKE 上正式推出,可將閒置的 actor 暫停並存放到物件儲存,同時釋出其 worker,讓更多代理共用相同的運算資源。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。