Google: กำหนดขนาด GKE Node Pool สำหรับเซสชันของเอเจนต์ AI ไม่ใช่สำหรับคำขอ
เริ่มตรงนี้
Google เผยแพร่คู่มือทางเทคนิคที่โต้แย้งว่าเซสชันของเอเจนต์ AI บน Google Kubernetes Engine (GKE) ควรกำหนดขนาดแตกต่างจากคำขอเว็บ เพราะเอเจนต์ใช้เวลา ส่วนใหญ่ไปกับการรอมากกว่าการประมวลผล Google อ้างอิงงานศึกษา trace ของ GitHub Copilot ที่พบว่าเอเจนต์รอผู้ใช้ประมาณ 80% ของเวลา คู่มือนี้เน้นที่ Agent Substrate 1.0 ซึ่ง Google ระบุว่าขณะนี้พร้อมใช้งานทั่วไปบน GKE แล้ว ระบบจะระงับ actor ที่ไม่ได้ใช้งานไปยัง object storage และคืน worker ของ actor เหล่านั้น ทำให้เอเจนต์จำนวนมากขึ้นใช้ compute เดียวกันร่วมกันได้ ตามข้อมูลของ Google Agent Substrate จะไม่ระงับ actor ที่ไม่ได้ใช้งานด้วยตัวเอง: agent harness หรือบริการที่อยู่ด้านหน้าจะต้องเรียก suspend API หลังจากหมดเวลาว่าง หาก actor ที่ไม่ได้ใช้งานยึด worker ไว้ทั้งหมด คำขอสำหรับ actor อื่นจะรอสูงสุด 5 วินาทีโดยค่าเริ่มต้น แล้วล้มเหลวด้วย HTTP 503 ตามเอกสารของ Agent Substrate Google ยังอธิบายถึง AX ซึ่งเป็นองค์ประกอบเสริมที่ Google ระบุว่ายังอยู่ระหว่างการพัฒนาอย่างต่อเนื่องก่อนการเปิดตัวเวอร์ชันเสถียรครั้งแรก และเชิญชวนให้แสดงความคิดเห็นและแจ้งปัญหาบน GitHub
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Google Developers BlogGoogle: กำหนดขนาด GKE Node Pool สำหรับเซสชัน AI Agent ไม่ใช่สำหรับ Request
Google ให้เหตุผลว่าเซสชัน AI agent ควรกำหนดขนาดแตกต่างจาก web request บน GKE เนื่องจากการศึกษาร่องรอย GitHub Copilot พบว่า agent รอผู้ใช้ประมาณ 80% ของเวลา โดย Agent Substrate 1.0 ซึ่งพร้อมใช้งานทั่วไปบน GKE แล้ว จะระงับ actor ที่ไม่ได้ใช้งานไปยัง object storage และคืน worker ทำให้ agent จำนวนมากกว่าใช้ compute ร่วมกันได้
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม