Google เปิดตัวไลบรารี KV cache โอเพนซอร์ส TPU Sync

Google Cloud ได้เปิดตัว TPU Sync ไลบรารี C++ ภายใต้สัญญาอนุญาต Apache-2.0 ที่ย้าย KV cache และน้ำหนักโมเดลข้าม TPU HBM, pinned host DRAM, พื้นที่จัดเก็บแบบ shared และเครือข่ายศูนย์ข้อมูล ในการทดสอบภายในเดือนกรกฎาคม 2026 บน TPU v7x Google รายงานว่าภาระการถ่ายโอน KV ลดลงกว่า 90% โดยเวลาแฝงในการถ่ายโอน KV ค่ามัธยฐานของ Qwen3 235B ลดลงจากหลายวินาทีเหลือประมาณ 230 ms และ TTFT เฉลี่ยลดลง 60% สำหรับ 235B และ 90% สำหรับ 480B ที่ภาวะพร้อมกันต่ำ ไลบรารีนี้ผสานรวมกับ PyTorch ผ่าน TorchTPU และกับ JAX โดยทำหน้าที่เป็น KV connector ใน vLLM-TorchTPU และเป็น backend การถ่ายโอน P/D ใน SGLang-TorchTPU README ของ Google ระบุว่ายังไม่แนะนำให้ใช้ทั่วไป โดยการจัดเก็บพึ่งพา backend POSIX เชิงทดลอง รวมถึง SSD ภายในเครื่องและ Google Cloud Managed Lustre ส่วน RL และ storage tiering ยังอยู่ในขั้นทดลอง ตัวเลขประสิทธิภาพทั้งหมดเป็นข้อมูลที่ Google รายงานเอง

สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม