Google เปิดตัว TPU Sync ไลบรารีโอเพนซอร์สสำหรับถ่ายโอน KV cache บน Cloud TPU

Google Cloud ได้เปิดตัว TPU Sync ไลบรารี C++ ภายใต้สัญญาอนุญาต Apache-2.0 ที่ย้าย KV cache และน้ำหนักโมเดลข้าม TPU HBM, pinned host DRAM, พื้นที่จัดเก็บแบบใช้ร่วมกัน และเครือข่ายศูนย์ข้อมูล ในการทดสอบภายในเมื่อกรกฎาคม 2026 บน TPU v7x Google รายงานว่าภาระการถ่ายโอน KV ลดลงกว่า 90% โดยค่ามัธยฐานเวลาแฝงในการถ่ายโอน KV ของ Qwen3 235B ลดลงจากหลายวินาทีเหลือประมาณ 230 ms และค่าเฉลี่ย TTFT ลดลง 60% สำหรับ 235B และ 90% สำหรับ 480B ที่ภาวะพร้อมกันต่ำ ไลบรารีนี้ผสานรวมกับ PyTorch ผ่าน TorchTPU และกับ JAX โดยทำหน้าที่เป็น KV connector ใน vLLM-TorchTPU และเป็นแบ็กเอนด์การถ่ายโอน P/D ใน SGLang-TorchTPU แม้ว่า README ระบุว่ายังไม่แนะนำให้ใช้งานทั่วไป