Google phát hành TPU Sync, thư viện mã nguồn mở chuyển KV cache cho Cloud TPU

Google Cloud đã phát hành TPU Sync, một thư viện C++ theo giấy phép Apache-2.0 dùng để di chuyển KV cache và trọng số mô hình giữa HBM của TPU, DRAM máy chủ được ghim, lưu trữ dùng chung và mạng trung tâm dữ liệu. Trong các thử nghiệm nội bộ tháng 7 năm 2026 trên TPU v7x, Google báo cáo mức giảm hơn 90% chi phí chuyển KV, với độ trễ chuyển KV trung vị của Qwen3 235B giảm từ vài giây xuống khoảng 230 ms và TTFT trung bình giảm 60% với mô hình 235B và 90% với mô hình 480B ở mức đồng thời thấp. Thư viện tích hợp với PyTorch thông qua TorchTPU và với JAX, đóng vai trò trình kết nối KV trong vLLM-TorchTPU và backend chuyển P/D trong SGLang-TorchTPU, tuy nhiên README nêu rằng thư viện chưa được khuyến nghị dùng cho mục đích chung.