Google 發布 TPU Sync，一個針對 Cloud TPU 的開源 KV 快取傳輸函式庫

Google Cloud 發布了 TPU Sync，這是一個 Apache-2.0 授權的 C++ 函式庫，可在 TPU HBM、釘選的主機 DRAM、共享儲存與資料中心網路之間搬移 KV 快取與模型權重。在 2026 年 7 月於 TPU v7x 上進行的內部測試中，Google 回報 KV 傳輸開銷降低超過 90%，Qwen3 235B 的 KV 傳輸延遲中位數從數秒降至約 230 毫秒，且在低併發下，235B 的平均 TTFT 下降 60%、480B 下降 90%。該函式庫透過 TorchTPU 與 PyTorch 整合，也與 JAX 整合，在 vLLM-TorchTPU 中作為 KV 連接器，並在 SGLang-TorchTPU 中作為 P/D 傳輸後端，不過 README 表示目前尚不建議一般使用。