Google 发布 TPU Sync，一个面向 Cloud TPU 的开源 KV 缓存传输库

Google Cloud 发布了 TPU Sync，这是一个 Apache-2.0 许可的 C++ 库，可在 TPU HBM、固定主机 DRAM、共享存储和数据中心网络之间传输 KV 缓存和模型权重。在 2026 年 7 月于 TPU v7x 上进行的内部测试中，Google 报告 KV 传输开销降低超过 90%，Qwen3 235B 的 KV 传输延迟中位数从数秒降至约 230 ms，低并发下 235B 的平均 TTFT 下降 60%，480B 下降 90%。该库通过 TorchTPU 与 PyTorch 集成，并与 JAX 集成，在 vLLM-TorchTPU 中充当 KV 连接器，在 SGLang-TorchTPU 中充当 P/D 传输后端，不过 README 表示目前尚不建议将其用于一般用途。