Google 发布 TPU Sync 开源 KV 缓存库

Google Cloud 发布了 TPU Sync，这是一个 Apache-2.0 许可的 C++ 库，可在 TPU HBM、固定主机 DRAM、共享存储和数据中心网络之间迁移 KV 缓存和模型权重。在 2026 年 7 月针对 TPU v7x 的内部测试中，Google 报告 KV 传输开销降低超过 90%，Qwen3 235B 的 KV 传输延迟中位数从数秒降至约 230 ms，低并发下 235B 的平均 TTFT 下降 60%，480B 下降 90%。 该库通过 TorchTPU 与 PyTorch 集成，并与 JAX 集成，在 vLLM-TorchTPU 中充当 KV 连接器，在 SGLang-TorchTPU 中充当 P/D 传输后端。Google 的 README 表示，目前尚不建议将其用于一般用途；存储依赖实验性的 POSIX 后端，包括本地 SSD 和 Google Cloud Managed Lustre，RL 和存储分层均为实验性功能。所有性能数据均由 Google 自行报告。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。