Google 發布 TPU Sync 開源 KV 快取庫
先了解這件事
Google Cloud 發布 TPU Sync，這是一個 Apache-2.0 的 C++ 函式庫，可在 TPU HBM、固定主機 DRAM、共享儲存與資料中心網路之間搬移 KV 快取與模型權重。在 2026 年 7 月於 TPU v7x 上進行的內部測試中，Google 報告 KV 傳輸開銷降低超過 90%，Qwen3 235B 的 KV 傳輸延遲中位數從數秒降至約 230 毫秒，低併發下 235B 的平均 TTFT 下降 60%、480B 下降 90%。 該函式庫透過 TorchTPU 與 PyTorch 整合，並與 JAX 整合，在 vLLM-TorchTPU 中作為 KV 連接器，在 SGLang-TorchTPU 中作為 P/D 傳輸後端。Google 的 README 表示目前尚不建議一般使用；儲存依賴實驗性的 POSIX 後端，包括本機 SSD 與 Google Cloud Managed Lustre，且 RL 與儲存分層仍屬實驗性。所有效能數據均由 Google 自行報告。
AI 依報導生成 · 4 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- MarkTechPostGoogle 發布 TPU Sync，一個針對 Cloud TPU 的開源 KV 快取傳輸函式庫
Google Cloud 發布了 TPU Sync，這是一個 Apache-2.0 授權的 C++ 函式庫，可在 TPU HBM、釘選的主機 DRAM、共享儲存與資料中心網路之間搬移 KV 快取與模型權重。在 2026 年 7 月於 TPU v7x 上進行的內部測試中，Google 回報 KV 傳輸開銷降低超過 90%，Qwen3 235B 的 KV 傳輸延遲中位數從數秒降至約 230 毫秒，且在低併發下，235B 的平均 TTFT 下降 60%、480B 下降 90%。該函式庫透過 TorchTPU 與 PyTorch 整合，也與 JAX 整合，在 vLLM-TorchTPU 中作為 KV 連接器，並在 SGLang-TorchTPU 中作為 P/D 傳輸後端，不過 README 表示目前尚不建議一般使用。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。