Google phát hành thư viện KV cache mã nguồn mở TPU Sync
Bắt đầu từ đây
Google Cloud đã phát hành TPU Sync, một thư viện C++ theo giấy phép Apache-2.0 dùng để di chuyển KV cache và trọng số mô hình giữa HBM của TPU, DRAM máy chủ được ghim, lưu trữ dùng chung và mạng trung tâm dữ liệu. Trong các thử nghiệm nội bộ tháng 7 năm 2026 trên TPU v7x, Google báo cáo mức giảm trên 90% chi phí truyền KV, với độ trễ truyền KV trung vị của Qwen3 235B giảm từ vài giây xuống khoảng 230 ms và TTFT trung bình giảm 60% với mô hình 235B và 90% với mô hình 480B ở mức đồng thời thấp. Thư viện tích hợp với PyTorch thông qua TorchTPU và với JAX, đóng vai trò trình kết nối KV trong vLLM-TorchTPU và backend truyền P/D trong SGLang-TorchTPU. README của Google cho biết thư viện chưa được khuyến nghị dùng cho mục đích chung; phần lưu trữ dựa trên các backend POSIX thử nghiệm bao gồm SSD cục bộ và Google Cloud Managed Lustre, còn RL và phân tầng lưu trữ vẫn đang ở giai đoạn thử nghiệm. Mọi số liệu hiệu năng đều do Google tự báo cáo.
Tạo từ các bài viết · cập nhật 3 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- MarkTechPostGoogle phát hành TPU Sync, thư viện mã nguồn mở chuyển KV cache cho Cloud TPU
Google Cloud đã phát hành TPU Sync, một thư viện C++ theo giấy phép Apache-2.0 dùng để di chuyển KV cache và trọng số mô hình giữa HBM của TPU, DRAM máy chủ được ghim, lưu trữ dùng chung và mạng trung tâm dữ liệu. Trong các thử nghiệm nội bộ tháng 7 năm 2026 trên TPU v7x, Google báo cáo mức giảm hơn 90% chi phí chuyển KV, với độ trễ chuyển KV trung vị của Qwen3 235B giảm từ vài giây xuống khoảng 230 ms và TTFT trung bình giảm 60% với mô hình 235B và 90% với mô hình 480B ở mức đồng thời thấp. Thư viện tích hợp với PyTorch thông qua TorchTPU và với JAX, đóng vai trò trình kết nối KV trong vLLM-TorchTPU và backend chuyển P/D trong SGLang-TorchTPU, tuy nhiên README nêu rằng thư viện chưa được khuyến nghị dùng cho mục đích chung.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.