Google open-source Zero-TIM để thực hiện on-policy RL khớp từng bit trên TPU
Bắt đầu từ đây
Google đã công bố bản triển khai mã nguồn mở và công thức kỹ thuật cho Zero-TIM, một phương pháp giúp quá trình huấn luyện và suy luận khớp nhau đến từng bit trong on-policy reinforcement learning trên TPU. Trong framework Tunix của Google, bước giải mã của sampler, prefill phía server và lượt forward của trainer tạo ra logprob giống hệt nhau cho cùng một action token dưới cùng một bộ trọng số. Google cho biết phương pháp này đã được kiểm chứng trên một multi-host mesh gồm 64 chip TPU v5p (DP8×TP8), và rằng các kernel cùng các collective pattern tạo thành một blueprint có thể tái sử dụng cho on-policy RL khớp từng bit trên các stack JAX/TPU phân tán. Bản triển khai có tính module, được viết bằng JAX/XLA và Pallas cho TPU. Google cho biết họ đang tích cực mở rộng hỗ trợ sang các kiến trúc linear-attention và Mixture-of-Experts, nên phạm vi bao phủ ngoài cấu hình đã kiểm chứng vẫn đang trong quá trình hoàn thiện.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Google Developers BlogGoogle triển khai Zero-TIM trên TPU để đạt on-policy RL với sai số bằng không từng bit giữa huấn luyện và suy luận
Google triển khai Zero-TIM trong Tunix, giúp quá trình giải mã của bộ lấy mẫu, prefill phía máy chủ và lan truyền xuôi của bộ huấn luyện với cùng trọng số đưa ra logprob giống hệt nhau từng bit cho cùng một token hành động, và đã hoàn tất kiểm chứng trên lưới đa máy chủ 64 TPU v5p (DP8×TP8).
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.