Tới nội dung
Sự việc nóngĐang theo dõi

Google open-source Zero-TIM để thực hiện on-policy RL khớp từng bit trên TPU

1 bài viết1 nguồn đưa tinCập nhật 1 ngày trước

Bắt đầu từ đây

Tóm tắt AI

Google đã công bố bản triển khai mã nguồn mở và công thức kỹ thuật cho Zero-TIM, một phương pháp giúp quá trình huấn luyện và suy luận khớp nhau đến từng bit trong on-policy reinforcement learning trên TPU. Trong framework Tunix của Google, bước giải mã của sampler, prefill phía server và lượt forward của trainer tạo ra logprob giống hệt nhau cho cùng một action token dưới cùng một bộ trọng số. Google cho biết phương pháp này đã được kiểm chứng trên một multi-host mesh gồm 64 chip TPU v5p (DP8×TP8), và rằng các kernel cùng các collective pattern tạo thành một blueprint có thể tái sử dụng cho on-policy RL khớp từng bit trên các stack JAX/TPU phân tán. Bản triển khai có tính module, được viết bằng JAX/XLA và Pallas cho TPU. Google cho biết họ đang tích cực mở rộng hỗ trợ sang các kiến trúc linear-attention và Mixture-of-Experts, nên phạm vi bao phủ ngoài cấu hình đã kiểm chứng vẫn đang trong quá trình hoàn thiện.

Tạo từ các bài viết · cập nhật

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Google Developers Blog
    Google triển khai Zero-TIM trên TPU để đạt on-policy RL với sai số bằng không từng bit giữa huấn luyện và suy luận

    Google triển khai Zero-TIM trong Tunix, giúp quá trình giải mã của bộ lấy mẫu, prefill phía máy chủ và lan truyền xuôi của bộ huấn luyện với cùng trọng số đưa ra logprob giống hệt nhau từng bit cho cùng một token hành động, và đã hoàn tất kiểm chứng trên lưới đa máy chủ 64 TPU v5p (DP8×TP8).

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.