Tới nội dung
Google Developers Blog·· 1 ngày trướcĐiểm AI58

Google triển khai Zero-TIM trên TPU để đạt on-policy RL với sai số bằng không từng bit giữa huấn luyện và suy luận

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

Tóm tắt bằng AI

Google triển khai Zero-TIM trong Tunix, giúp quá trình giải mã của bộ lấy mẫu, prefill phía máy chủ và lan truyền xuôi của bộ huấn luyện với cùng trọng số đưa ra logprob giống hệt nhau từng bit cho cùng một token hành động, và đã hoàn tất kiểm chứng trên lưới đa máy chủ 64 TPU v5p (DP8×TP8).

Nguồn:Google Developers Blog · developers.googleblog.com