Google Developers Blog·· 1 ngày trướcĐiểm AI58
Google triển khai Zero-TIM trên TPU để đạt on-policy RL với sai số bằng không từng bit giữa huấn luyện và suy luận
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
Tóm tắt bằng AI
Google triển khai Zero-TIM trong Tunix, giúp quá trình giải mã của bộ lấy mẫu, prefill phía máy chủ và lan truyền xuôi của bộ huấn luyện với cùng trọng số đưa ra logprob giống hệt nhau từng bit cho cùng một token hành động, và đã hoàn tất kiểm chứng trên lưới đa máy chủ 64 TPU v5p (DP8×TP8).
Nguồn:Google Developers Blog · developers.googleblog.com