Google Developers Blog·· 1 天前AI 評分58
Google 在 TPU 上用 Zero-TIM 实现訓練與推理逐位零誤差的 on-policy RL
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
AI 導讀
Google 在 Tunix 中實作 Zero-TIM,使取樣器解碼、伺服端 prefill 與訓練器前向在相同權重下對同一動作 token 給出逐位相同的 logprob,並在 64 塊 TPU v5p(DP8×TP8)多主機網格上完成驗證。
來源:Google Developers Blog · developers.googleblog.com