Google Developers Blog·· 1 天前AI 评分58
Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位零误差的 on-policy RL
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
AI 导读
Google 在 Tunix 中实现 Zero-TIM,使采样器解码、服务端 prefill 与训练器前向在相同权重下对同一动作 token 给出逐位相同的 logprob,并在 64 块 TPU v5p(DP8×TP8)多主机网格上完成验证。
来源:Google Developers Blog · developers.googleblog.com