Google 开源 Zero-TIM,用于在 TPU 上实现逐位精确的 on-policy RL
热点事件观察中
Google 开源 Zero-TIM,用于在 TPU 上实现逐位精确的 on-policy RL
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Google 发布了 Zero-TIM 的开源实现与技术方案,该方法使 TPU 上的 on-policy 强化学习在训练与推理之间逐位一致。在 Google 的 Tunix 框架中,采样器的解码、服务端 prefill 与训练器的前向传播在相同权重下对同一动作 token 产生完全相同的 logprobs。Google 表示,该方法已在由 64 块 TPU v5p 芯片组成的多主机 mesh(DP8×TP8)上验证,其 kernel 与集合通信模式构成了一套可复用的蓝图,可用于跨分布式 JAX/TPU 技术栈的逐位精确 on-policy RL。 该实现采用模块化设计,使用 JAX/XLA 以及面向 TPU 的 Pallas 编写。Google 表示正在积极将支持扩展到线性注意力与混合专家(MoE)架构,因此超出已验证配置的覆盖范围仍在推进中。
AI 根据报道生成 · 更新
最新进展11月16日 00:00
Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位零误差的 on-policy RL报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- Google Developers BlogGoogle 在 TPU 上用 Zero-TIM 实现训练与推理逐位零误差的 on-policy RL
Google 在 Tunix 中实现 Zero-TIM,使采样器解码、服务端 prefill 与训练器前向在相同权重下对同一动作 token 给出逐位相同的 logprob,并在 64 块 TPU v5p(DP8×TP8)多主机网格上完成验证。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。