Google 開源 Zero-TIM,用於在 TPU 上實現位元精確的 on-policy RL
熱點事件觀察中
Google 開源 Zero-TIM,用於在 TPU 上實現位元精確的 on-policy RL
1 篇報導1 個報導來源1 天前更新
先了解這件事
AI 綜述
Google 已發布 Zero-TIM 的開源實作與技術配方;Zero-TIM 是一種方法,能讓在 TPU 上進行 on-policy 強化學習時,訓練與推論的結果逐位元一致。在 Google 的 Tunix 框架中,取樣器的解碼、伺服器端的前置填充(prefill)與訓練器的前向傳遞,在相同權重下對同一個動作 token 會產生完全相同的 logprobs。Google 表示,此方法已在由 64 顆 TPU v5p 晶片組成的多主機 mesh(DP8×TP8)上驗證,且其核心與集合通訊模式構成一套可重複使用的藍圖,適用於分散式 JAX/TPU 堆疊上位元精確的 on-policy RL。 此實作為模組化設計,以 JAX/XLA 與 Pallas for TPU 撰寫。Google 表示正積極將支援擴展至線性注意力與混合專家(Mixture-of-Experts)架構,因此驗證設定之外的涵蓋範圍仍在推進中。
AI 依報導生成 · 更新
最新進展11月16日 00:00
Google 在 TPU 上用 Zero-TIM 实现訓練與推理逐位零誤差的 on-policy RL報導時間線
沿著報導,了解事件的不同側面。
11月16日
- Google Developers BlogGoogle 在 TPU 上用 Zero-TIM 实现訓練與推理逐位零誤差的 on-policy RL
Google 在 Tunix 中實作 Zero-TIM,使取樣器解碼、伺服端 prefill 與訓練器前向在相同權重下對同一動作 token 給出逐位相同的 logprob,並在 64 塊 TPU v5p(DP8×TP8)多主機網格上完成驗證。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。