跳至正文
熱點事件觀察中

Google 開源 Zero-TIM,用於在 TPU 上實現位元精確的 on-policy RL

1 篇報導1 個報導來源1 天前更新

先了解這件事

AI 綜述

Google 已發布 Zero-TIM 的開源實作與技術配方;Zero-TIM 是一種方法,能讓在 TPU 上進行 on-policy 強化學習時,訓練與推論的結果逐位元一致。在 Google 的 Tunix 框架中,取樣器的解碼、伺服器端的前置填充(prefill)與訓練器的前向傳遞,在相同權重下對同一個動作 token 會產生完全相同的 logprobs。Google 表示,此方法已在由 64 顆 TPU v5p 晶片組成的多主機 mesh(DP8×TP8)上驗證,且其核心與集合通訊模式構成一套可重複使用的藍圖,適用於分散式 JAX/TPU 堆疊上位元精確的 on-policy RL。 此實作為模組化設計,以 JAX/XLA 與 Pallas for TPU 撰寫。Google 表示正積極將支援擴展至線性注意力與混合專家(Mixture-of-Experts)架構,因此驗證設定之外的涵蓋範圍仍在推進中。

AI 依報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Google Developers Blog
    Google 在 TPU 上用 Zero-TIM 实现訓練與推理逐位零誤差的 on-policy RL

    Google 在 Tunix 中實作 Zero-TIM,使取樣器解碼、伺服端 prefill 與訓練器前向在相同權重下對同一動作 token 給出逐位相同的 logprob,並在 64 塊 TPU v5p(DP8×TP8)多主機網格上完成驗證。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。