Google 發布開源 TPU 協同設計指南
先了解這件事
Google 推出了開源 AI-Hypercomputer/tpu-codesign 指南,其中列出圍繞 TPU 架構設計模型的八項原則——從 256 對齊維度與靜態形狀,到 LatentMoE 路由以及將平行軸映射到實體鏈路。Google 表示,形狀規則適用於任何設計新模型的人,而改造既有模型的開發者可以使用 Expressing Parallelism 一節,無需改動 checkpoint。 Google 報告了實測的 Ironwood 結果:裝置端 permute 時間縮短 2.8 倍,在 30B/128 專家模型上使用 l=768 的 LatentMoE 使訓練吞吐量提升 14%,在 63B LatentMoE 上將專家數減半並將 d_ff 加倍使 tok/s 提升 57%。該指南還涵蓋 TPU 8t 與 TPU 8i 的特性,例如原生 FP4、Boardfly 拓撲與 Collectives Acceleration Engine,並建議在調優後的堆疊上透過實際耗時消融實驗驗證架構變更。Google 表示,配套儲存庫將隨時間增加針對特定模型與工作負載的章節。
AI 依報導生成 · 1 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Google Developers Blog精選Google 發布 TPU 模型設計與最佳化指南,涵蓋形狀規則、LatentMoE 與平行化
Google 推出開源 AI-Hypercomputer/tpu-codesign 指南,提出八項圍繞 TPU 架構設計模型的原則,從 256 對齊維度與靜態形狀,到 LatentMoE 路由,以及將平行軸映射到實體鏈路。Ironwood 上的實測結果包括:裝置端 permute 時間縮短 2.8 倍;在 30B/128 專家的模型上,l=768 的 LatentMoE 帶來 +14% 訓練吞吐量;在 63B LatentMoE 上,專家數減半、d_ff 加倍帶來 +57% tok/s。該指南還涵蓋 TPU 8t 與 TPU 8i 的特性,例如原生 FP4、Boardfly 拓撲與 Collectives Acceleration Engine,並建議在調校過的堆疊上以實際耗時消融驗證架構變更。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。