Google Developers Blog·· 1 天前精選AI 評分60
Google 發布 TPU 模型設計與最佳化指南,涵蓋形狀規則、LatentMoE 與平行化
TPU Model Design Considerations and Optimization Guide
AI 導讀
Google 推出開源 AI-Hypercomputer/tpu-codesign 指南,提出八項圍繞 TPU 架構設計模型的原則,從 256 對齊維度與靜態形狀,到 LatentMoE 路由,以及將平行軸映射到實體鏈路。Ironwood 上的實測結果包括:裝置端 permute 時間縮短 2.8 倍;在 30B/128 專家的模型上,l=768 的 LatentMoE 帶來 +14% 訓練吞吐量;在 63B LatentMoE 上,專家數減半、d_ff 加倍帶來 +57% tok/s。該指南還涵蓋 TPU 8t 與 TPU 8i 的特性,例如原生 FP4、Boardfly 拓撲與 Collectives Acceleration Engine,並建議在調校過的堆疊上以實際耗時消融驗證架構變更。
推薦理由
Google 的 TPU 團隊提出八項以硬體為依據的設計規則,讓模型形狀、MoE 路由與平行化對齊 Ironwood 與第八代 TPU,並有實測吞吐量提升作為佐證。
來源:Google Developers Blog · developers.googleblog.com