Google Developers Blog·· 1 天前精选AI 评分60
Google 发布 TPU 模型设计与优化指南,涵盖形状规则、LatentMoE 与并行化
TPU Model Design Considerations and Optimization Guide
AI 导读
Google 推出了开源项目 AI-Hypercomputer/tpu-codesign 指南,其中提出围绕 TPU 架构设计模型的八项原则,从 256 对齐维度和静态形状,到 LatentMoE 路由以及将并行轴映射到物理链路上。在 Ironwood 上的实测结果显示:设备端 permute 时间缩短 2.8 倍;在 30B/128 专家模型上使用 l=768 的 LatentMoE,训练吞吐提升 14%;在 63B LatentMoE 上将专家数减半、d_ff 翻倍,tok/s 提升 57%。该指南还介绍了 TPU 8t 和 TPU 8i 的特性,例如原生 FP4、Boardfly 拓扑和 Collectives Acceleration Engine,并建议在调优后的技术栈上通过实际耗时消融实验来验证架构变更。
推荐理由
Google 的 TPU 团队提出了八条基于硬件的设计规则,用于将模型形状、MoE 路由和并行化与 Ironwood 及第八代 TPU 对齐,并有实测吞吐提升作为支撑。
来源:Google Developers Blog · developers.googleblog.com