Google 发布开源 TPU 协同设计指南
先了解这件事
Google 推出了开源 AI-Hypercomputer/tpu-codesign 指南,其中列出了围绕 TPU 架构设计模型的八项原则——从 256 对齐维度和静态形状,到 LatentMoE 路由以及将并行轴映射到物理链路。Google 表示,形状规则适用于任何设计新模型的人,而改造现有模型的开发者可以使用 Expressing Parallelism 部分,无需改动 checkpoint。 Google 报告了实测的 Ironwood 结果:设备端 permute 时间缩短 2.8 倍;在 30B/128 专家模型上使用 l=768 的 LatentMoE,训练吞吐量提升 14%;在 63B LatentMoE 上将专家数量减半、d_ff 翻倍,tok/s 提升 57%。该指南还涵盖 TPU 8t 和 TPU 8i 的特性,例如原生 FP4、Boardfly 拓扑和 Collectives Acceleration Engine,并建议在调优后的技术栈上通过实际耗时消融实验来验证架构变更。Google 表示,配套仓库将随时间推移增加针对特定模型和工作负载的章节。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Google Developers Blog精选Google 发布 TPU 模型设计与优化指南,涵盖形状规则、LatentMoE 与并行化
Google 推出了开源项目 AI-Hypercomputer/tpu-codesign 指南,其中提出围绕 TPU 架构设计模型的八项原则,从 256 对齐维度和静态形状,到 LatentMoE 路由以及将并行轴映射到物理链路上。在 Ironwood 上的实测结果显示:设备端 permute 时间缩短 2.8 倍;在 30B/128 专家模型上使用 l=768 的 LatentMoE,训练吞吐提升 14%;在 63B LatentMoE 上将专家数减半、d_ff 翻倍,tok/s 提升 57%。该指南还介绍了 TPU 8t 和 TPU 8i 的特性,例如原生 FP4、Boardfly 拓扑和 Collectives Acceleration Engine,并建议在调优后的技术栈上通过实际耗时消融实验来验证架构变更。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。