跳到正文
热点事件观察中

Google 发布开源 TPU 协同设计指南

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Google 推出了开源 AI-Hypercomputer/tpu-codesign 指南,其中列出了围绕 TPU 架构设计模型的八项原则——从 256 对齐维度和静态形状,到 LatentMoE 路由以及将并行轴映射到物理链路。Google 表示,形状规则适用于任何设计新模型的人,而改造现有模型的开发者可以使用 Expressing Parallelism 部分,无需改动 checkpoint。 Google 报告了实测的 Ironwood 结果:设备端 permute 时间缩短 2.8 倍;在 30B/128 专家模型上使用 l=768 的 LatentMoE,训练吞吐量提升 14%;在 63B LatentMoE 上将专家数量减半、d_ff 翻倍,tok/s 提升 57%。该指南还涵盖 TPU 8t 和 TPU 8i 的特性,例如原生 FP4、Boardfly 拓扑和 Collectives Acceleration Engine,并建议在调优后的技术栈上通过实际耗时消融实验来验证架构变更。Google 表示,配套仓库将随时间推移增加针对特定模型和工作负载的章节。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. Google Developers Blog精选
    Google 发布 TPU 模型设计与优化指南,涵盖形状规则、LatentMoE 与并行化

    Google 推出了开源项目 AI-Hypercomputer/tpu-codesign 指南,其中提出围绕 TPU 架构设计模型的八项原则,从 256 对齐维度和静态形状,到 LatentMoE 路由以及将并行轴映射到物理链路上。在 Ironwood 上的实测结果显示:设备端 permute 时间缩短 2.8 倍;在 30B/128 专家模型上使用 l=768 的 LatentMoE,训练吞吐提升 14%;在 63B LatentMoE 上将专家数减半、d_ff 翻倍,tok/s 提升 57%。该指南还介绍了 TPU 8t 和 TPU 8i 的特性,例如原生 FP4、Boardfly 拓扑和 Collectives Acceleration Engine,并建议在调优后的技术栈上通过实际耗时消融实验来验证架构变更。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。