Google 将 TorchTitan 接入 TorchTPU，并发布 TPU 模型优化手册

Google 发布了 Meta TorchTitan 的 TPU 分支版本，该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练，配备 TPU 原生内核和分步优化手册。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU，Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU，FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/，此外还有 Transformers 建模后端和 agent 接入技能，可将同一训练器扩展到其他检查点。