Google 將 TorchTitan 接入 TorchTPU，並發布 TPU 模型最佳化手冊

Google 發布了 Meta TorchTitan 的 TPU 分支版本，可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練，並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU，Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU，FLUX.1 在 1,024 顆晶片上達到 19.4% MFU，弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/，另有 Transformers 建模後端與 agent 上手技能，可將同一訓練器延伸至其他檢查點。