跳到正文
Google Developers Blog·· 1 天前AI 评分58

Google 在 MaxText 中实现 Streaming DiLoCo,支持跨数据中心分布式 LLM 训练

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

AI 导读

Google 在开源 JAX 训练框架 MaxText v0.2.5 中实现 Streaming DiLoCo,把模型参数切成 P 个分片,每步只同步一个分片,从而在低带宽广域网上完成分布式 LLM 预训练。

来源:Google Developers Blog · developers.googleblog.com