Google Developers Blog·· 1 天前AI 评分58
Google 在 MaxText 中实现 Streaming DiLoCo,支持跨数据中心分布式 LLM 训练
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText
AI 导读
Google 在开源 JAX 训练框架 MaxText v0.2.5 中实现 Streaming DiLoCo,把模型参数切成 P 个分片,每步只同步一个分片,从而在低带宽广域网上完成分布式 LLM 预训练。
来源:Google Developers Blog · developers.googleblog.com