Google Developers Blog·· 1 天前AI 評分58
Google 在 MaxText 中實現 Streaming DiLoCo,支援跨資料中心分散式 LLM 訓練
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText
AI 導讀
Google 在開源 JAX 訓練框架 MaxText v0.2.5 中實現 Streaming DiLoCo,把模型參數切成 P 個分片,每步只同步一個分片,從而在低頻寬廣域網上完成分散式 LLM 預訓練。
來源:Google Developers Blog · developers.googleblog.com