Google 在 MaxText v0.2.5 中發布 Streaming DiLoCo
熱點事件觀察中
Google 在 MaxText v0.2.5 中發布 Streaming DiLoCo
1 篇報導1 個報導來源1 天前更新
先了解這件事
AI 綜述
Google 已在其開源 JAX 訓練框架 MaxText 中實作 Streaming DiLoCo,並於 PyPI 上的 0.2.5 版、對應的 Docker 映像檔以及 GitHub 主分支上發布。此方法將模型參數拆分為 P 個片段,每個訓練步驟僅同步一個片段,使分散式 LLM 預訓練得以在低頻寬廣域網路上執行。 Google 建議將 num_diloco_fragments(P)與 diloco_sync_period(H)皆設為 N_layers + 1,如此每個步驟恰好同步一個片段。該公司將此視為最佳實務而非強制要求。
AI 依報導生成 · 更新
最新進展11月19日 00:00
Google 在 MaxText 中實現 Streaming DiLoCo,支援跨資料中心分散式 LLM 訓練報導時間線
沿著報導,了解事件的不同側面。
11月19日
- Google Developers BlogGoogle 在 MaxText 中實現 Streaming DiLoCo,支援跨資料中心分散式 LLM 訓練
Google 在開源 JAX 訓練框架 MaxText v0.2.5 中實現 Streaming DiLoCo,把模型參數切成 P 個分片,每步只同步一個分片,從而在低頻寬廣域網上完成分散式 LLM 預訓練。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。