跳至正文
熱點事件觀察中

Google 在 MaxText v0.2.5 中發布 Streaming DiLoCo

1 篇報導1 個報導來源1 天前更新

先了解這件事

AI 綜述

Google 已在其開源 JAX 訓練框架 MaxText 中實作 Streaming DiLoCo,並於 PyPI 上的 0.2.5 版、對應的 Docker 映像檔以及 GitHub 主分支上發布。此方法將模型參數拆分為 P 個片段,每個訓練步驟僅同步一個片段,使分散式 LLM 預訓練得以在低頻寬廣域網路上執行。 Google 建議將 num_diloco_fragments(P)與 diloco_sync_period(H)皆設為 N_layers + 1,如此每個步驟恰好同步一個片段。該公司將此視為最佳實務而非強制要求。

AI 依報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Google Developers Blog
    Google 在 MaxText 中實現 Streaming DiLoCo,支援跨資料中心分散式 LLM 訓練

    Google 在開源 JAX 訓練框架 MaxText v0.2.5 中實現 Streaming DiLoCo,把模型參數切成 P 個分片,每步只同步一個分片,從而在低頻寬廣域網上完成分散式 LLM 預訓練。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。