跳到正文
热点事件观察中

Google 在 MaxText v0.2.5 中发布 Streaming DiLoCo

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Google 已在其开源 JAX 训练框架 MaxText 中实现 Streaming DiLoCo,并在 PyPI 上的 0.2.5 版本、对应的 Docker 镜像以及 GitHub 主分支中发布。该方法将模型参数拆分为 P 个片段,每个训练步只同步一个片段,从而使分布式 LLM 预训练能够在低带宽广域网上运行。 Google 建议将 num_diloco_fragments(P)和 diloco_sync_period(H)都设置为 N_layers + 1,以便每一步恰好同步一个片段。该公司将此作为最佳实践而非硬性要求提出。

AI 根据报道生成 · 更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Google Developers Blog
    Google 在 MaxText 中实现 Streaming DiLoCo,支持跨数据中心分布式 LLM 训练

    Google 在开源 JAX 训练框架 MaxText v0.2.5 中实现 Streaming DiLoCo,把模型参数切成 P 个分片,每步只同步一个分片,从而在低带宽广域网上完成分布式 LLM 预训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。