Tới nội dung
Sự việc nóngĐang theo dõi

Google phát hành Streaming DiLoCo trong MaxText v0.2.5

1 bài viết1 nguồn đưa tinCập nhật 1 ngày trước

Bắt đầu từ đây

Tóm tắt AI

Google đã triển khai Streaming DiLoCo trong MaxText, khung huấn luyện JAX mã nguồn mở của mình, phát hành trong phiên bản 0.2.5 trên PyPI, trong các Docker image tương ứng và trên GitHub main. Phương pháp này chia tham số mô hình thành P phân đoạn và chỉ đồng bộ một phân đoạn mỗi bước huấn luyện, cho phép tiền huấn luyện LLM phân tán chạy qua các mạng diện rộng băng thông thấp. Google khuyến nghị đặt cả num_diloco_fragments (P) và diloco_sync_period (H) bằng N_layers + 1, để mỗi bước đồng bộ đúng một phân đoạn. Công ty trình bày đây là thực hành tốt nhất chứ không phải yêu cầu bắt buộc.

Tạo từ các bài viết · cập nhật

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Google Developers Blog
    Google triển khai Streaming DiLoCo trong MaxText, hỗ trợ huấn luyện LLM phân tán xuyên trung tâm dữ liệu

    Google triển khai Streaming DiLoCo trong khung huấn luyện JAX mã nguồn mở MaxText v0.2.5, chia tham số mô hình thành P phân mảnh, mỗi bước chỉ đồng bộ một phân mảnh, từ đó hoàn thành tiền huấn luyện LLM phân tán trên mạng diện rộng băng thông thấp.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.