Google phát hành Streaming DiLoCo trong MaxText v0.2.5
Bắt đầu từ đây
Google đã triển khai Streaming DiLoCo trong MaxText, khung huấn luyện JAX mã nguồn mở của mình, phát hành trong phiên bản 0.2.5 trên PyPI, trong các Docker image tương ứng và trên GitHub main. Phương pháp này chia tham số mô hình thành P phân đoạn và chỉ đồng bộ một phân đoạn mỗi bước huấn luyện, cho phép tiền huấn luyện LLM phân tán chạy qua các mạng diện rộng băng thông thấp. Google khuyến nghị đặt cả num_diloco_fragments (P) và diloco_sync_period (H) bằng N_layers + 1, để mỗi bước đồng bộ đúng một phân đoạn. Công ty trình bày đây là thực hành tốt nhất chứ không phải yêu cầu bắt buộc.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Google Developers BlogGoogle triển khai Streaming DiLoCo trong MaxText, hỗ trợ huấn luyện LLM phân tán xuyên trung tâm dữ liệu
Google triển khai Streaming DiLoCo trong khung huấn luyện JAX mã nguồn mở MaxText v0.2.5, chia tham số mô hình thành P phân mảnh, mỗi bước chỉ đồng bộ một phân mảnh, từ đó hoàn thành tiền huấn luyện LLM phân tán trên mạng diện rộng băng thông thấp.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.