Tới nội dung
Google Developers Blog·· 1 ngày trướcĐiểm AI58

Google triển khai Streaming DiLoCo trong MaxText, hỗ trợ huấn luyện LLM phân tán xuyên trung tâm dữ liệu

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

Tóm tắt bằng AI

Google triển khai Streaming DiLoCo trong khung huấn luyện JAX mã nguồn mở MaxText v0.2.5, chia tham số mô hình thành P phân mảnh, mỗi bước chỉ đồng bộ một phân mảnh, từ đó hoàn thành tiền huấn luyện LLM phân tán trên mạng diện rộng băng thông thấp.

Nguồn:Google Developers Blog · developers.googleblog.com