Google Developers Blog·· 1 ngày trướcĐiểm AI58
Google triển khai Streaming DiLoCo trong MaxText, hỗ trợ huấn luyện LLM phân tán xuyên trung tâm dữ liệu
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText
Tóm tắt bằng AI
Google triển khai Streaming DiLoCo trong khung huấn luyện JAX mã nguồn mở MaxText v0.2.5, chia tham số mô hình thành P phân mảnh, mỗi bước chỉ đồng bộ một phân mảnh, từ đó hoàn thành tiền huấn luyện LLM phân tán trên mạng diện rộng băng thông thấp.
Nguồn:Google Developers Blog · developers.googleblog.com