Google đưa Pathways lên trạng thái khả dụng chung trên Google Cloud để huấn luyện mô hình lớn

Google thông báo Pathways, hệ thống huấn luyện phân tán cho các mô hình lớn bao gồm Gemini, đã đạt trạng thái Khả dụng chung trên Google Cloud Platform. Pathways thay thế cách thực thi SPMD đồng bộ bằng một máy khách Python duy nhất khai báo toàn bộ phép tính dưới dạng đồ thị luồng dữ liệu, trong khi một môi trường chạy phân tán đặt các khối lên thiết bị ảo, di chuyển và phân mảnh lại tensor, và sắp xếp công việc trên toàn cụm. Google cho biết thiết kế này cho phép ánh xạ lại một máy chủ bị lỗi sang các chip khỏe mạnh thay vì khởi động lại công việc, và một dịch vụ Pathways dùng chung có thể phục vụ nhiều máy khách từ một cụm.