Hacker News · AI·· 8 giờ trướcĐiểm AI40
CrowdGPT: Mạng phi tập trung huấn luyện một mô hình ngôn ngữ trên các GPU độc lập
CrowdGPT – AI Owned by Everyone
Tóm tắt bằng AI
CrowdGPT điều phối các GPU độc lập để huấn luyện một mô hình ngôn ngữ duy nhất mà không cần hạ tầng quy mô lớn. Mỗi thiết bị kết nối tải trọng số toàn cục từ HuggingFace, huấn luyện trên một phân đoạn dữ liệu đã token hóa 10MB, và gửi một delta trọng số đã nén mà máy chủ kiểm tra các giá trị NaN/Inf, giới hạn kích thước và chuẩn trước khi lấy trung bình vào mô hình toàn cục.
Nguồn:Hacker News · AI · crowdgpt.net