Tới nội dung
Hacker News · AI·· 8 giờ trướcĐiểm AI40

CrowdGPT: Mạng phi tập trung huấn luyện một mô hình ngôn ngữ trên các GPU độc lập

CrowdGPT – AI Owned by Everyone

Tóm tắt bằng AI

CrowdGPT điều phối các GPU độc lập để huấn luyện một mô hình ngôn ngữ duy nhất mà không cần hạ tầng quy mô lớn. Mỗi thiết bị kết nối tải trọng số toàn cục từ HuggingFace, huấn luyện trên một phân đoạn dữ liệu đã token hóa 10MB, và gửi một delta trọng số đã nén mà máy chủ kiểm tra các giá trị NaN/Inf, giới hạn kích thước và chuẩn trước khi lấy trung bình vào mô hình toàn cục.

Nguồn:Hacker News · AI · crowdgpt.net