Tới nội dung
Sự việc nóngĐang diễn ra

CrowdGPT ra mắt mạng lưới huấn luyện phi tập trung cho các GPU độc lập

1 bài viết1 nguồn đưa tinCập nhật 8 giờ trước

Bắt đầu từ đây

Tóm tắt AI

CrowdGPT đã ra mắt một nền tảng phi tập trung huấn luyện một mô hình ngôn ngữ duy nhất trên các GPU độc lập mà không cần hạ tầng quy mô lớn. Mỗi thiết bị được kết nối tải trọng số toàn cục từ HuggingFace, huấn luyện trên một phân đoạn dữ liệu đã token hóa 10MB, và gửi lên một delta trọng số đã nén; máy chủ kiểm tra từng delta để phát hiện giá trị NaN/Inf cũng như giới hạn kích thước và chuẩn (norm) trước khi lấy trung bình vào mô hình toàn cục. Bộ dữ liệu hoàn toàn mở và bất kỳ ai cũng có thể đóng góp vào đó, và trọng số mô hình được tự động đẩy lên HuggingFace để kiểm toán và thử nghiệm công khai. CrowdGPT giới thiệu thiết lập này như một cách để phối hợp nhiều GPU độc lập thành một mô hình gắn kết mà không cần hạ tầng nặng nề.

Tạo từ các bài viết · cập nhật 8 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Hacker News · AI
    CrowdGPT: Mạng phi tập trung huấn luyện một mô hình ngôn ngữ trên các GPU độc lập

    CrowdGPT điều phối các GPU độc lập để huấn luyện một mô hình ngôn ngữ duy nhất mà không cần hạ tầng quy mô lớn. Mỗi thiết bị kết nối tải trọng số toàn cục từ HuggingFace, huấn luyện trên một phân đoạn dữ liệu đã token hóa 10MB, và gửi một delta trọng số đã nén mà máy chủ kiểm tra các giá trị NaN/Inf, giới hạn kích thước và chuẩn trước khi lấy trung bình vào mô hình toàn cục.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
8
Đỉnh, trong khoảng so sánh được
1016 tháng 11 09:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.