Domyn chạy thử nghiệm huấn luyện EUROPA gần 1T tham số trên JUPITER
Bắt đầu từ đây
Domyn, công ty có trụ sở tại Milan dẫn đầu liên danh EUROPA do EU hậu thuẫn, đã chạy thử nghiệm huấn luyện cho mô hình AI mở của EU trên siêu máy tính JUPITER ở Jülich, Đức, với thiết lập thử nghiệm 951,9 tỷ tham số — hơn gấp đôi mức tối thiểu 400 tỷ của Ủy ban châu Âu. Thiết kế mixture-of-experts chia mạng thành 384 expert với chỉ 8 expert hoạt động mỗi token, để lại 32,8 tỷ tham số hoạt động mỗi token; Domyn cho biết các sửa lỗi kỹ thuật đã nâng thông lượng từ 90 lên 1.293 token mỗi giây mỗi GPU. Domyn chưa công bố trọng số của EUROPA, và cho biết sẽ công bố cùng chi tiết phương pháp huấn luyện khi mô hình ra mắt. Công ty lưu ý các con số đến từ các thử nghiệm của mình và rằng "một số giá trị có thể thay đổi trước khi quá trình huấn luyện bắt đầu", đồng thời không đưa ra ngày cho lần chạy đầy đủ, dữ liệu huấn luyện, giấy phép hay kết quả benchmark. Trên JUPITER, Domyn chỉ có quyền truy cập ở mức người dùng.
Tạo từ các bài viết · cập nhật 19 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIMô hình AI mở EUROPA của EU chạy thử nghiệm huấn luyện gần 1 nghìn tỷ tham số trên siêu máy tính JUPITER
Domyn, công ty Milan dẫn đầu liên danh EUROPA do EU hậu thuẫn, đã chạy thử nghiệm huấn luyện cho mô hình mở trên siêu máy tính JUPITER tại Jülich, Đức, với thiết lập thử nghiệm 951,9 tỷ tham số, hơn gấp đôi mức tối thiểu 400 tỷ của Ủy ban Châu Âu. Thiết kế mixture-of-experts chia mạng thành 384 expert với chỉ 8 expert hoạt động mỗi token, nên có 32,8 tỷ tham số hoạt động mỗi token, và Domyn cho biết các sửa lỗi kỹ thuật đã nâng thông lượng từ 90 lên 1.293 token mỗi giây mỗi GPU. Domyn chưa công bố trọng số của EUROPA, và bài đăng không nêu ngày chạy huấn luyện đầy đủ, dữ liệu huấn luyện, giấy phép hay kết quả đánh giá chuẩn.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1015 tháng 11 22:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.