Hacker News · AI·· 19 giờ trướcĐiểm AI58
Mô hình AI mở EUROPA của EU chạy thử nghiệm huấn luyện gần 1 nghìn tỷ tham số trên siêu máy tính JUPITER
Europa, the EU's open AI model, is aiming for nearly 1T parameters
Tóm tắt bằng AI
Domyn, công ty Milan dẫn đầu liên danh EUROPA do EU hậu thuẫn, đã chạy thử nghiệm huấn luyện cho mô hình mở trên siêu máy tính JUPITER tại Jülich, Đức, với thiết lập thử nghiệm 951,9 tỷ tham số, hơn gấp đôi mức tối thiểu 400 tỷ của Ủy ban Châu Âu. Thiết kế mixture-of-experts chia mạng thành 384 expert với chỉ 8 expert hoạt động mỗi token, nên có 32,8 tỷ tham số hoạt động mỗi token, và Domyn cho biết các sửa lỗi kỹ thuật đã nâng thông lượng từ 90 lên 1.293 token mỗi giây mỗi GPU. Domyn chưa công bố trọng số của EUROPA, và bài đăng không nêu ngày chạy huấn luyện đầy đủ, dữ liệu huấn luyện, giấy phép hay kết quả đánh giá chuẩn.
Nguồn:Hacker News · AI · maccus.fr