跳至正文
Hacker News · AI·· 19 小時前AI 評分58

歐盟開放式 AI 模型 EUROPA 在 JUPITER 超級電腦上進行近 1 兆參數的訓練試驗

Europa, the EU's open AI model, is aiming for nearly 1T parameters

AI 導讀

主導歐盟支持的 EUROPA 聯盟的米蘭公司 Domyn,在德國於利希的 JUPITER 超級電腦上對這個開放模型進行了訓練試驗,測試配置為 9519 億參數,是歐盟委員會 4000 億最低要求的兩倍多。混合專家設計將網路拆分為 384 個專家,每個 token 僅有 8 個處於活躍狀態,因此每個 token 有 328 億參數處於活躍狀態,Domyn 表示工程修復將吞吐量從每 GPU 每秒 90 個 token 提升至 1,293 個 token。Domyn 尚未發布 EUROPA 的權重,該文章未給出完整訓練運行的日期、訓練資料、授權條款或基準測試結果。

來源:Hacker News · AI · maccus.fr