Hacker News · AI·· 19 小时前AI 评分58
欧盟开放AI模型EUROPA在JUPITER超级计算机上进行近1万亿参数训练试验
Europa, the EU's open AI model, is aiming for nearly 1T parameters
AI 导读
领导欧盟支持的EUROPA联盟的米兰公司Domyn在德国于利希的JUPITER超级计算机上对该开放模型进行了训练试验,测试配置为9519亿参数,是欧盟委员会4千亿最低要求的两倍多。该混合专家设计将网络拆分为384个专家,每个token仅激活8个,因此每个token激活328亿参数,Domyn称工程修复将吞吐量从每GPU每秒90个token提升至1,293个token。Domyn尚未发布EUROPA的权重,该文章未给出完整训练运行的时间、训练数据、许可证或基准测试结果。
来源:Hacker News · AI · maccus.fr