ข้ามไปที่เนื้อหา
Hacker News · AI·· 19 ชม. ที่แล้วคะแนน AI58

โมเดล AI แบบเปิด EUROPA ของ EU ทดลองฝึกด้วยพารามิเตอร์เกือบ 1 ล้านล้านบนซูเปอร์คอมพิวเตอร์ JUPITER

Europa, the EU's open AI model, is aiming for nearly 1T parameters

สรุปโดย AI

Domyn บริษัทจากมิลานที่นำกลุ่ม EUROPA ซึ่งได้รับการสนับสนุนจาก EU ได้ทดลองฝึกโมเดลแบบเปิดบนซูเปอร์คอมพิวเตอร์ JUPITER ในเมืองยือลิช ประเทศเยอรมนี ด้วยการตั้งค่าทดสอบที่ 951.9 พันล้านพารามิเตอร์ มากกว่าขั้นต่ำ 400 พันล้านของคณะกรรมาธิการยุโรปถึงกว่าสองเท่า การออกแบบแบบ mixture-of-experts แบ่งเครือข่ายออกเป็น 384 experts โดยมีเพียง 8 ตัวที่ทำงานต่อโทเคน ดังนั้นจึงมีพารามิเตอร์ 32.8 พันล้านตัวที่ทำงานต่อโทเคน และ Domyn กล่าวว่าการแก้ไขทางวิศวกรรมเพิ่มปริมาณงานจาก 90 เป็น 1,293 โทเคนต่อวินาทีต่อ GPU Domyn ยังไม่ได้เผยแพร่ weights ของ EUROPA และโพสต์ดังกล่าวไม่ได้ระบุวันที่สำหรับการฝึกเต็มรูปแบบ ข้อมูลการฝึก สัญญาอนุญาต หรือผลการทดสอบ benchmark

แหล่งข่าว:Hacker News · AI · maccus.fr