ข้ามไปที่เนื้อหา
Zyphra Research·· 12 ชม. ที่แล้วคะแนน AI58

Zyphra ขยายการแปลง ZHA แบบ subquadratic attention ไปสู่โมเดลระดับล้านล้านพารามิเตอร์

Scaling Subquadratic Attention to Trillions of Parameters

สรุปโดย AI

6-Pro ไปเป็น Zyphra Hierarchical Attention (ZHA) โดยคงโครงหลักที่ผ่านการฝึกไว้และไม่ปรับแต่ง และผลทดสอบส่วนใหญ่ยังใกล้เคียงกับ baseline แบบ dense โดย 4T-A95B รักษาประสิทธิภาพไว้ได้เกือบทั้งหมด โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M และชุด top-p attention ของมันเติบโตตามกฎกำลังแบบ sublinear

แหล่งข่าว:Zyphra Research · zyphra.com