Zyphra Research·· 12 ชม. ที่แล้วคะแนน AI58
Zyphra ขยายการแปลง ZHA แบบ subquadratic attention ไปสู่โมเดลระดับล้านล้านพารามิเตอร์
Scaling Subquadratic Attention to Trillions of Parameters
สรุปโดย AI
6-Pro ไปเป็น Zyphra Hierarchical Attention (ZHA) โดยคงโครงหลักที่ผ่านการฝึกไว้และไม่ปรับแต่ง และผลทดสอบส่วนใหญ่ยังใกล้เคียงกับ baseline แบบ dense โดย 4T-A95B รักษาประสิทธิภาพไว้ได้เกือบทั้งหมด โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M และชุด top-p attention ของมันเติบโตตามกฎกำลังแบบ sublinear
แหล่งข่าว:Zyphra Research · zyphra.com