Zyphra ขยายการแปลง attention แบบ ZHA ไปสู่โมเดลระดับล้านล้านพารามิเตอร์
เริ่มตรงนี้
Zyphra Research รายงานว่าได้ขยายวิธีการแปลง Zyphra Hierarchical Attention (ZHA) ไปยังโมเดล open-weight ระดับแนวหน้า รวมถึง Qwen3.8-2.4T-A95B, Nemotron-3.5-Super, GPT-OSS-120B และ MiMo-V2.6-Pro การแปลงนี้จะสลับมาใช้ attention แบบ subquadratic ของ ZHA โดยคงโครงหลักที่ผ่านการ pretrain ไว้แบบ frozen และ Zyphra กล่าวว่า benchmark ส่วนใหญ่ยังคงใกล้เคียงกับ baseline แบบ dense สำหรับโมเดลที่ใหญ่ที่สุดคือ Qwen3.8-2.4T-A95B Zyphra กล่าวว่าประสิทธิภาพแทบทั้งหมดยังคงอยู่ โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M นอกจากนี้ยังรายงานว่าชุด top-p attention ของโมเดลเติบโตตามกฎกำลังแบบ sublinear ซึ่งบริษัทนำเสนอเป็นหลักฐานว่าวิธีนี้สามารถขยายไปสู่โมเดลระดับล้านล้านพารามิเตอร์ได้
สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Zyphra ResearchZyphra ขยายการแปลง ZHA แบบ subquadratic attention ไปสู่โมเดลระดับล้านล้านพารามิเตอร์
6-Pro ไปเป็น Zyphra Hierarchical Attention (ZHA) โดยคงโครงหลักที่ผ่านการฝึกไว้และไม่ปรับแต่ง และผลทดสอบส่วนใหญ่ยังใกล้เคียงกับ baseline แบบ dense โดย 4T-A95B รักษาประสิทธิภาพไว้ได้เกือบทั้งหมด โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M และชุด top-p attention ของมันเติบโตตามกฎกำลังแบบ sublinear
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 7
- จุดสูงสุดในช่วงที่เทียบได้
- 818 พฤศจิกายน 05:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู