ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Zyphra ขยายการแปลง attention แบบ ZHA ไปสู่โมเดลระดับล้านล้านพารามิเตอร์

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 12 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Zyphra Research รายงานว่าได้ขยายวิธีการแปลง Zyphra Hierarchical Attention (ZHA) ไปยังโมเดล open-weight ระดับแนวหน้า รวมถึง Qwen3.8-2.4T-A95B, Nemotron-3.5-Super, GPT-OSS-120B และ MiMo-V2.6-Pro การแปลงนี้จะสลับมาใช้ attention แบบ subquadratic ของ ZHA โดยคงโครงหลักที่ผ่านการ pretrain ไว้แบบ frozen และ Zyphra กล่าวว่า benchmark ส่วนใหญ่ยังคงใกล้เคียงกับ baseline แบบ dense สำหรับโมเดลที่ใหญ่ที่สุดคือ Qwen3.8-2.4T-A95B Zyphra กล่าวว่าประสิทธิภาพแทบทั้งหมดยังคงอยู่ โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M นอกจากนี้ยังรายงานว่าชุด top-p attention ของโมเดลเติบโตตามกฎกำลังแบบ sublinear ซึ่งบริษัทนำเสนอเป็นหลักฐานว่าวิธีนี้สามารถขยายไปสู่โมเดลระดับล้านล้านพารามิเตอร์ได้

สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

17 พฤศจิกายน
  1. Zyphra Research
    Zyphra ขยายการแปลง ZHA แบบ subquadratic attention ไปสู่โมเดลระดับล้านล้านพารามิเตอร์

    6-Pro ไปเป็น Zyphra Hierarchical Attention (ZHA) โดยคงโครงหลักที่ผ่านการฝึกไว้และไม่ปรับแต่ง และผลทดสอบส่วนใหญ่ยังใกล้เคียงกับ baseline แบบ dense โดย 4T-A95B รักษาประสิทธิภาพไว้ได้เกือบทั้งหมด โดย RULER ลดลงต่ำกว่าสองจุดแม้ในบริบท 1M และชุด top-p attention ของมันเติบโตตามกฎกำลังแบบ sublinear

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
7
จุดสูงสุดในช่วงที่เทียบได้
818 พฤศจิกายน 05:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู