Zyphra 將 ZHA 注意力轉換擴展至兆參數模型
熱點事件持續更新
Zyphra 將 ZHA 注意力轉換擴展至兆參數模型
1 篇報導1 個報導來源12 小時前更新
先了解這件事
AI 綜述
Zyphra Research 報告稱,已將其 Zyphra 階層式注意力(ZHA)轉換方法擴展至前沿規模的開放權重模型,包括 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 與 MiMo-V2.6-Pro。此轉換會換入 ZHA 次平方注意力,同時保持預訓練主幹凍結,Zyphra 表示大多數基準測試結果都接近稠密基線。 對於最大的模型 Qwen3.8-2.4T-A95B,Zyphra 表示基本上保留了全部效能,即使在 1M 上下文下,RULER 也僅下降不到兩分。該公司還報告稱,該模型的 top-p 注意力集合呈次線性冪律增長,並以此作為該方法可擴展至兆參數模型的證據。
AI 依報導生成 · 4 小時前更新
最新進展11月17日 20:00
Zyphra 將 ZHA 次二次注意力轉換擴展至兆參數模型報導時間線
沿著報導,了解事件的不同側面。
11月17日
- Zyphra ResearchZyphra 將 ZHA 次二次注意力轉換擴展至兆參數模型
6-Pro,轉換為其 Zyphra 階層式注意力(ZHA),同時保持預訓練主幹凍結,且多數基準測試結果與稠密基線相近。4T-A95B 基本上保留了全部效能,即使在 1M 上下文下 RULER 下降不到兩點,且其 top-p 注意力集合以次線性冪律增長。
本事件熱度走勢
- 可比範圍當前
- 7
- 可比範圍峰值
- 811月18日 05:00
- 近 24 小時變化
- –
02468
05:0006:0007:0008:00
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。