跳至正文
Zyphra Research·· 12 小時前AI 評分58

Zyphra 將 ZHA 次二次注意力轉換擴展至兆參數模型

Scaling Subquadratic Attention to Trillions of Parameters

AI 導讀

6-Pro,轉換為其 Zyphra 階層式注意力(ZHA),同時保持預訓練主幹凍結,且多數基準測試結果與稠密基線相近。4T-A95B 基本上保留了全部效能,即使在 1M 上下文下 RULER 下降不到兩點,且其 top-p 注意力集合以次線性冪律增長。

來源:Zyphra Research · zyphra.com