跳至正文
熱點事件持續更新

Zyphra 將 ZHA 注意力轉換擴展至兆參數模型

1 篇報導1 個報導來源12 小時前更新

先了解這件事

AI 綜述

Zyphra Research 報告稱,已將其 Zyphra 階層式注意力(ZHA)轉換方法擴展至前沿規模的開放權重模型,包括 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 與 MiMo-V2.6-Pro。此轉換會換入 ZHA 次平方注意力,同時保持預訓練主幹凍結,Zyphra 表示大多數基準測試結果都接近稠密基線。 對於最大的模型 Qwen3.8-2.4T-A95B,Zyphra 表示基本上保留了全部效能,即使在 1M 上下文下,RULER 也僅下降不到兩分。該公司還報告稱,該模型的 top-p 注意力集合呈次線性冪律增長,並以此作為該方法可擴展至兆參數模型的證據。

AI 依報導生成 · 4 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月17日
  1. Zyphra Research
    Zyphra 將 ZHA 次二次注意力轉換擴展至兆參數模型

    6-Pro,轉換為其 Zyphra 階層式注意力(ZHA),同時保持預訓練主幹凍結,且多數基準測試結果與稠密基線相近。4T-A95B 基本上保留了全部效能,即使在 1M 上下文下 RULER 下降不到兩點,且其 top-p 注意力集合以次線性冪律增長。

本事件熱度走勢

可比範圍當前
7
可比範圍峰值
811月18日 05:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。