Zyphra 将 ZHA 注意力转换扩展至万亿参数模型
热点事件持续更新
Zyphra 将 ZHA 注意力转换扩展至万亿参数模型
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Zyphra Research 报告称,已将其 Zyphra 分层注意力(ZHA)转换方法扩展至前沿规模的开源权重模型,包括 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro。该转换以 ZHA 亚二次注意力替换原有注意力,同时保持预训练主干冻结,Zyphra 表示大多数基准测试结果与稠密基线接近。 对于最大的模型 Qwen3.8-2.4T-A95B,Zyphra 称其性能基本全部保留,即使在 1M 上下文下 RULER 也仅下降不到两个点。该公司还报告称,该模型的 top-p 注意力集合呈亚线性幂律增长,并将其作为该方法可扩展至万亿参数模型的证据。
AI 根据报道生成 · 4 小时前更新
最新进展11月17日 20:00
Zyphra 将 ZHA 亚二次注意力转换扩展至万亿参数模型报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- Zyphra ResearchZyphra 将 ZHA 亚二次注意力转换扩展至万亿参数模型
6-Pro,将其转换为 Zyphra 分层注意力(ZHA),同时保持预训练主干冻结,大多数基准测试结果与稠密基线接近。4T-A95B 基本保留了全部性能,即使在 1M 上下文下 RULER 下降也不到两个点,其 top-p 注意力集合以亚线性幂律增长。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 811月18日 05:00
- 近 24 小时变化
- –
02468
18181818
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。