跳到正文
Zyphra Research·· 12 小时前AI 评分58

Zyphra 将 ZHA 亚二次注意力转换扩展至万亿参数模型

Scaling Subquadratic Attention to Trillions of Parameters

AI 导读

6-Pro,将其转换为 Zyphra 分层注意力(ZHA),同时保持预训练主干冻结,大多数基准测试结果与稠密基线接近。4T-A95B 基本保留了全部性能,即使在 1M 上下文下 RULER 下降也不到两个点,其 top-p 注意力集合以亚线性幂律增长。

来源:Zyphra Research · zyphra.com