Zyphra Research·· 12 小时前AI 评分58
Zyphra 将 ZHA 亚二次注意力转换扩展至万亿参数模型
Scaling Subquadratic Attention to Trillions of Parameters
AI 导读
6-Pro,将其转换为 Zyphra 分层注意力(ZHA),同时保持预训练主干冻结,大多数基准测试结果与稠密基线接近。4T-A95B 基本保留了全部性能,即使在 1M 上下文下 RULER 下降也不到两个点,其 top-p 注意力集合以亚线性幂律增长。
来源:Zyphra Research · zyphra.com