Zyphra 推出 ZHA 分层注意力，一种具有次二次路由的稀疏方法

Zyphra 推出了 Zyphra Hierarchical Attention（ZHA），一种稀疏注意力方法，它构建一棵由压缩 KV-cache 摘要组成的树，并让查询自上而下地通过该树进行路由，在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过一个简短的 KL 蒸馏阶段进行适配，仅需使用几十亿个 token；在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 个可训练参数，约占基础模型的 0.00024%。在 256K token 的 RULER-13 上，宽树模型得分为 96.2%，而稠密注意力为 96.0%；深六层树在 LongBench v2 上得分为 63.4%，而稠密注意力为 58.0%，同时只关注约 1.1% 的 KV cache；一个 GPU roofline 模型预测，在 10M token 时相比稠密注意力可实现 32-35 倍加速。