Zyphra 推出 ZHA 分層注意力，一種具備次二次路由的稀疏方法

Zyphra 推出了 Zyphra Hierarchical Attention（ZHA），這是一種稀疏注意力方法，它建立一棵由壓縮 KV-cache 摘要構成的樹，並讓查詢自上而下地穿過這棵樹進行路由，在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配，僅需使用數十億個 token；在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 個可訓練參數，約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上，寬樹模型得分為 96.2%，而稠密注意力為 96.0%；深層六級樹在 LongBench v2 上得分為 63.4%，而稠密注意力為 58.0%，同時僅關注約 1.1% 的 KV cache；一個 GPU roofline 模型預測，在 10M token 時相比稠密注意力可實現 32-35 倍加速。