混合NoPE模型如何在无位置编码的情况下学习位置

Zyphra Research解释了混合语言模型如何在全局注意力层不使用显式位置编码的情况下恢复位置信息。滑动窗口注意力和门控线性注意力等局部层在残差流中产生近因偏差，而全局NoPE注意力学习查询和键投影，将其作为隐式相对位置编码读取出来。这些发现从机制上解释了为什么将局部混合与全局NoPE注意力交错使用效果良好，并指出了能够外推到训练序列长度之外的位置表示。