混合 NoPE 模型如何在沒有位置編碼的情況下學習位置

Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下，仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差，而全域 NoPE 注意力則學習查詢與鍵投影，將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好，並指向能外推到訓練序列長度之外的位置表徵。