Attention to Mamba：跨架構蒸餾的配方

Apple 研究人員提出一套兩階段配方，用於將 Transformer 蒸餾成不含任何 Attention 區塊的純 Mamba 架構。該方法首先透過改編的核技巧，將預訓練的 Transformer 蒸餾成線性化 Attention 模型，再將其蒸餾成改編的 Mamba 模型。蒸餾所得的 Mamba 保留了 Pythia-1B 的大部分效能，困惑度達到 14.01，而教師模型為 13.86，但在依賴上下文回憶的任務上存在一些差距。