Attention to Mamba：跨架构蒸馏的配方

Apple 研究人员提出了一种两阶段配方，用于将 Transformer 蒸馏为不含任何 Attention 模块的纯 Mamba 架构。该方法首先通过适配的核技巧将预训练的 Transformer 蒸馏为线性化 Attention 模型，然后再将其蒸馏为适配的 Mamba 模型。蒸馏得到的 Mamba 保留了 Pythia-1B 的大部分性能，困惑度为 14.01，而教师模型为 13.86，在依赖上下文回忆的任务上存在一定差距。