Amazon Web Services 研究人员提出 priming，可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

Amazon Web Services 研究人员提出 priming，一种复用预训练 Transformer 权重的方法，可将混合状态空间架构的预训练成本降低 99% 以上，仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中，Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2，而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当，同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。