跳到正文
只看论文#开源/仓库
  1. vLLM Blog77

    REINFORCE Zero：内核对齐使异步强化学习在策略滞后64时保持稳定，并扩展至DeepSeek-V4.1和Kimi K3.1

    NVIDIA Research与Inferact的REINFORCE Zero论文表明，对齐rollout与训练器内核后，未裁剪的token级重要性采样能够纠正剩余的权重滞后，在策略滞后64时稳定训练20,000次更新，并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时，整个运行过程中rollout到学习器的KL中位数上升83.33倍，在线AIME24 pass@1从34.27%降至13.96%，而序列门控虽能稳定训练，但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1，以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1，代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。

    推荐理由：NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配，表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。

  1. Goodfire Research62

    Goodfire研究文章认为神经网络本身已是清晰的，叠加现象被误读

    Goodfire研究员认为，神经网络中多义性和叠加现象的经典证据被误读了，看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后，其最后一层99-100%的神经元变得易于解释；对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种，因此可解释性可以直接研究神经元和电路，而不必先训练稀疏自编码器等分解模型。

    推荐理由：这是对该领域经典多义性证据的第一手重新解读，主张网络是递归泛化而非打包不相关的概念，这将使直接的机制性研究变得可行。

  1. Amazon Science75

    Amazon Web Services 研究人员提出 priming，可将预训练 Transformer 转换为混合状态空间模型而无需完全重新训练

    Amazon Web Services 研究人员提出 priming，一种复用预训练 Transformer 权重的方法，可将混合状态空间架构的预训练成本降低 99% 以上，仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中，Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2，而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当，同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。

    推荐理由：Amazon Web Services 研究人员表明，复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上，使状态空间层的受控比较变得可行。

已经到底了