跳至正文
只看論文#開源/倉庫
  1. vLLM Blog77

    REINFORCE Zero：核心對齊讓非同步 RL 在策略延遲 64 下穩定訓練，並擴展至 DeepSeek-V4.1 與 Kimi K3.1

    NVIDIA Research 與 Inferact 的 REINFORCE Zero 論文顯示，對齊 rollout 與訓練器的核心，可讓未裁剪的 token 級重要性取樣修正剩餘的權重延遲，在策略延遲 64 下穩定訓練 20,000 次更新，並在核心對齊時達到同步訓練 2.40 倍的訓練步吞吐量。使用標準核心時，rollout 到學習器的 KL 中位數在整個訓練過程中上升 83.33 倍，線上 AIME24 pass@1 從 34.27% 降至 13.96%，而序列閘門雖能穩定訓練，但在最後 1,000 次更新時會拒絕 24.48% 的序列。零不匹配設定現已涵蓋 DeepSeek-V4.1-Flash、發布當日的 Kimi K3.1，以及在 AMD MI355X 上的 DeepSeek-V4-Flash 與 Kimi K3.1，程式碼位於 Inferact/zero-mismatch-rl 與 NVIDIA-NeMo/labs-molt。

    推薦理由：NVIDIA Research 與 Inferact 將非同步 RL 的 rollout 與學習器差距拆分為權重延遲與核心不匹配，顯示對齊核心可讓未裁剪的重要性取樣在策略延遲 64 下維持穩定訓練。

  1. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的，而疊加現象被誤讀了

    Goodfire 研究員主張，神經網路中多義性與疊加現象的經典證據被誤讀了，那些看似任意堆疊的現象，大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後，其最後一層 99-100% 的神經元都變得易於解讀；而對 Qwen3-32B 的初步稽核估計，約 90% 的神經元極性只有一項主要職責。文章結論認為，網路只使用一種學習原理而非兩種，因此可解釋性研究可以直接研究神經元與電路，而不必先訓練稀疏自編碼器等分解模型。

    推薦理由：這是對該領域經典多義性證據的第一手重新詮釋，主張網路是遞迴地泛化，而非把不相干的概念堆疊在一起，這將使直接的機制性研究變得可行。

  1. Amazon Science75

    Amazon Web Services 研究人員提出 priming，將預訓練 Transformer 轉換為混合狀態空間模型，無需完整重新訓練

    Amazon Web Services 研究人員提出 priming，此方法重用預訓練 Transformer 權重，將混合狀態空間架構的預訓練成本降低超過 99%，僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中，Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2，而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當，同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由：Amazon Web Services 研究人員展示，重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%，使狀態空間層的受控比較變得可行。

已經到底了