Google Research 的睡眠框架讓 LLM 能鞏固新知識而不會災難性遺忘

Google Research 提出一套用於持續學習的睡眠框架，讓主動互動與離線記憶鞏固交替進行，使 LLM 能將新事實吸收進擴展的混合專家參數中，而不會丟失先前的知識。此方法結合參數擴展、基於強化學習模仿的 on-policy 蒸餾，以及一個會生成並過濾合成訓練樣本的做夢階段。作者報告指出，在滿語和 Kalamang 等未見語言的持續翻譯上效能下降接近於零，在 BABILong 上擴展到 1000 萬 token 時幾乎完美，在基於 SQuAD 的事實融入上單任務達 48.9%、CPT 達 46.2%，在 AIME 24/25 和 HMMT 25 上則分別達 79.2%、69.0% 和 46.1%。