語言模型對齊的理論極限

Apple Machine Learning Research 的研究人員推導出 KL 正則化語言模型對齊的資訊理論極限，給出在固定 KL 預算下最大期望獎勵增益的閉式表達式，該增益由 Jeffreys 散度項決定，而非先前分析中使用的 √KL。他們證明理想對齊與代理對齊之間的差距（獎勵駭客）會隨獎勵誤差增大和 KL 懲罰減小而擴大，並證明獎勵集成可緩解此問題。在安全與摘要任務上，best-of-N 緊密接近理論極限，而 PPO 與 GRPO 仍顯著次優。