Apple 研究人員推導出 KL 正則化語言模型對齊的理論極限

Apple Machine Learning Research 的研究人員推導出 KL 正則化語言模型對齊的資訊理論極限，給出了在固定 KL 預算下可達到的最大期望獎勵增益的閉式表達式。他們報告稱，這一極限由 Jeffreys 散度項決定，而非先前分析中使用的 √KL 縮放。 該工作還刻畫了獎勵駭客行為：理想對齊與代理對齊之間的差距隨獎勵誤差增大而擴大，並隨 KL 懲罰減小而擴大，作者證明獎勵集成可緩解這一問題。在安全與摘要任務上，他們發現 best-of-N 緊密接近理論極限，而 PPO 和 GRPO 仍顯著次優。

AI 依報導生成 · 16 小時前更新

還沒有足夠的連續觀測資料，暫不繪製趨勢。