Apple 研究人员推导出 KL 正则化语言模型对齐的理论极限

Apple Machine Learning Research 的研究人员推导出了 KL 正则化语言模型对齐的信息论极限，给出了在固定 KL 预算下可达到的最大期望奖励增益的闭式表达式。他们报告称，该极限由一个 Jeffreys 散度项决定，而非此前分析中使用的 √KL 缩放。 该工作还刻画了奖励黑客现象：理想对齐与代理对齐之间的差距会随着奖励误差增大和 KL 惩罚缩小而扩大，作者证明奖励集成可以缓解这一问题。在安全与摘要任务上，他们发现 best-of-N 紧密接近理论极限，而 PPO 和 GRPO 仍显著次优。

AI 根据报道生成 · 15 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。