语言模型对齐的理论极限

来自 Apple Machine Learning Research 的研究人员推导了 KL 正则化语言模型对齐的信息论极限，给出了在固定 KL 预算下最大期望奖励增益的闭式表达式，该增益由 Jeffreys 散度项而非先前分析中使用的 √KL 所支配。他们表明，理想对齐与代理对齐之间的差距（奖励黑客）随奖励误差和 KL 惩罚的缩小而增大，并证明奖励集成可以缓解这一问题。在安全与摘要任务上，best-of-N 紧密接近理论极限，而 PPO 和 GRPO 仍显著次优。