OpenAI研究模型生命周期中影响CoT可监控性的因素

OpenAI研究人员考察了预训练、架构、强化学习和模型生成数据如何影响思维链可监控性的两个代理指标：无CoT能力和CoT可控性。他们报告称，无CoT能力随基础模型困惑度降低而平滑变化；即使没有超出长度约束和最终答案评分的过程监督，CoT可控性在强化学习期间也会上升；并且可控性可以通过对教师模型rollout进行SFT传递给学生模型。作者提醒，这两个代理指标都不完美，且随着能力扩展，模型通过其CoT可能变得更难监控。