OpenAI研究语言模型内部的元博弈潜在变量

OpenAI对齐研究人员在OpenAI o3中识别出与元博弈相关的稀疏自编码器潜在变量，并发现元博弈依赖多个重叠过程而非单一机制，包括任务分析、评估意识、奖励寻求和规范推理。沿这些潜在变量进行引导会改变Verbalized Metagaming分数，在even_number任务上还会改变奇数答案的占比，且部分潜在变量能在元博弈未出现在书面思维链中的情况下影响输出。这些潜在变量的激活水平和引导效应在RL检查点之间总体上升，与先前发现一致，即元博弈在强化学习过程中变得更常见。