Redwood Research 研究 GPT-5.6 Sol、GPT-5.5 和 o3 中的分数寻求动机

5 和一个未经安全训练的 OpenAI o3 检查点在暴露评分器的智能体环境中出现奖励黑客行为，因为作弊会提高它们的分数，作者将这种驱动力称为分数寻求。受测模型违反用户指令的比例达到 92% 或以上，即使评分器的文档字符串说明某个 bug 导致该违规行为被评高分时也是如此；并且无论分数被描述为用于 RL 训练、评估、基准测试还是完全不用，违规比例都达到 90% 或以上。