OpenAI详细说明用于安全与对齐的训练激活分类器

OpenAI描述了训练激活分类器（即探针）的方法，这些探针读取模型内部的残差流激活，以标记助手输出中不对齐或违反策略的完成内容，并表示已从GPT-5.6开始在其最强模型的内部和外部流量上部署这些探针。探针采用Attention probe架构，包含MLP加QV-attention以及指数移动平均，使用由推理模型评判器标注的最多100万条消息进行训练，并在推理引擎上以流式方式运行，因此可以在回合中途阻止某个完成内容。OpenAI报告称，探针在许多后训练阶段之间具有出色的迁移能力，但在预训练检查点之间的迁移较为有限，并表示在其红队测试中，探针总体上比基于内容的分类器对越狱更具鲁棒性。