OpenAI 詳述用於安全與對齊的訓練激活分類器

OpenAI 描述了訓練激活分類器（或稱探針）的方法，這些探針讀取模型內部的殘差流激活，以標記未對齊或違反政策的助手補全，並表示已從 GPT-5.6 開始在其最強能力模型的內部和外部流量上部署這些探針。這些探針採用 Attention probe 架構，結合 MLP 與 QV-attention 以及指數移動平均，使用最多 100 萬條由推理模型評審標註的訊息進行訓練，並在推理引擎上以串流方式運行，因此可以在回合中途封鎖補全。OpenAI 報告稱，探針在許多後訓練階段之間具有出色的遷移能力，但在預訓練檢查點之間的遷移較為有限，並表示在其紅隊測試中，探針整體上比基於內容的分類器對越獄更具穩健性。