OpenAI 研究在模型生命週期中影響 CoT 可監控性的因素

OpenAI 研究人員檢視了預訓練、架構、強化學習與模型生成資料如何影響思維鏈（CoT）可監控性的兩項代理指標：無 CoT 能力與 CoT 可控性。他們報告指出，無 CoT 能力會隨著較低的基礎模型困惑度平滑變化；CoT 可控性在強化學習期間上升，即使除了長度限制與最終答案評分之外沒有過程監督；且可控性可透過對教師模型 rollout 進行 SFT 傳遞給學生模型。作者提醒，這兩項代理指標都不完美，且隨著能力擴展，模型可能變得更難透過其 CoT 進行監控。