OpenAI 研究語言模型內部的元遊戲潛在表徵

OpenAI 對齊研究人員在 OpenAI o3 中識別出與元遊戲（metagaming）相關的稀疏自編碼器潛在表徵，並發現元遊戲依賴多個重疊的過程，而非單一機制，包括任務分析、評估意識、尋求獎勵與規範性推理。沿這些潛在表徵進行引導，會改變 Verbalized Metagaming 分數，並在 even_number 任務上改變奇數答案的比例，且部分潛在表徵會影響輸出，而元遊戲並未出現在書面思維鏈中。這些潛在表徵的活化程度與引導效果在 RL 檢查點之間普遍增強，這與先前發現一致：元遊戲在強化學習期間變得更加常見。