跳至正文
Goodfire Research·· 9 天前AI 評分58

Goodfire Research 提出機制塑造,透過內部表徵引導模型

Shaping and Monitoring Models Through Their Internal Representations

AI 導讀

Goodfire Research 提出機制塑造(mechanistic shaping),這是一套框架,在訓練期間對模型的內部概念方向施加懲罰,讓模型學會依賴或表達特定概念,而不只是最大化任務獎勵。在胸部X光實驗中,一個 LLM 代理使用稀疏自編碼器特徵來找出管狀的捷徑方向,而依賴塑造的表現優於標準訓練與平衡資料基線。

來源:Goodfire Research · goodfire.com