跳到正文
Goodfire Research·· 9 天前AI 评分58

Goodfire Research 提出机制塑造,通过内部表征引导模型

Shaping and Monitoring Models Through Their Internal Representations

AI 导读

Goodfire Research 提出机制塑造(mechanistic shaping),这是一个在训练期间对模型内部概念方向施加惩罚的框架,使模型学会依赖或表达特定概念,而不仅仅是最大化任务奖励。在胸部 X 光实验中,一个 LLM 智能体使用稀疏自编码器特征找到了类似管道的捷径方向,而依赖塑造优于标准训练和平衡数据基线。

来源:Goodfire Research · goodfire.com