跳到正文
Goodfire Research·· 1 天前AI 评分38

Goodfire Research 在语言模型中发现神经元社区

Discovering Neuron Communities in Language Models

AI 导读

Goodfire Research 识别出了“神经元社区”——通常少于十个神经元的小群体——它们实现模型的常见行为,如语法一致、复制和算术。该方法基于梯度归因,跨数百万条提示进行图构建和社区检测,这种无监督方法在 Llama-3.1-8B 上运行,并在 Qwen 3.6 35B-A3B 上复现。消融一个社区会改变预测,而保留它则基本能维持预测,即使在移除这些层中其他 MLP 神经元之后也是如此。

来源:Goodfire Research · goodfire.com