Goodfire Research 发现语言模型中的神经元社区
热点事件观察中
Goodfire Research 发现语言模型中的神经元社区
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Goodfire Research 报告称,小型神经元群——通常少于十个——实现了语言模型的常见行为,如语法一致、复制和算术。该团队对数百万条提示使用基于梯度的归因,然后构建图并应用社区检测,全程无监督。他们在 Llama-3.1-8B 上运行了该方法,使用了来自 FineWeb-Edu、English Wikipedia 和 FineMath 的 1000 万条提示,随后在 Qwen 3.6 35B-A3B 上复现。 消融一个社区会改变模型的预测,而保留它则基本能维持预测,即使这些层中的其他 MLP 神经元被移除。Goodfire 表示,其充分性主张仅限于包含社区神经元的六个层,且解释仍不完整:许多预测仍无法解释,识别出一个必要且充分的社区尚不能表明其神经元如何计算或与模型其余部分交互。
AI 根据报道生成 · 6 小时前更新
最新进展11月17日 00:00
Goodfire Research 在语言模型中发现神经元社区报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- Goodfire ResearchGoodfire Research 在语言模型中发现神经元社区
Goodfire Research 识别出了“神经元社区”——通常少于十个神经元的小群体——它们实现模型的常见行为,如语法一致、复制和算术。该方法基于梯度归因,跨数百万条提示进行图构建和社区检测,这种无监督方法在 Llama-3.1-8B 上运行,并在 Qwen 3.6 35B-A3B 上复现。消融一个社区会改变预测,而保留它则基本能维持预测,即使在移除这些层中其他 MLP 神经元之后也是如此。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 511月18日 03:00
- 近 24 小时变化
- –
0246
181818181818
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。