Goodfire Research·· 2026-10-15精选AI 评分62
Goodfire研究文章认为神经网络本身已是清晰的,叠加现象被误读
Neural Networks Are Already Clean
AI 导读
Goodfire研究员认为,神经网络中多义性和叠加现象的经典证据被误读了,看似随意的打包实际上主要是一种他称之为递归泛化的模式。用常规架构改进、不改变模型大小或训练数据重新训练InceptionV1后,其最后一层99-100%的神经元变得易于解释;对Qwen3-32B的初步审计估计约90%的神经元极点只有一个主要职责。文章结论是网络使用一种学习原理而非两种,因此可解释性可以直接研究神经元和电路,而不必先训练稀疏自编码器等分解模型。
推荐理由
这是对该领域经典多义性证据的第一手重新解读,主张网络是递归泛化而非打包不相关的概念,这将使直接的机制性研究变得可行。
来源:Goodfire Research · goodfire.com