跳到正文
Goodfire Research·· 4 天前精选AI 评分62

Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

Neurons as an Interpretable Basis

AI 导读

Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

推荐理由

Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

来源:Goodfire Research · goodfire.com