Goodfire Research 發現語言模型中的神經元社群
熱點事件觀察中
Goodfire Research 發現語言模型中的神經元社群
1 篇報導1 個報導來源1 天前更新
先了解這件事
AI 綜述
Goodfire Research 報告指出,少數神經元(往往不到十個)便實現了語言模型的常見行為,例如語法一致、複製與算術。該團隊對數百萬條提示詞使用基於梯度的歸因方法,接著建構圖並套用社群偵測,全程無需監督。他們在 Llama-3.1-8B 上以來自 FineWeb-Edu、English Wikipedia 與 FineMath 的 1,000 萬條提示詞執行此方法,之後又在 Qwen 3.6 35B-A3B 上重現。 消融某個社群會改變模型的預測,而保留該社群則大致能維持原有預測,即使那些層中其他的 MLP 神經元已被移除亦然。Goodfire 表示,其充分性主張僅限於包含社群神經元的六個層,且此解釋仍不完整:許多預測仍未獲解釋,而辨識出一個必要且充分的社群,尚不足以顯示其神經元如何運算,或如何與模型其餘部分互動。
AI 依報導生成 · 6 小時前更新
最新進展11月17日 00:00
Goodfire Research 在語言模型中發現神經元社群報導時間線
沿著報導,了解事件的不同側面。
11月17日
- Goodfire ResearchGoodfire Research 在語言模型中發現神經元社群
Goodfire Research 辨識出「神經元社群」——通常少於十個神經元的小群組——這些群組負責執行模型的常見行為,例如語法一致、複製與算術。此非監督式方法運用基於梯度的歸因分析,涵蓋數百萬個提示,並結合圖形建構與社群偵測,在 Llama-3.1-8B 上執行,並在 Qwen 3.6 35B-A3B 上重現。消融一個社群會改變預測,而保留該社群則大致能維持預測,即使在移除那些層中其他 MLP 神經元之後也是如此。
本事件熱度走勢
- 可比範圍當前
- 4
- 可比範圍峰值
- 511月18日 03:00
- 近 24 小時變化
- –
0246
03:0004:0005:0006:0007:0008:00
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。