Goodfire Research·· 1 ngày trướcĐiểm AI38
Goodfire Research phát hiện các cộng đồng neuron trong mô hình ngôn ngữ
Discovering Neuron Communities in Language Models
Tóm tắt bằng AI
Goodfire Research đã xác định được "cộng đồng neuron" — những nhóm nhỏ, thường dưới mười neuron — thực hiện các hành vi phổ biến của mô hình như hòa hợp ngữ pháp, sao chép và số học. Sử dụng phương pháp quy gán dựa trên gradient trên hàng triệu prompt, xây dựng đồ thị và phát hiện cộng đồng, phương pháp không giám sát này được chạy trên Llama-3.1-8B và tái lập trên Qwen 3.6 35B-A3B. Loại bỏ một cộng đồng làm thay đổi dự đoán, trong khi giữ nguyên nó phần lớn bảo toàn các dự đoán ngay cả sau khi loại bỏ các neuron MLP khác trong những lớp đó.
Nguồn:Goodfire Research · goodfire.com