Tới nội dung
Goodfire Research·· 1 ngày trướcĐiểm AI38

Goodfire Research phát hiện các cộng đồng neuron trong mô hình ngôn ngữ

Discovering Neuron Communities in Language Models

Tóm tắt bằng AI

Goodfire Research đã xác định được "cộng đồng neuron" — những nhóm nhỏ, thường dưới mười neuron — thực hiện các hành vi phổ biến của mô hình như hòa hợp ngữ pháp, sao chép và số học. Sử dụng phương pháp quy gán dựa trên gradient trên hàng triệu prompt, xây dựng đồ thị và phát hiện cộng đồng, phương pháp không giám sát này được chạy trên Llama-3.1-8B và tái lập trên Qwen 3.6 35B-A3B. Loại bỏ một cộng đồng làm thay đổi dự đoán, trong khi giữ nguyên nó phần lớn bảo toàn các dự đoán ngay cả sau khi loại bỏ các neuron MLP khác trong những lớp đó.

Nguồn:Goodfire Research · goodfire.com