Goodfire Research phát hiện các cộng đồng neuron trong mô hình ngôn ngữ
Bắt đầu từ đây
Goodfire Research báo cáo rằng các nhóm nhỏ neuron — thường ít hơn mười — thực hiện các hành vi phổ biến của mô hình ngôn ngữ như hòa hợp ngữ pháp, sao chép và số học. Nhóm đã sử dụng quy gán dựa trên gradient trên hàng triệu prompt, sau đó xây dựng đồ thị và áp dụng phát hiện cộng đồng mà không cần giám sát. Họ chạy phương pháp này trên Llama-3.1-8B với 10M prompt từ FineWeb-Edu, Wikipedia tiếng Anh và FineMath, và sau đó tái lập trên Qwen 3.6 35B-A3B. Việc loại bỏ một cộng đồng đã thay đổi dự đoán của mô hình, trong khi giữ nguyên cộng đồng đó phần lớn vẫn bảo toàn các dự đoán ngay cả sau khi các neuron MLP khác trong những lớp đó bị loại bỏ. Goodfire cho biết các tuyên bố về tính đầy đủ của họ chỉ giới hạn ở sáu lớp chứa neuron cộng đồng, và rằng lời giải thích vẫn còn một phần: nhiều dự đoán vẫn chưa được giải thích, và việc xác định một cộng đồng cần thiết và đầy đủ vẫn chưa cho thấy các neuron của nó tính toán hoặc tương tác với phần còn lại của mô hình như thế nào.
Tạo từ các bài viết · cập nhật 6 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Goodfire ResearchGoodfire Research phát hiện các cộng đồng neuron trong mô hình ngôn ngữ
Goodfire Research đã xác định được "cộng đồng neuron" — những nhóm nhỏ, thường dưới mười neuron — thực hiện các hành vi phổ biến của mô hình như hòa hợp ngữ pháp, sao chép và số học. Sử dụng phương pháp quy gán dựa trên gradient trên hàng triệu prompt, xây dựng đồ thị và phát hiện cộng đồng, phương pháp không giám sát này được chạy trên Llama-3.1-8B và tái lập trên Qwen 3.6 35B-A3B. Loại bỏ một cộng đồng làm thay đổi dự đoán, trong khi giữ nguyên nó phần lớn bảo toàn các dự đoán ngay cả sau khi loại bỏ các neuron MLP khác trong những lớp đó.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 4
- Đỉnh, trong khoảng so sánh được
- 518 tháng 11 03:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.