Stanford SNAP mã nguồn mở module bộ nhớ Memorilla cho LLM đóng băng
Bắt đầu từ đây
Nhóm nghiên cứu Stanford SNAP đã mã nguồn mở Memorilla, một module bộ nhớ có thể huấn luyện với 194M tham số, nén một tập tài liệu thành 16 token bộ nhớ cho Qwen3-8B đóng băng. Mã nguồn, công thức huấn luyện và checkpoint được công khai theo Apache 2.0; quickstart cần một GPU 80 GB và lần chạy đầu tiên tải xuống khoảng 25 GB mô hình. Trên FactKG, module đạt 84,33% so với 80,43% của full-context prompting trong khi dùng ít hơn 108 lần token tài liệu, và đạt mức trung bình cao nhất được báo cáo là 49,68 trên 8 benchmark. Nó kém LLMLingua-2 trên PubMedQA (59,00% so với 69,00%), nơi các abstract chỉ tổng cộng 324 token. Công thức huấn luyện đầy đủ mất khoảng 19 giờ trên 4 GPU H100. Nhóm cũng phát hành PersonalizationV4, một bộ dữ liệu gồm 149 người dùng tổng hợp với 200 cuộc hội thoại mỗi người, theo CC BY 4.0.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- MarkTechPostNhóm Stanford SNAP mã nguồn mở Memorilla, một mô-đun bộ nhớ tiềm ẩn 16 token cho các LLM đóng băng
Các nhà nghiên cứu Stanford đã mã nguồn mở Memorilla, một mô-đun bộ nhớ có thể huấn luyện với 194M tham số, nén toàn bộ một tập tài liệu thành 16 token bộ nhớ cho Qwen3-8B đóng băng, với mã nguồn và checkpoint theo Apache 2.0. Trên FactKG, nó đạt 84,33% so với 80,43% của prompting toàn ngữ cảnh trong khi dùng ít hơn 108 lần token tài liệu, và đạt mức trung bình cao nhất được báo cáo là 49,68 trên 8 benchmark. Nó thua trên PubMedQA (59,00% so với 69,00% của LLMLingua-2), nơi các abstract chỉ tổng cộng 324 token, và công thức huấn luyện đầy đủ mất khoảng 19 giờ trên 4 GPU H100.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.