Nhóm Stanford SNAP mã nguồn mở Memorilla, một mô-đun bộ nhớ tiềm ẩn 16 token cho các LLM đóng băng

Các nhà nghiên cứu Stanford đã mã nguồn mở Memorilla, một mô-đun bộ nhớ có thể huấn luyện với 194M tham số, nén toàn bộ một tập tài liệu thành 16 token bộ nhớ cho Qwen3-8B đóng băng, với mã nguồn và checkpoint theo Apache 2.0. Trên FactKG, nó đạt 84,33% so với 80,43% của prompting toàn ngữ cảnh trong khi dùng ít hơn 108 lần token tài liệu, và đạt mức trung bình cao nhất được báo cáo là 49,68 trên 8 benchmark. Nó thua trên PubMedQA (59,00% so với 69,00% của LLMLingua-2), nơi các abstract chỉ tổng cộng 324 token, và công thức huấn luyện đầy đủ mất khoảng 19 giờ trên 4 GPU H100.