Stanford SNAP Group 開源 Memorilla：為凍結 LLM 設計的 16-Token 潛在記憶模組

史丹佛研究人員開源了 Memorilla，這是一個 194M 參數的可訓練記憶模組，能將整份文件集合壓縮成 16 個記憶 token，供凍結的 Qwen3-8B 使用，程式碼與檢查點以 Apache 2.0 釋出。在 FactKG 上它得分 84.33%，優於全上下文提示的 80.43%，同時使用的文件 token 少了 108 倍，並在 8 項基準測試上取得已報告最高的平均 49.68。它在 PubMedQA 上落敗（59.00% 對 LLMLingua-2 的 69.00%），該處摘要總計僅 324 個 token，而完整訓練配方在 4 張 H100 GPU 上約需 19 小時。