Stanford SNAP Group 开源 Memorilla：面向冻结 LLM 的 16 Token 潜在记忆模块

Stanford 研究人员开源了 Memorilla，这是一个 194M 参数的可训练记忆模块，可将整个文档集合压缩为 16 个记忆 token，供冻结的 Qwen3-8B 使用，代码和检查点以 Apache 2.0 许可发布。在 FactKG 上，它得分 84.33%，而全上下文提示为 80.43%，同时使用的文档 token 少 108 倍；在 8 个基准上，它报告的平均分最高，为 49.68。它在 PubMedQA 上落败（59.00% 对 LLMLingua-2 的 69.00%），该数据集的摘要总共只有 324 个 token；完整训练配方在 4 块 H100 GPU 上约需 19 小时。