Stanford SNAP 开源面向冻结 LLM 的 Memorilla 记忆模块
先了解这件事
Stanford SNAP Group 的研究人员开源了 Memorilla，这是一个 194M 参数的可训练记忆模块，可将文档集合压缩为 16 个记忆 token，供冻结的 Qwen3-8B 使用。代码、训练配方和检查点以 Apache 2.0 协议公开；快速上手需要一块 80 GB GPU，首次运行会下载约 25 GB 的模型。 在 FactKG 上，该模块得分为 84.33%，而全上下文提示为 80.43%，同时使用的文档 token 少了 108 倍；在 8 个基准测试上，它取得了已报告的最高平均分 49.68。在 PubMedQA 上它落后于 LLMLingua-2（59.00% 对 69.00%），该数据集的摘要总共只有 324 个 token。完整训练配方在 4 块 H100 GPU 上约需 19 小时。 团队还发布了 PersonalizationV4，这是一个包含 149 个合成用户、每人 200 段对话的数据集，采用 CC BY 4.0 协议。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- MarkTechPostStanford SNAP Group 开源 Memorilla：面向冻结 LLM 的 16 Token 潜在记忆模块
Stanford 研究人员开源了 Memorilla，这是一个 194M 参数的可训练记忆模块，可将整个文档集合压缩为 16 个记忆 token，供冻结的 Qwen3-8B 使用，代码和检查点以 Apache 2.0 许可发布。在 FactKG 上，它得分 84.33%，而全上下文提示为 80.43%，同时使用的文档 token 少 108 倍；在 8 个基准上，它报告的平均分最高，为 49.68。它在 PubMedQA 上落败（59.00% 对 LLMLingua-2 的 69.00%），该数据集的摘要总共只有 324 个 token；完整训练配方在 4 块 H100 GPU 上约需 19 小时。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。