Stanford SNAP 開源供凍結 LLM 使用的 Memorilla 記憶模組
先了解這件事
Stanford SNAP Group 研究人員開源了 Memorilla，這是一個 194M 參數的可訓練記憶模組，能將文件集合壓縮成 16 個記憶 token，供凍結的 Qwen3-8B 使用。程式碼、訓練配方與檢查點皆以 Apache 2.0 授權公開；快速入門需要一張 80 GB GPU，首次執行會下載約 25 GB 的模型。 在 FactKG 上，該模組得分 84.33%，優於完整上下文提示的 80.43%，同時使用的文件 token 少了 108 倍；並在 8 項基準測試中取得已報告的最高平均分 49.68。在 PubMedQA 上則落後於 LLMLingua-2（59.00% 對 69.00%），該資料集的摘要總計僅 324 個 token。完整訓練配方在 4 張 H100 GPU 上約需 19 小時。 團隊同時發布了 PersonalizationV4，這是一個包含 149 位合成使用者、每人 200 段對話的資料集，以 CC BY 4.0 授權釋出。
AI 依報導生成 · 1 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- MarkTechPostStanford SNAP Group 開源 Memorilla：為凍結 LLM 設計的 16-Token 潛在記憶模組
史丹佛研究人員開源了 Memorilla，這是一個 194M 參數的可訓練記憶模組，能將整份文件集合壓縮成 16 個記憶 token，供凍結的 Qwen3-8B 使用，程式碼與檢查點以 Apache 2.0 釋出。在 FactKG 上它得分 84.33%，優於全上下文提示的 80.43%，同時使用的文件 token 少了 108 倍，並在 8 項基準測試上取得已報告最高的平均 49.68。它在 PubMedQA 上落敗（59.00% 對 LLMLingua-2 的 69.00%），該處摘要總計僅 324 個 token，而完整訓練配方在 4 張 H100 GPU 上約需 19 小時。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。