用於高效長上下文檢索的加權狀態湯

Apple 研究人員與哈佛合作者提出加權狀態湯（weighted state souping），此方法學習依查詢而定的權重，用以重新組合快取的 SSM 狀態編碼，在單跳與多跳文件問答、大海撈針檢索、變數追蹤與工具使用上提升長上下文表現。一種稀疏變體在編碼成本相對於上下文長度幾乎恆定的情況下，仍維持、有時甚至提升表現。該論文獲 NeurIPS 2026 的 PALM workshop 接受。