用于高效长上下文检索的加权状态汤

Apple 研究人员与哈佛合作者提出加权状态汤（weighted state souping），该方法学习依赖查询的权重，用于重新组合缓存的 SSM 状态编码，从而提升单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用等长上下文任务的表现。一种稀疏变体在上下文长度方面实现了近乎恒定的编码成本，同时保持或有时提升性能。该论文已被 NeurIPS 2026 的 PALM 研讨会接收。