Apple Machine Learning Research·· 4 天前AI 评分38
苹果研究：门控机制解释了为何SSM会记忆而非进行上下文学习
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
AI 导读
一项由苹果和哈佛开展的研究表明，状态空间模型（SSM）中的门控机制会使其首先学到一个权重内的“记忆”解，从而延迟甚至阻止其收敛到正确的上下文学习。即使架构和记忆容量并未施加根本性限制，这种情况依然会发生。不过，门控通常能改善对长序列长度的泛化能力。
来源:Apple Machine Learning Research · machinelearning.apple.com