Apple Machine Learning Research·· 4 天前AI 評分38
Apple 研究：門控機制解釋了為何 SSM 會記憶而非進行上下文學習
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
AI 導讀
一項 Apple 與哈佛的研究顯示，狀態空間模型（SSM）中的門控機制會使其先學到一種權重內的「記憶」解法，延遲甚至阻止其收斂到正確的上下文學習。即使架構與記憶容量並未施加任何根本限制，此現象依然發生。然而，門控往往能改善對長序列長度的泛化能力。
來源:Apple Machine Learning Research · machinelearning.apple.com