Apple Machine Learning Research·· 4 ngày trướcĐiểm AI38
Nghiên cứu của Apple: Cơ chế gating giải thích tại sao SSM ghi nhớ thay vì học trong ngữ cảnh
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
Tóm tắt bằng AI
Một nghiên cứu của Apple và Harvard chỉ ra rằng cơ chế gating trong Mô hình Không gian Trạng thái (SSM) khiến chúng trước tiên học một giải pháp "ghi nhớ" trong trọng số, làm chậm trễ hoặc thậm chí ngăn cản việc hội tụ đến học trong ngữ cảnh đúng đắn. Điều này xảy ra ngay cả khi kiến trúc và dung lượng bộ nhớ không đặt ra giới hạn cơ bản nào. Tuy nhiên, gating thường cải thiện khả năng tổng quát hóa cho độ dài chuỗi dài.
Nguồn:Apple Machine Learning Research · machinelearning.apple.com