งานวิจัยจาก Apple: กลไก Gating อธิบายว่าทำไม SSMs จึงจดจำแทนที่จะเรียนรู้แบบ In-Context

งานวิจัยจาก Apple และ Harvard แสดงให้เห็นว่ากลไก gating ใน State Space Models (SSMs) ทำให้โมเดลเรียนรู้วิธีแก้แบบ "การจดจำ" (memorization) ที่ฝังอยู่ใน weights ก่อน ซึ่งทำให้การลู่เข้าสู่การเรียนรู้แบบ in-context ที่ถูกต้องล่าช้าหรืออาจไม่เกิดขึ้นเลย แม้ว่าสถาปัตยกรรมและความจุหน่วยความจำจะไม่ได้จำกัดพื้นฐานใดๆ ก็ตาม อย่างไรก็ตาม gating มักช่วยปรับปรุงการ generalize ไปยังความยาวลำดับที่ยาวขึ้น