持續學習與後單體式 AI 時代

持續學習與專業化密不可分，因為記憶的成本會隨範圍擴大而增加：隨著上下文增長，KV 快取會線性增長，甚至可能超過所有模型權重，因此資訊必須從 token 層級移入權重之中。任務專業化基本上已透過持續微調流程解決，而廣泛範圍、稀疏回饋、一次性保留仍是困難的問題。