持续学习与后单体式AI时代

持续学习与专业化密不可分，因为记忆的成本随范围扩大而增长：随着上下文增长，KV缓存线性增长并可能超过所有模型权重，因此信息必须从token层面转移到权重中。任务专业化基本上已通过持续微调流水线解决，而广泛范围、稀疏反馈、一次性保留仍然是难题。