试图真正定义AI智能体的持续学习

一位作者探讨了LLM智能体的持续学习问题，将当今的模型比作失忆的实习生——上下文窗口一结束，其知识就被重置。LLM只有两种原生记忆：无损但昂贵的上下文与KV缓存，以及压缩但难以更新的权重，两者之间几乎没有中间地带。文章权衡了更长的上下文、有状态记忆框架，以及将上下文压缩为学习到的潜在表示，并引用了Llama 3.1 70B的141 GB权重和每token 320 KiB的KV缓存。