試圖真正定義 AI 代理的持續學習

一位作者探討 LLM 代理的持續學習，將當今的模型描述為失憶的實習生，其知識在上下文窗口結束時就會重置。LLM 只有兩種原生記憶：無損但昂貴的上下文與 KV 快取，以及壓縮但難以更新的權重，兩者之間幾乎沒有中間地帶。文章權衡了更長的上下文、有狀態的記憶框架，以及將上下文壓縮為學習到的潛在表徵，並引用了 Llama 3.1 70B 的 141 GB 權重和每個 token 320 KiB 的 KV 快取。