Học liên tục và kỷ nguyên AI hậu nguyên khối

Học liên tục gắn liền với chuyên môn hóa vì chi phí ghi nhớ tăng theo phạm vi: khi ngữ cảnh lớn lên, KV cache tăng tuyến tính và có thể vượt quá toàn bộ trọng số mô hình, nên thông tin phải chuyển từ cấp token vào trọng số. Chuyên môn hóa theo tác vụ về cơ bản đã được giải quyết qua các pipeline tinh chỉnh liên tục, trong khi khả năng ghi nhớ một lần với phạm vi rộng, phản hồi thưa vẫn là bài toán khó.