Suy nghĩ lại về bộ nhớ cho suy luận AI

Đưa tính toán đến gần bộ nhớ hơn — thông qua xử lý gần bộ nhớ (PNM) và xử lý trong bộ nhớ (PIM) — có thể cắt giảm việc di chuyển dữ liệu, mức tiêu thụ điện năng và độ trễ cho suy luận AI ở biên. Frank Ferro của Cadence cho biết các LLM đang chuyển vào thiết bị vật lý đang buộc các kiến trúc sư phải suy nghĩ lại về phân vùng bộ nhớ, trong khi Steve Roddy của Quadric lưu ý rằng các mẫu truy cập dữ liệu đã biết của suy luận phù hợp với biên dịch trước. Hỗ trợ phần mềm, tiêu chuẩn hóa và quản lý nhiệt vẫn là những rào cản đối với việc áp dụng.