重新思考AI推理的内存

通过近内存处理（PNM）和内存内处理（PIM）将计算移近内存，可以减少边缘AI推理的数据移动、功耗和延迟。Cadence的Frank Ferro表示，LLM进入物理设备正迫使架构师重新思考内存分区，而Quadric的Steve Roddy指出，推理已知的数据访问模式适合提前编译。软件支持、标准化和热管理仍是采用的障碍。