重新思考 AI 推論的記憶體設計

透過近記憶體運算（PNM）與記憶體內運算（PIM）讓運算更靠近記憶體，可降低邊緣 AI 推論的資料搬移、功耗與延遲。Cadence 的 Frank Ferro 表示，LLM 進入實體裝置正迫使架構師重新思考記憶體分割；Quadric 的 Steve Roddy 則指出，推論已知的資料存取模式適合提前編譯。軟體支援、標準化與散熱管理仍是採用的障礙。