ทบทวนหน่วยความจำสำหรับการอนุมาน AI

การนำการประมวลผลเข้าใกล้หน่วยความจำมากขึ้น — ผ่านการประมวลผลใกล้หน่วยความจำ (PNM) และการประมวลผลในหน่วยความจำ (PIM) — สามารถลดการเคลื่อนย้ายข้อมูล การใช้พลังงาน และความหน่วงสำหรับการอนุมาน AI ที่ edge Frank Ferro จาก Cadence กล่าวว่า LLM ที่ย้ายเข้าสู่อุปกรณ์ทางกายภาพกำลังบังคับให้นักออกแบบทบทวนการแบ่งพาร์ติชันหน่วยความจำ ขณะที่ Steve Roddy จาก Quadric ตั้งข้อสังเกตว่ารูปแบบการเข้าถึงข้อมูลที่เป็นที่รู้จักของการอนุมานเหมาะกับการคอมไพล์ล่วงหน้า การสนับสนุนซอฟต์แวร์ การกำหนดมาตรฐาน และการจัดการความร้อนยังคงเป็นอุปสรรคต่อการนำไปใช้