AIR-LLM broadcasts LLM weights over RF for edge inference
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Zhihui Gao and co-authors published a paper proposing AIR-LLM, an edge inference architecture in which a central radio such as a 5G base station broadcasts LLM weights over the air, and edge users compute the GEMV of LLM inference directly in the RF domain using RF mixers, so devices never store or load weights. The authors report that on NVIDIA Sionna ray-traced channels from two real urban scenes with a profiled real RF mixer, WikiText-2 perplexity degradation on LLaMA-3.1-8B is limited to 4.0%, while energy is saved 157.7x/40.4x versus FP16 and weight-only quantization baselines. With 20 users, airtime is 104.1x/26.0x shorter. Because the central radio stays user-unaware, one broadcast can serve unlimited users in coverage, the authors say.
สร้างจากรายงาน · อัปเดต 12 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIAir-LLM: การกระจายน้ำหนัก AI ไปยังอุปกรณ์ Edge ผ่าน RF Computing สำหรับการอนุมาน LLM แบบทันที
Air-LLM เป็นสถาปัตยกรรมการอนุมาน LLM บน Edge ที่วิทยุกลาง เช่น สถานีฐาน 5G กระจายน้ำหนักโมเดลผ่านอากาศ และผู้ใช้ Edge ทำ GEMV เสร็จสิ้นโดยตรงในโดเมน RF ด้วย RF mixer ทำให้อุปกรณ์ไม่ต้องจัดเก็บหรือโหลดน้ำหนักเลย จากการทดสอบบนช่องสัญญาณ ray-traced ของ NVIDIA Sionna ในฉากเมืองจริงสองแห่งด้วยโปรไฟล์ RF mixer จริง พบว่าจำกัดการเสื่อมของ perplexity บน WikiText-2 สำหรับ LLaMA-3.1-8B ไว้ที่ 4.0% พร้อมประหยัดพลังงาน 157.7x/40.4x เมื่อเทียบกับ baseline FP16 และ weight-only quantization เมื่อมีผู้ใช้ 20 คน ใช้เวลาออกอากาศสั้นลง 104.1x/26.0x และเนื่องจากวิทยุกลางไม่รับรู้ถึงผู้ใช้ การกระจายครั้งเดียวจึงรองรับผู้ใช้ได้ไม่จำกัดในพื้นที่ครอบคลุม
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม