Air-LLM: การกระจายน้ำหนัก AI ไปยังอุปกรณ์ Edge ผ่าน RF Computing สำหรับการอนุมาน LLM แบบทันที
Air-LLM เป็นสถาปัตยกรรมการอนุมาน LLM บน Edge ที่วิทยุกลาง เช่น สถานีฐาน 5G กระจายน้ำหนักโมเดลผ่านอากาศ และผู้ใช้ Edge ทำ GEMV เสร็จสิ้นโดยตรงในโดเมน RF ด้วย RF mixer ทำให้อุปกรณ์ไม่ต้องจัดเก็บหรือโหลดน้ำหนักเลย จากการทดสอบบนช่องสัญญาณ ray-traced ของ NVIDIA Sionna ในฉากเมืองจริงสองแห่งด้วยโปรไฟล์ RF mixer จริง พบว่าจำกัดการเสื่อมของ perplexity บน WikiText-2 สำหรับ LLaMA-3.1-8B ไว้ที่ 4.0% พร้อมประหยัดพลังงาน 157.7x/40.4x เมื่อเทียบกับ baseline FP16 และ weight-only quantization เมื่อมีผู้ใช้ 20 คน ใช้เวลาออกอากาศสั้นลง 104.1x/26.0x และเนื่องจากวิทยุกลางไม่รับรู้ถึงผู้ใช้ การกระจายครั้งเดียวจึงรองรับผู้ใช้ได้ไม่จำกัดในพื้นที่ครอบคลุม