Air-LLM: Truyền trọng số AI tới thiết bị biên qua tính toán RF để suy luận LLM tức thời
Air-LLM là kiến trúc suy luận LLM tại biên, trong đó một đài vô tuyến trung tâm như trạm gốc 5G phát sóng trọng số mô hình qua không gian, và người dùng biên hoàn thành GEMV trực tiếp trong miền RF bằng bộ trộn RF, nhờ đó thiết bị không bao giờ lưu trữ hay tải trọng số. Được thử nghiệm trên các kênh ray-tracing của NVIDIA Sionna trong hai cảnh đô thị thực với profile bộ trộn RF thực, nó giới hạn mức suy giảm perplexity trên WikiText-2 của LLaMA-3.1-8B ở 4.0% đồng thời tiết kiệm năng lượng 157.7x/40.4x so với baseline FP16 và lượng tử hóa chỉ trọng số. Với 20 người dùng, thời gian phát sóng ngắn hơn 104.1x/26.0x, và vì đài trung tâm không cần biết người dùng, một lần phát sóng phục vụ không giới hạn người dùng trong vùng phủ.