Air-LLM：通过射频计算将AI权重广播至边缘设备，实现即时LLM推理

Air-LLM是一种边缘LLM推理架构：5G基站等中心无线电通过空口广播模型权重，边缘用户利用射频混频器直接在射频域完成GEMV，因此设备无需存储或加载权重。在NVIDIA Sionna光线追踪信道下，于两个真实城市场景中使用真实射频混频器配置进行测试，该方案将LLaMA-3.1-8B在WikiText-2上的困惑度退化限制在4.0%，同时相比FP16和仅权重量化基线分别节省157.7倍/40.4倍能量。在20个用户下，空口时间缩短104.1倍/26.0倍，且由于中心无线电不感知用户，一次广播即可服务覆盖范围内的无限用户。