AIR-LLM 通过射频广播 LLM 权重，用于边缘推理
热点事件持续更新
AIR-LLM 通过射频广播 LLM 权重，用于边缘推理
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
Zhihui Gao 与合著者发表论文提出 AIR-LLM，一种边缘推理架构：由 5G 基站等中心无线电在空中广播 LLM 权重，边缘用户利用射频混频器直接在射频域计算 LLM 推理的 GEMV，因此设备无需存储或加载权重。 作者报告称，在两个真实城市场景的 NVIDIA Sionna 射线追踪信道上，使用实测真实射频混频器，LLaMA-3.1-8B 在 WikiText-2 上的困惑度退化限制在 4.0%，而相比 FP16 和仅权重量化基线，能耗分别节省 157.7 倍/40.4 倍。在 20 个用户下，空口时间缩短 104.1 倍/26.0 倍。作者表示，由于中心无线电不感知用户，一次广播即可服务覆盖范围内的无限用户。
AI 根据报道生成 · 14 小时前更新
最新进展11月13日 02:16
Air-LLM：通过射频计算将AI权重广播至边缘设备，实现即时LLM推理报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- Hacker News · AIAir-LLM：通过射频计算将AI权重广播至边缘设备，实现即时LLM推理
Air-LLM是一种边缘LLM推理架构：5G基站等中心无线电通过空口广播模型权重，边缘用户利用射频混频器直接在射频域完成GEMV，因此设备无需存储或加载权重。在NVIDIA Sionna光线追踪信道下，于两个真实城市场景中使用真实射频混频器配置进行测试，该方案将LLaMA-3.1-8B在WikiText-2上的困惑度退化限制在4.0%，同时相比FP16和仅权重量化基线分别节省157.7倍/40.4倍能量。在20个用户下，空口时间缩短104.1倍/26.0倍，且由于中心无线电不感知用户，一次广播即可服务覆盖范围内的无限用户。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。