Air-LLM：透過射頻計算將 AI 權重廣播至邊緣裝置，實現即時 LLM 推論

Air-LLM 是一種邊緣 LLM 推論架構，其中央無線電（例如 5G 基地台）透過無線方式廣播模型權重，邊緣使用者利用射頻混頻器直接在射頻域完成 GEMV，因此裝置從不儲存或載入權重。在兩個真實城市場景中，以真實射頻混頻器設定檔於 NVIDIA Sionna 光線追蹤通道上測試，它將 LLaMA-3.1-8B 在 WikiText-2 上的困惑度退化限制在 4.0%，同時相較於 FP16 與僅權重量化基準，分別節省 157.7 倍／40.4 倍能源。在 20 位使用者下，空中傳輸時間縮短 104.1 倍／26.0 倍，且由於中央無線電保持不感知使用者，單次廣播即可服務覆蓋範圍內無限數量的使用者。