AIR-LLM 透過 RF 廣播 LLM 權重以進行邊緣推論
熱點事件持續更新
AIR-LLM 透過 RF 廣播 LLM 權重以進行邊緣推論
1 篇報導1 個報導來源20 小時前更新
先了解這件事
AI 綜述
Zhihui Gao 與共同作者發表論文提出 AIR-LLM，這是一種邊緣推論架構：由 5G 基地台等中央無線電台透過無線方式廣播 LLM 權重，邊緣使用者則利用 RF 混頻器直接在 RF 域中計算 LLM 推論的 GEMV，因此裝置從不需要儲存或載入權重。 作者報告指出，在 NVIDIA Sionna 對兩個真實城市場景進行光線追蹤所產生的通道上，並使用經特性化的真實 RF 混頻器，LLaMA-3.1-8B 在 WikiText-2 上的困惑度退化僅限於 4.0%，而相較於 FP16 與僅權重量化基準，能源分別節省 157.7 倍／40.4 倍。在 20 位使用者的情況下，空中傳輸時間縮短 104.1 倍／26.0 倍。作者表示，由於中央無線電台維持不感知使用者，一次廣播即可服務覆蓋範圍內不限數量的使用者。
AI 依報導生成 · 14 小時前更新
最新進展11月13日 02:16
Air-LLM：透過射頻計算將 AI 權重廣播至邊緣裝置，實現即時 LLM 推論報導時間線
沿著報導，了解事件的不同側面。
11月13日
- Hacker News · AIAir-LLM：透過射頻計算將 AI 權重廣播至邊緣裝置，實現即時 LLM 推論
Air-LLM 是一種邊緣 LLM 推論架構，其中央無線電（例如 5G 基地台）透過無線方式廣播模型權重，邊緣使用者利用射頻混頻器直接在射頻域完成 GEMV，因此裝置從不儲存或載入權重。在兩個真實城市場景中，以真實射頻混頻器設定檔於 NVIDIA Sionna 光線追蹤通道上測試，它將 LLaMA-3.1-8B 在 WikiText-2 上的困惑度退化限制在 4.0%，同時相較於 FP16 與僅權重量化基準，分別節省 157.7 倍／40.4 倍能源。在 20 位使用者下，空中傳輸時間縮短 104.1 倍／26.0 倍，且由於中央無線電保持不感知使用者，單次廣播即可服務覆蓋範圍內無限數量的使用者。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。