AIR-LLM phát sóng trọng số LLM qua RF để suy luận tại biên
Bắt đầu từ đây
Zhihui Gao và các đồng tác giả đã công bố một bài báo đề xuất AIR-LLM, một kiến trúc suy luận tại biên trong đó một đài vô tuyến trung tâm như trạm gốc 5G phát sóng trọng số LLM qua không gian, và người dùng biên tính toán GEMV của suy luận LLM trực tiếp trong miền RF bằng các bộ trộn RF, nhờ đó thiết bị không bao giờ lưu trữ hay tải trọng số. Các tác giả báo cáo rằng trên các kênh ray-traced NVIDIA Sionna từ hai cảnh đô thị thực với một bộ trộn RF thực đã được lập hồ sơ, mức suy giảm perplexity trên WikiText-2 với LLaMA-3.1-8B chỉ giới hạn ở 4,0%, trong khi tiết kiệm năng lượng 157,7 lần/40,4 lần so với các baseline FP16 và lượng tử hóa chỉ trọng số. Với 20 người dùng, thời gian phát sóng ngắn hơn 104,1 lần/26,0 lần. Vì đài trung tâm không cần biết về người dùng, một lần phát sóng có thể phục vụ không giới hạn người dùng trong vùng phủ, theo các tác giả.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIAir-LLM: Truyền trọng số AI tới thiết bị biên qua tính toán RF để suy luận LLM tức thời
Air-LLM là kiến trúc suy luận LLM tại biên, trong đó một đài vô tuyến trung tâm như trạm gốc 5G phát sóng trọng số mô hình qua không gian, và người dùng biên hoàn thành GEMV trực tiếp trong miền RF bằng bộ trộn RF, nhờ đó thiết bị không bao giờ lưu trữ hay tải trọng số. Được thử nghiệm trên các kênh ray-tracing của NVIDIA Sionna trong hai cảnh đô thị thực với profile bộ trộn RF thực, nó giới hạn mức suy giảm perplexity trên WikiText-2 của LLaMA-3.1-8B ở 4.0% đồng thời tiết kiệm năng lượng 157.7x/40.4x so với baseline FP16 và lượng tử hóa chỉ trọng số. Với 20 người dùng, thời gian phát sóng ngắn hơn 104.1x/26.0x, và vì đài trung tâm không cần biết người dùng, một lần phát sóng phục vụ không giới hạn người dùng trong vùng phủ.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.