Lightreason công bố repo tuyên bố suy luận Qwen nhanh hơn trên một RTX 4090
Bắt đầu từ đây
Lightreason đã công bố một repository GitHub ghi lại cách họ tăng tốc suy luận Qwen trên một RTX 4090 duy nhất, báo cáo 63,0 đến 139,6 tok/s cho Qwen2.5-3B-Instruct và 7,93 đến 51,08 tok/s trên một prompt Python giới hạn cho Qwen3.6-35B-A3B. Vì trọng số văn bản 35B chiếm 64,56 GiB, runner giữ phần lớn trọng số expert trong RAM hệ thống và chỉ di chuyển những trọng số mà Qwen sử dụng, trong khi mục tiêu BF16 gốc đưa ra mọi quyết định token cuối cùng. Repository không kèm checkpoint hay trọng số adapter. Bản quickstart 3B Studio công khai nhắm tới Linux với RTX 4090 và driver tương thích CUDA 12.8; các runner 35B dùng một thiết lập benchmark riêng yêu cầu nhiều RAM hệ thống hơn. Việc tái tạo các số liệu PARD2 đã công bố cần adapter phòng thí nghiệm tương ứng, và runner Turbo tùy chọn cùng benchmark phối hợp GPU còn cần thư mục nháp AMD PARD2 được ghim và một checkpoint LoRA/projector đã huấn luyện được cung cấp cục bộ.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIRepo Lightreason ghi nhận tốc độ nhanh hơn 6-11 lần khi chạy Qwen3.6-35B-A3B và Qwen2.5-3B trên một RTX 4090
Lightreason đã công bố một repo GitHub với quy trình tăng tốc suy luận Qwen trên một RTX 4090 duy nhất, báo cáo đạt 63,0 đến 139,6 tok/s đối với Qwen2.5-3B-Instruct và 7,93 đến 51,08 tok/s trên một prompt Python giới hạn đối với Qwen3.6-35B-A3B. Trọng số văn bản 35B chiếm 64,56 GiB, vì vậy runner giữ phần lớn trọng số expert trong RAM hệ thống và chỉ chuyển những trọng số mà Qwen sử dụng, trong khi mục tiêu BF16 gốc đưa ra mọi quyết định token cuối cùng. Bản checkout không kèm checkpoint hay trọng số adapter, và quickstart 3B Studio nhắm tới Linux với CUDA 12.8 và PyTorch 2.9.1.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.