Repo Lightreason ghi nhận tốc độ nhanh hơn 6-11 lần khi chạy Qwen3.6-35B-A3B và Qwen2.5-3B trên một RTX 4090

Lightreason đã công bố một repo GitHub với quy trình tăng tốc suy luận Qwen trên một RTX 4090 duy nhất, báo cáo đạt 63,0 đến 139,6 tok/s đối với Qwen2.5-3B-Instruct và 7,93 đến 51,08 tok/s trên một prompt Python giới hạn đối với Qwen3.6-35B-A3B. Trọng số văn bản 35B chiếm 64,56 GiB, vì vậy runner giữ phần lớn trọng số expert trong RAM hệ thống và chỉ chuyển những trọng số mà Qwen sử dụng, trong khi mục tiêu BF16 gốc đưa ra mọi quyết định token cuối cùng. Bản checkout không kèm checkpoint hay trọng số adapter, và quickstart 3B Studio nhắm tới Linux với CUDA 12.8 và PyTorch 2.9.1.