Lightreason 儲存庫記錄在單張 RTX 4090 上執行 Qwen3.6-35B-A3B 與 Qwen2.5-3B 獲得 6-11 倍加速

Lightreason 發布了一個 GitHub 儲存庫，說明其在單張 RTX 4090 上加速 Qwen 推論的流程，回報 Qwen2.5-3B-Instruct 達到 63.0 至 139.6 tok/s，而 Qwen3.6-35B-A3B 在受限的 Python 提示詞上達到 7.93 至 51.08 tok/s。35B 的文字權重佔用 64.56 GiB，因此執行器將大部分專家權重保留在系統 RAM 中，僅移動 Qwen 使用到的部分，而原始的 BF16 目標負責每個最終 token 的決策。此檢出內容不附帶任何檢查點或適配器權重，且 3B Studio 快速入門針對 Linux 搭配 CUDA 12.8 與 PyTorch 2.9.1。