Lightreason 發布儲存庫，聲稱在單張 RTX 4090 上可加快 Qwen 推論

Lightreason 發布了一個 GitHub 儲存庫，記錄其如何在單張 RTX 4090 上加速 Qwen 推論，回報 Qwen2.5-3B-Instruct 達到 63.0 至 139.6 tok/s，而 Qwen3.6-35B-A3B 在受限的 Python 提示詞上為 7.93 至 51.08 tok/s。由於 35B 的文字權重佔用 64.56 GiB，執行器將大部分專家權重保留在系統記憶體中，只移動 Qwen 實際使用到的部分，而最終每個 token 的決策仍由原始 BF16 目標做出。 該儲存庫不附帶任何檢查點或適配器權重。公開的 3B Studio 快速入門針對搭載 RTX 4090 且驅動程式相容於 CUDA 12.8 的 Linux；35B 執行器則使用另一套需要更多系統記憶體的基準測試設定。若要重現已公布的 PARD2 數值，需要對應的實驗室適配器，而選用的 Turbo 執行器與 GPU 協同基準測試另外還需要固定版本的 AMD PARD2 草稿目錄，以及本地提供的已訓練 LoRA/projector 檢查點。

AI 依報導生成 · 1 小時前更新

還沒有足夠的連續觀測資料，暫不繪製趨勢。