Lightreason 仓库记录在单张 RTX 4090 上运行 Qwen3.6-35B-A3B 和 Qwen2.5-3B 实现 6-11 倍加速

Lightreason 发布了一个 GitHub 仓库，公开其在单张 RTX 4090 上加速 Qwen 推理的流程，报告 Qwen2.5-3B-Instruct 达到 63.0 至 139.6 tok/s，Qwen3.6-35B-A3B 在限定的 Python 提示词上达到 7.93 至 51.08 tok/s。35B 文本权重占用 64.56 GiB，因此运行器将大部分专家权重保留在系统内存中，仅移动 Qwen 实际使用的权重，而原始 BF16 目标负责每个最终 token 的决策。该仓库不附带任何检查点或适配器权重，3B Studio 快速入门面向 Linux，需 CUDA 12.8 和 PyTorch 2.9.1。