Lightreason 发布仓库，声称在单张 RTX 4090 上实现更快的 Qwen 推理
先了解这件事
Lightreason 发布了一个 GitHub 仓库，记录了如何在单张 RTX 4090 上加速 Qwen 推理，报告称 Qwen2.5-3B-Instruct 达到 63.0 至 139.6 tok/s，Qwen3.6-35B-A3B 在限定的 Python 提示词上达到 7.93 至 51.08 tok/s。由于 35B 的文本权重占用 64.56 GiB，运行器将大部分专家权重保留在系统内存中，仅移动 Qwen 实际使用的部分，而原始 BF16 目标负责每一个最终 token 决策。 该仓库不附带任何检查点或适配器权重。公开的 3B Studio 快速入门面向 Linux，需要 RTX 4090 以及与 CUDA 12.8 兼容的驱动；35B 运行器使用单独的基准测试环境，需要更多系统内存。复现已发布的 PARD2 数值需要匹配的实验适配器，可选的 Turbo 运行器和 GPU 协调基准测试还需要固定的 AMD PARD2 草稿目录以及本地提供的已训练 LoRA/projector 检查点。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News · AILightreason 仓库记录在单张 RTX 4090 上运行 Qwen3.6-35B-A3B 和 Qwen2.5-3B 实现 6-11 倍加速
Lightreason 发布了一个 GitHub 仓库，公开其在单张 RTX 4090 上加速 Qwen 推理的流程，报告 Qwen2.5-3B-Instruct 达到 63.0 至 139.6 tok/s，Qwen3.6-35B-A3B 在限定的 Python 提示词上达到 7.93 至 51.08 tok/s。35B 文本权重占用 64.56 GiB，因此运行器将大部分专家权重保留在系统内存中，仅移动 Qwen 实际使用的权重，而原始 BF16 目标负责每个最终 token 的决策。该仓库不附带任何检查点或适配器权重，3B Studio 快速入门面向 Linux，需 CUDA 12.8 和 PyTorch 2.9.1。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。