Newshot 在我的 RTX 4090 上运行 Qwen3.6 实现 6-11 倍加速，完整仓库。
Lightreason
Lightreason 是一个本地推理实验室和交互式 Studio，用于在单块 RTX 4090 上更快地运行 Qwen。实验使用 Qwen2.5-3B-Instruct（3.09B 参数）的原始 BF16 权重，以及 Qwen3.6-35B-A3B（34.66B 参数）的文本模型。
- 3B · 跨六个提示词从 63.0 → 139.6 tok/s。LR CUDA graphs 与紧凑 KV 与全部 30 次 Hugging Face 计时运行一致。它还在 9/9 个新配对中匹配了完整的 Python、JavaScript 和 SQL 响应。单独的 PARD2 运行器在完整匹配的天气响应上达到 58.3 → 525.2 tok/s，在最佳匹配的 128-token Fibonacci 片段上达到 63.6 → 724.4 tok/s。性能 · 编码基准
- 35B · 在有上限的 Python 提示词上从 7.93 → 51.08 tok/s。6.44× 对比跨会话使用相同输入。输出在第 116 个 token 处首次与 Scheduled 不同。packed 配置在与更接近的固定八位置对照组的全部 20 个配对中一致。性能 · 编码结果与输出检查
较小模型能放入 GPU，其中复用已准备好的 GPU 工作并一起检查多个 token 可节省时间。较大模型的文本权重占用 64.56 GiB。35B 运行器将大多数专家权重保留在系统 RAM 中，并移动 Qwen 实际使用的那些权重。当草稿模型预测多个 token 时，Qwen 会将它们一起检查，并可在这些检查之间复用权重。原始 BF16 Qwen 目标模型做出每个最终 token 决策。
LR 标注我们构建并测量的配置。它们使用现有技术和项目，包括 NVIDIA CUDA Graphs、AMD PARD2、Inco AI DFlash2 和 FlashML 的 FreeToken。实验历史记录了
安装 Python 3.12、其 venv 包和头文件，以及用于 Triton 的 C 编译器。在 Ubuntu 24.04 上，安装 build-essential python3.12-venv python3.12-dev。在 GPU 机器上运行 nvidia-smi，确认驱动能看到显卡。下载约 6.2 GB，下载器还需要另外 2 GiB 可用空间。为 Python 包和编译缓存单独预留空间。
git clone --depth 1 https://github.com/me-farza/lightreason.git
cd lightreason
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install 'torch==2.9.1' --index-url https://download.pytorch.org/whl/cu128
python -m pip
新建应用会生成一个页面。编辑当前应用会提供其 HTML，并要求 Qwen 进行完整更新。补丁编辑（实验性）会要求 Qwen 执行一次小型 JSON 搜索替换，将其与当前 HTML 进行核对，并在成功完成后渲染重建后的文档。对于较大的更改，或要重试被拒绝的补丁，请使用完整编辑路径。目前，补丁成功应用后会重新加载沙盒化预览，从而重启页面状态。
两种补丁格式、它们的本地 HTTP 基准测试以及已知失败情况都在基准测试说明中进行了描述。
## 可选的草稿辅助研究
Standard 和 Exact 仅使用目标检查点运行。可选的 Turbo 运行器和 GPU 协调基准测试还要求提供固定版本的 AMD PARD2 草稿目录，以及本地提供的匹配的已训练 LoRA/projector 检查点。请参阅可选的设置和复现命令。该适配器与本源码发布版本相互独立。
在仓库根目录运行 CPU 侧的 Studio 契约测试：
python -m unittest discover -s demo_chat -p 'test_*.py' node demo_chat/test_preview.js
许可证
原始 Lightreason 源代码和文档使用 0BSD。FreeToken 补丁和 Qwen 检查点有各自独立的上游条款。Lightreason 许可证 · 第三方条款与致谢 · Lightreason logo