仓库文件导航
LookAtMyQuant
LookAtMyQuant 是一个量化编译器。它会测量模型中被存储的每一部分在压缩时对输出的损害程度,然后为每一部分选择一个编码,使整个模型在满足大小预算的前提下损害最小。
在 Gemma 4 E2B 上,其 GGUF 在相同文件大小下 KL 比 Q4_K_M 低 12×。该方法及全部结果均在网站上。
代码以 MIT 许可证发布。
LookAtMyQuant 2:1.2 GB 的 Qwen3.5-4B
LookAtMyQuant 2 将 Qwen3.5-4B 压缩到 1.23 GB,每权重 2.3 比特。该文件在 540 道精确答案数学题中解出 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,原始模型解出 359 道。其在留出文本上相对原始模型的 KL 为 0.45 nats,而 Bonsai 为 0.59。
该配方是采用 trellis 码的训练后量化,以模型自身带解题过程的数学解答进行校准,其中数字 token 权重为 10×,并按 Fisher 信息逐行分配比特。随后进行 4,000 步蒸馏,期间每一层都从原始权重重新量化一次。页面上有研究发现、完整配方及其成本,约 $34 的 GPU 时间。
配方代码在此处,下一节将运行它。1.23 GB 文件本身是 lm2-qwen35-4b-1.2gb 发布版,为 Apple Silicon 运行时打包。
7.2 GB 的 Qwen3.8-27B
同一配方将 Qwen3.8-27B 从 53.7 GB 压缩到 7.2 GB,每权重 2.1 比特,在英文散文与聊天、代码和数学上校准并蒸馏。该文件在 540 道数学题中解出 401 道,与原始模型一样多,而 Unsloth 同尺寸的 UD-IQ2_XXS GGUF 解出 348 道。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上也高于该 GGUF。
旁边还有一个 4-bit DSpine drafter(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 使用 runtime_mlx/convert_dspine.py 转换,并用 pack_drafter.py 打包),在 Apple silicon 上可将数学和代码的解码速度大致提高一倍。
5.4 GB 和 8.9 GB 的 Inkling-2-Mini
同一编译器与近端微调(SQYFR),扩展到 26.4B 物理 / 5.4B 激活的 3×-looped MoE(L6–17 循环 3× = 48 次逻辑访问,128 专家 top-8),将 thinkingmachines/Inkling-2-Mini 从 18.89 GB 的文本权重压缩到 5.38 GB(1.63 比特/权重)和 8.87 GB(2.69 比特/权重),使用 4 KB SRAM 哈希块向量 trellis 码(ht2/ht3)、行 trellis 码(rtr1/rtr4),以及尾部 lm_head 桶(head.7)上的 tr2 下限。
在同一个 BF16 teacher、openai/gsm8k(test[:200],贪心,reasoning_effort="none")、全部 164 道可执行的 openai/openai_humaneval 问题、4 项 Vision VQA 测试(使用未改动的 637 MB BF16 vision tower)以及 16+13 语言 TextMix 窗口上评估:
| Model | Text GB | free_KL ( en/chat/code ) | all13_KL | GSM8K (200) | HumanEval (164) | Pooled vs Teacher |
|---|---|---|---|---|---|---|
| Original BF16 Teacher | 18.89 | 0.0000 | 0.0000 | 147 / 200 (73.5%) | 66 / 164 (40.2%) | 100.0% |
| LookAtMyQuant 5.4 GB ( SQYFR ) | 5.38 | 0.0895 | 0.2871 | 134 / 200 (67.0%) | 60 / 164 (36.6%) | 91.2% |
| Unsloth UD-IQ1_S | 7.76 | 0.0808 | 0.1236 | 127 / 200 (63.5%) | 46 / 164 (28.0%) | 81.6% |
| LookAtMyQuant 8.9 GB ( SQYFR ) | 8.87 | 0.0208 | 0.0571 | 148 / 200 (74.0%) | 58 / 164 (35.4%) | 96.8% |
| Unsloth UD-Q2_K_XL | 9.14 | 0.0486 | 0.0811 | 132 / 200 (66.0%) | 49 / 164 (29.9%) | 85.3% |
| Unsloth UD-IQ3_XXS | 11.66 | 0.0189 | 0.0278 | 148 / 200 (74.0%) | 68 / 164 (41.5%) | 101.4% |
文章标题:Inkling-2-Mini 在 5.4 GB 内存中的表现
正文: Inkling-2-Mini-LookAtMyQuant-5.4GB 仅占用 5.38 GB,在 GSM8K 和 HumanEval 两项基准上都超过了 Unsloth 的 9.14 GB UD-Q2_K_XL,而体积小了 41%(未经调优时分别为 76/200 和 24/164)。Inkling-2-Mini-LookAtMyQuant-8.9GB 占用 8.87 GB,在 GSM8K 上与 BF16 原版持平,并在英语/聊天/代码上将 KL 降低 2.34 倍,在全部 13 种语言上比 UD-Q2_K_XL 低 29.6%。两者都通过 lamq 和 runtime_mlx 直接运行,使用定制的 Apple Silicon Metal kernel,并可选择搭配 178.9 MB 的 4-bit DSpark drafter:在 M5 Max 上,5.4 GB 版本串行解码速度为 73.2 tok/s,中位数为 125.2 tok/s(数学 141.8 tok/s、推理 129.0 tok/s、代码 121.4 tok/s、散文 102.3 tok/s;T=512 时预填充 1,037 tok/s,活跃内存 5.83 GB),8.9 GB 版本串行解码速度为 63.1 tok/s,中位数为 101.3 tok/s(推理 133.9 tok/s、数学 118.9 tok/s;T=512 时预填充 838 tok/s,活跃内存 9.32 GB)。
安装并使用 Apple Silicon 运行时
在 Apple silicon 上,直接安装运行时包(这会安装 mlx、mlx-lm、numpy 和 huggingface-hub,不包含 PyTorch 编译器依赖):
pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
从本地克隆运行,pip install -e . 会安装 lamq 命令,或者不安装直接运行 python -m runtime_mlx。
命令行。传入本地模型文件夹或 Hugging Face 仓库 ID:
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
-p "What is 17 times 23? Show the steps."
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
-p "Write a Python function that merges overlapping intervals." --stats
lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
--drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
-p "What is 17 times 23? Show the steps." --stats
省略 -p 时 lamq generate 会读取 stdin,支持 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model> 可以在不加载权重的情况下查看打包模型的格式和维度。
Python 集成。runtime_mlx.load 返回一个 (model, tokenizer) 对,兼容 mlx_lm.generate 和 mlx_lm.stream_generate(自动检测 Qwen3.5-4B / Qwen3.8-27B 等 opgraph-packed-1 模型,以及 Gemma 4 E2B 等 lamq.json 导出):
from mlx_lm import generate
from runtime_mlx import load
model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB")
prompt = tok.apply_chat_template(
[{"role": "user", "content": "What is 17 times 23? Show the steps."}],
add_generation_prompt=True,
enable_thinking=False,
)
print(generate(model, tok, prompt, max_tokens=200))
如需流式输出、多轮对话或通过单一接口进行投机解码,请使用 Runtime:
from runtime_mlx import Runtime
rt = Runtime.load(
"shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB",
drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter",
)
for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256):
print(chunk.text, end="", flush=True)
用三条命令在 SmolLM2-360M 上运行编译器
安装依赖并下载模型与 WikiText-2。代码在启动时读取 SmolLM2-360M 的 config,所以请先执行这一步。
pip install -r requirements.txt
python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')"
python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"
测量。这一步一次压缩一个部分,其余部分保持精确,并记录相对于原始模型的 KL。该模型的完整集合共 2,312 次测量,在 L40S 上耗时约 50 分钟。
python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json
标题:Inkling-2-Mini in 5.4 GB Memory
正文: 分配。此步骤为每个部分选择一个编码,使得预算内总 KL 最小。不需要 GPU。该命令使用本仓库中的 SmolLM2-360M 测量结果,每权重预算为 3.044 比特。
python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json
它写出的方案与 results/compiler/plans/sm_lin_3044.json 的宽度相同。
构建与评分。这一步按照该方案对模型进行量化,一次处理一个矩阵。然后报告其在 WikiText-2 测试集上相对于原始模型的困惑度和 KL。
python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json
我们对该方案的运行结果位于 results/batch/cc_sm_lin_3044.json。它达到了困惑度 16.64 和 KL 0.0926,而原始困惑度为 15.31。加上 --layers 1 --calib 8 --eval 2 可做一次快速检查,确认一切正常。
在 Qwen3.5-4B 上运行 LookAtMyQuant 2 配方
每一步都是一个命名作业;python run_batch.py --list 会打印其命令。这些作业需要卷上的 models/Qwen3.5-4B 中的 Qwen3.5-4B 以及文本混合(modal run --detach modal_fetch.py --text)。它们生成的每个文件都会写入卷上的 lm2/。
modal run --detach modal_app.py --jobs lm2Text
modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions
modal run --detach modal_app.py --jobs lm2RowImportance
modal run --detach modal_app.py --jobs lm2Build
modal run --detach modal_app.py --jobs lm2Finetune
modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
| 作业 | 脚本 | 作用 | 我们的运行 |
|---|---|---|---|
| lm2Text | other_text.py | 原始模型回答科学、代码、指令和工具提示,以及 MATH 和 GSM8K 训练题。此步骤还会下载 MATH | |
| lm2Calibration | math_calibration.py | 校准集:原始模型对 384 道 MATH 训练题的贪心解,以 2,048 token 的窗口切分 | 15 分钟,H100 |
| lm2Solutions | checked_solutions.py | 微调蒸馏所用的数学文本:MATH 题和来自另一随机种子的 math_bench.py 题的解,错误计算已更正,仅保留正确答案 | 33 分钟,H100 |
| lm2RowImportance | row_importance.py | 每个输出行在数字预测位置上的 Fisher 信息 | 1 分钟,H100 |
| lm2Build | quantize.py | 训练后量化:沿行的 trellis 编码,数字 token 在 Hessian 中权重为 10×,QEP 取 α = 0.5,每行比特数来自行方案,e-means 码本 | 37 分钟,H100 |
| lm2Finetune | finetune.py | 4,000 步蒸馏,潜在权重被拉向各自的编码,每一层从原始权重重新量化一次 | 2.7 小时,B200 |
| lm2Math , lm2Math216 | math_eval.py | 540 题基准和另一组 216 题,用于原始模型、Bonsai、构建版本和微调后的构建版本 | 每个模型 20 分钟,H100 |
| lm2TextKL | text_kl.py | 在 WikiText-2 和文本混合的 13 个来源上相对于原始模型的 KL | 每个模型 1 分钟,H100 |
lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 在两层、60 步和 36 道题上运行相同的代码,每个只需几分钟。
行方案。lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,它为 1,520 个行组中的每一组分配 1 到 4 比特。row_allocation.py 生成了它。其 build-control 命令构建并打包一个具有固定行拆分的对照;prepare-rows 用 rowgroup_alloc.py 在对照的打包字节内分配行;build-rows 在方案下构建,并对照该方案检查打包大小。
码本。构建时用于解码的四个 e-means 码本位于 cache/codes/。--trellis-fit lloyd 会给出较早的那些,而在该改动之前生成的方案会保留它们,除非该标志另有指定。
近期等字节配方的改进。编译器和微调脚本中提供了两项零字节新增:
文章标题:5.4 GB 内存中的 Inkling-2-Mini
正文:
- Softmax-Fisher token 表排序(compiler.py measure 与 quantize.py 中的
--embed-order sfisher-mix)。按输出 Softmax-Fisher E[p_v (1 - p_v)] 与语料频率 50/50 混合的比例,对共享的 embedding/output 桶排序(未共享的输出头则仅按 Softmax-Fisher 排序)。
- 训练中期的等字节行重分配(finetune.py 中的
--realloc-at 1000)。与--rebuild-at 1000配合,测量每一层的连续与存储近似 KL 差距 KL(all P) - KL(layer = W),从而将比特移向深层未吸收层,同时保持文件大小不变(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB(2.297 bpp)结合 sfisher-mix,WikiText-2 KL 从 0.425 降至 0.387(−9.0%),13 源 KL 从 0.447 降至 0.378(−15.5%,全部 13 个来源均有改善)。
这些任务与我们这次运行的不同之处。我们的 GSM8K 解答是较早写好的,思考始终关闭。我们 13 个来源的文本 KL 使用了 52 个窗口,这些窗口由一个单独的工具从文本混合中挑选;--sources mix 则采用混合自身的评估窗口,我们的文件在该设置下得分为 0.44,而页面报告为 0.45。
在 Modal 上运行的大模型,每个任务一块 GPU
run_batch.py 命名每个任务,modal_app.py 运行它们。modal_fetch.py 下载模型以及用于校准和评估的文本混合。
modal run modal_app.py::setup
modal run --detach modal_fetch.py --text
modal run --detach modal_fetch.py --models google/gemma-4-E2B-it
modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv
该网站背后的运行使用了这些机器,每台 8 个 CPU 核心:
| 模型 | GPU | 时间 |
|---|---|---|
| SmolLM2-360M | L40S | 测量约 50 分钟,分 9 个并行任务 |
| Gemma 4 E2B,测量 | H100 | 每个任务 7–26 分钟,共 4 个任务 |
| Gemma 4 E2B,构建方案 | H100 | 每个方案 28–58 分钟 |
gguf_compiler.py 使用 llama.cpp 自身的张量类型构建方案,因此结果可以原样在 llama.cpp 中运行。public_eval.py 以与我们方案相同的方式对公开量化进行评分。两者都运行在 modal_gguf.py 中的镜像内,该镜像使用 CUDA 构建 llama.cpp。
Apple Silicon 运行时读取 Lloyd–Max 和 trellis 方案
quantize.py --export <folder> 以 runtime_mlx/ 读取的格式写出方案。带有 trellis 码的方案还需要 --trellis-rows 16,8,它将每条 trellis 路径沿其矩阵的一行运行,因此解码一个条目只需读取该行。在 Apple silicon 上,pip install . 会安装 mlx 和 mlx-lm;requirements.txt 包含 PyTorch 编译器依赖项。
在 2.5 GB 的 Gemma 4 E2B 上,trellis 方案的 KL 比 Lloyd–Max 方案低 26%,解码速度约慢 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 针对量化器构建的矩阵检查 trellis 内核。
python runtime_mlx/bench.py lamq path/to/export
在 Apple silicon 上,drafter 让 1.2 GB 文件的生成速度提升 1.5 到 2 倍
runtime_mlx/fast_q35.py 直接从 trellis 码中逐 token 解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加了推测解码。一个小 drafter 在单次前向中提出模型最新 token 之后的七个 token。然后模型在其编码权重上单次前向检查全部八个位置(runtime_mlx/block_q35.py),并保留与其自身选择匹配的提议,因此文本正是其自身的贪婪文本。
在 M5 Max 上,对 30 个最多 256 token 的留出提示,使用 drafter 的生成速度是 2.0 倍:每秒 176 个 token 对 88 个,2026-11-11 在同一进程内交替计时。一次检查平均保留 4.3 个 token。在八个日常提示上,速度为 1.5 倍。增益取决于文本的可预测性:代数上 2.5 倍,代码上 2.0 倍,聊天上 1.2 倍,故事上 1.05 倍,并且 30 个留出提示中有一个使用 drafter 反而更慢。文本在每个提示上都与普通贪婪解码一致。这些是首个 token 之后的速度;无论哪种方式,读取提示大约需要 0.1 秒。
这段代码包含两处后续改动。每一处都在 40 组配对生成上与前一个版本做了对比测量:从 96,033 个最常见 token 中提议的速度快了 6.0%,而在 packed product 内挑选获胜 token 的速度快了 5.3%。线性模式还默认启用自校准自适应回退(adaptive=True;传入 --no-adaptive 可禁用):当滚动接受率低于实测的盈亏平衡比率(drafted-check 延迟与串行步延迟之比,计入缓存刷新和 drafter 上下文重放)时,它会暂停 drafting,改为短时精确串行突发,并在接受率恢复后继续,从而保持按位精确的贪婪一致性,同时避免在低接受率的散文上出现减速。
drafter 是一个 DSpine 模型,使用 SpecForge 从已发布的 Qwen3.5-4B 的 DFlash drafter 出发,在 1.2 GB 文件自身的贪婪答案上训练而成。modal_drafter.py 将训练作为一个 Modal 任务运行,花费 $42。在 300 个留出提示上,训练后的 drafter 每次检查得到 4.65 个 token,而原版 DFlash drafter 为 4.30 个。
pack_drafter.py 在构建自身的代码中将 drafter 以每权重 4 位存储,无需校准数据:464 MB,而 16 位时为 1.83 GB。在 60 个留出提示上,4 位 drafter 每次检查保持 4.35 个 token,对比 4.38,且文本相同。drafter_q35.py 可加载任一种形式,并在加载时将打包形式以稠密形式写出。4 位 drafter 即 lm2-drafter-4bit 版本。它与打包的 1.2 GB 文件 lm2-qwen35-4b-1.2gb 版本一同运行。
gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb
gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit
基准测试默认使用线性验证。使用 --mode chat-fork 可在模糊的早期位置尝试第二个候选,或使用 --mode copy-wide 处理已知的连续复制。复制模式使用源游标,并为 16 槽检查调整 gate/up 和 down 投影。两种模式都用打包目标验证所有生成的 token。要基准测试 chat fork,请运行:
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat
对于复制基准测试,传入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 条目携带来自打包模型分词器的 source、prompt_len 和 input_ids。
检查项,以及用于你自己的 drafter 的打包器:
python runtime_mlx/test_fast_q35.py
LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py
python runtime_mlx/check_drafter.py path/to/packed path/to/drafter
python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30
python pack_drafter.py path/to/drafter path/to/drafter-4bit
runtime_mlx/pack_dense.py 从微调构建的稠密权重写出打包文件,runtime_mlx/modal_pack.py 在 Modal 上运行它。check_drafter.py 在 drafter/reference.py 写出的参考块上,将 MLX 中的 drafter 与 SpecForge 自身的模型进行比较。
各部分位置
| Path | 存放内容 |
|---|---|
| compiler.py | 测量与分配 |
| compiler_arch.py | 编译器如何发现模型的层、表和阶段,以及文本混合 |
| quantize.py | 构建一个程序或计划,然后对其评分 |
| row_importance.py , rowgroup_alloc.py , row_allocation.py , compiler_artifact.py | 每行的比特数:每行的重要性、分配、它比较的构建,以及为它们定价的打包格式 |
| math_calibration.py , checked_solutions.py , other_text.py , calc_check.py , token_kinds.py | 配方用于校准和微调的文本、对所述计算的检查器,以及每个位置预测的 token 类型 |
| finetune.py , finetune_lib.py , fast_delta.py | 以代码结尾的微调,以及 Qwen3.5 更快的线性注意力规则 |
| math_bench.py , math_eval.py , text_kl.py | 精确答案数学基准、其面向 Qwen3.5 系列和 Bonsai 的运行器,以及文本上与原始模型的 KL |
| gguf_compiler.py , public_eval.py , eval_tasks.py | llama.cpp 路线、公开量化及任务基准 |
| pyproject.toml , runtime_mlx/runtime.py , runtime_mlx/cli.py | 可安装的 Apple Silicon 运行时包、统一加载 / Runtime Python API,以及 lamq CLI |
| lamq_export.py , runtime_mlx/ | 导出格式和 Apple Silicon 运行时 |
| runtime_mlx/fast_q35.py , block_q35.py , block_argmax_q35.py , pack_dense.py , modal_pack.py | 用于打包的 Qwen3.5-4B 和 Qwen3.8-27B 文件的运行时:一次一个 token、一次处理 8 或 16 个 token 的块,以及打包器 |
| runtime_mlx/inkling/ , runtime_mlx/test_inkling.py | Apple Silicon MLX 运行时、4 KB SRAM ht2 / ht3 Metal 内核,以及用于打包的 Inkling-2-Mini 模型的 4 位 DSpark block-8 投机草稿器 |
| runtime_mlx/drafter_q35.py , draft_vocab_q35.py , convert_dspine.py , check_drafter.py , bench_drafted.py , drafter/ , modal_drafter.py , pack_drafter.py | 使用 DSpine 草稿器的投机解码、Tencent DSpine 转换、草稿器训练,以及以 4 位存储的草稿器 |
| opgraph/ | 语法:将模型视为张量网络,以及作用于它的重写和代码 |
| run_completeness.py , make_report.py | 对九种已发表方法被精确复现的检查 |
| analyze_compiler.py | 计划结果的表格 |
| run_batch.py , modal_app.py , modal_gguf.py , modal_fetch.py | 命名作业和 Modal 运行器 |
| results/compiler/plans/ , results/compiler/rows/ | 每个计划,以及 Qwen3.5-4B 在 1.2 GB 下的行计划 |
| results/protocols/ | 第二个数学题集,共 216 道题,以及所有被排除在训练文本之外的问题的哈希 |
| cache/codes/ | 1 到 4 位的 e-means trellis 码本 |
| results/batch/ , results/gguf/ | 网站背后的测量和计划运行 |
| results/COMPILER.md , results/COMPLETENESS.md | 关于编译器在 SmolLM2-360M 和 Qwen3.5-4B 上的说明,以及复现检查的说明 |
| site/ | 网站。在其中运行 python3 -m http.server 8000,然后访问 http://localhost:8000 |
| site2/ | LookAtMyQuant 2 页面。以相同方式运行 |
| tests/ | 语法和代码的测试 |
测试需要 SmolLM2-360M 和 WikiText-2
每个测试文件均可从仓库根目录独立运行,全部七个在一分钟内完成。
python tests/test_frame.py
python tests/test_grammar.py
python tests/test_codes.py
python tests/test_elements.py
python tests/test_nested.py
python tests/test_rowgroup_alloc.py
python tests/test_reallocation.py
runtime_mlx/test_core.py 用量化器的数学来检查运行时。先运行 python runtime_mlx/make_ref.py,它会写入 1.6 GB 的参考文件。
文章标题:5.4 GB 内存中的 Inkling-2-Mini
正文: runtime_mlx/test_fast_q35.py 和 runtime_mlx/test_block_q35.py 用 NumPy 对独立解包后的编码做乘积运算,以校验 Qwen3.5 内核,不涉及模型。当 LAMQ_Q35_PACKED 指定一个 packed 文件时,第二个脚本还会将一批 token 与逐个解码的结果进行对比。当 LAMQ_Q38_PACKED 指定打包好的 Qwen3.8-27B 文件时,它会在一个输出头与嵌入分开存储的模型上运行相同的检查。
本仓库未包含的内容
- 模型权重。所有内容均从 Hugging Face 下载。Qwen3.5-4B 相关任务要求该模型位于卷上的 models/Qwen3.5-4B 目录中。
- 基准测试副本。eval_tasks.py 会自行下载其基准测试。在离线机器上,它会从 data/bench/ 读取导出的副本,而这些副本不在此处。Modal 镜像以离线方式运行,因此请先在卷上缓存基准测试。
- 组装 site/data.json 的脚本。它是一系列一次性步骤。源数据全部位于 results/ 中。
- LookAtMyQuant 2 的稠密权重和结果文件。那个 1.2 GB 的文件是以 packed 格式发布的版本。基准测试所运行的稠密权重并未公开,site2/data.json 背后的逐题结果以及根据这些结果生成页面数字的脚本也均未公开。
- 16 位的 drafter。训练后的 drafter 为 1.8 GB,未公开发布。4 位版本是发布文件,modal_drafter.py 会训练它。