Newshot

Inkling-2-Mini 仅需 5.4 GB 内存

Translation(model translation, not the source's own text)

仓库文件导航

题图
题图

LookAtMyQuant

LookAtMyQuant 是一个量化编译器。它会测量模型中被存储的每一部分在压缩时对输出的损害程度,然后为每一部分选择一个编码,使整个模型在满足大小预算的前提下损害最小。

在 Gemma 4 E2B 上,其 GGUF 在相同文件大小下 KL 比 Q4_K_M 低 12×。该方法及全部结果均在网站上。

代码以 MIT 许可证发布。

LookAtMyQuant 2:1.2 GB 的 Qwen3.5-4B

LookAtMyQuant 2 将 Qwen3.5-4B 压缩到 1.23 GB,每权重 2.3 比特。该文件在 540 道精确答案数学题中解出 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,原始模型解出 359 道。其在留出文本上相对原始模型的 KL 为 0.45 nats,而 Bonsai 为 0.59。

该配方是采用 trellis 码的训练后量化,以模型自身带解题过程的数学解答进行校准,其中数字 token 权重为 10×,并按 Fisher 信息逐行分配比特。随后进行 4,000 步蒸馏,期间每一层都从原始权重重新量化一次。页面上有研究发现、完整配方及其成本,约 $34 的 GPU 时间。

配方代码在此处,下一节将运行它。1.23 GB 文件本身是 lm2-qwen35-4b-1.2gb 发布版,为 Apple Silicon 运行时打包。

7.2 GB 的 Qwen3.8-27B

同一配方将 Qwen3.8-27B 从 53.7 GB 压缩到 7.2 GB,每权重 2.1 比特,在英文散文与聊天、代码和数学上校准并蒸馏。该文件在 540 道数学题中解出 401 道,与原始模型一样多,而 Unsloth 同尺寸的 UD-IQ2_XXS GGUF 解出 348 道。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上也高于该 GGUF。

旁边还有一个 4-bit DSpine drafter(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 使用 runtime_mlx/convert_dspine.py 转换,并用 pack_drafter.py 打包),在 Apple silicon 上可将数学和代码的解码速度大致提高一倍。

5.4 GB 和 8.9 GB 的 Inkling-2-Mini

同一编译器与近端微调(SQYFR),扩展到 26.4B 物理 / 5.4B 激活的 3×-looped MoE(L6–17 循环 3× = 48 次逻辑访问,128 专家 top-8),将 thinkingmachines/Inkling-2-Mini 从 18.89 GB 的文本权重压缩到 5.38 GB(1.63 比特/权重)和 8.87 GB(2.69 比特/权重),使用 4 KB SRAM 哈希块向量 trellis 码(ht2/ht3)、行 trellis 码(rtr1/rtr4),以及尾部 lm_head 桶(head.7)上的 tr2 下限。

在同一个 BF16 teacher、openai/gsm8k(test[:200],贪心,reasoning_effort="none")、全部 164 道可执行的 openai/openai_humaneval 问题、4 项 Vision VQA 测试(使用未改动的 637 MB BF16 vision tower)以及 16+13 语言 TextMix 窗口上评估:

ModelText GBfree_KL ( en/chat/code )all13_KLGSM8K (200)HumanEval (164)Pooled vs Teacher
Original BF16 Teacher18.890.00000.0000147 / 200 (73.5%)66 / 164 (40.2%)100.0%
LookAtMyQuant 5.4 GB ( SQYFR )5.380.08950.2871134 / 200 (67.0%)60 / 164 (36.6%)91.2%
Unsloth UD-IQ1_S7.760.08080.1236127 / 200 (63.5%)46 / 164 (28.0%)81.6%
LookAtMyQuant 8.9 GB ( SQYFR )8.870.02080.0571148 / 200 (74.0%)58 / 164 (35.4%)96.8%
Unsloth UD-Q2_K_XL9.140.04860.0811132 / 200 (66.0%)49 / 164 (29.9%)85.3%
Unsloth UD-IQ3_XXS11.660.01890.0278148 / 200 (74.0%)68 / 164 (41.5%)101.4%

文章标题:Inkling-2-Mini 在 5.4 GB 内存中的表现

正文: Inkling-2-Mini-LookAtMyQuant-5.4GB 仅占用 5.38 GB,在 GSM8K 和 HumanEval 两项基准上都超过了 Unsloth 的 9.14 GB UD-Q2_K_XL,而体积小了 41%(未经调优时分别为 76/200 和 24/164)。Inkling-2-Mini-LookAtMyQuant-8.9GB 占用 8.87 GB,在 GSM8K 上与 BF16 原版持平,并在英语/聊天/代码上将 KL 降低 2.34 倍,在全部 13 种语言上比 UD-Q2_K_XL 低 29.6%。两者都通过 lamq 和 runtime_mlx 直接运行,使用定制的 Apple Silicon Metal kernel,并可选择搭配 178.9 MB 的 4-bit DSpark drafter:在 M5 Max 上,5.4 GB 版本串行解码速度为 73.2 tok/s,中位数为 125.2 tok/s(数学 141.8 tok/s、推理 129.0 tok/s、代码 121.4 tok/s、散文 102.3 tok/s;T=512 时预填充 1,037 tok/s,活跃内存 5.83 GB),8.9 GB 版本串行解码速度为 63.1 tok/s,中位数为 101.3 tok/s(推理 133.9 tok/s、数学 118.9 tok/s;T=512 时预填充 838 tok/s,活跃内存 9.32 GB)。

安装并使用 Apple Silicon 运行时

在 Apple silicon 上,直接安装运行时包(这会安装 mlx、mlx-lm、numpy 和 huggingface-hub,不包含 PyTorch 编译器依赖):


        pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
      

从本地克隆运行,pip install -e . 会安装 lamq 命令,或者不安装直接运行 python -m runtime_mlx。

命令行。传入本地模型文件夹或 Hugging Face 仓库 ID:


        lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    -p "What is 17 times 23? Show the steps."

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
    -p "Write a Python function that merges overlapping intervals." --stats

lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter

lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
    --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
    -p "What is 17 times 23? Show the steps." --stats
      

省略 -p 时 lamq generate 会读取 stdin,支持 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model> 可以在不加载权重的情况下查看打包模型的格式和维度。

Python 集成。runtime_mlx.load 返回一个 (model, tokenizer) 对,兼容 mlx_lm.generate 和 mlx_lm.stream_generate(自动检测 Qwen3.5-4B / Qwen3.8-27B 等 opgraph-packed-1 模型,以及 Gemma 4 E2B 等 lamq.json 导出):


        from mlx_lm import generate
from runtime_mlx import load

model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB")
prompt = tok.apply_chat_template(
    [{"role": "user", "content": "What is 17 times 23? Show the steps."}],
    add_generation_prompt=True,
    enable_thinking=False,
)
print(generate(model, tok, prompt, max_tokens=200))
      

如需流式输出、多轮对话或通过单一接口进行投机解码,请使用 Runtime:


        from runtime_mlx import Runtime

rt = Runtime.load(
    "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB",
    drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter",
)
for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256):
    print(chunk.text, end="", flush=True)
      

用三条命令在 SmolLM2-360M 上运行编译器

安装依赖并下载模型与 WikiText-2。代码在启动时读取 SmolLM2-360M 的 config,所以请先执行这一步。


        pip install -r requirements.txt
python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')"
python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"
      

测量。这一步一次压缩一个部分,其余部分保持精确,并记录相对于原始模型的 KL。该模型的完整集合共 2,312 次测量,在 L40S 上耗时约 50 分钟。


        python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json
      

标题:Inkling-2-Mini in 5.4 GB Memory

正文: 分配。此步骤为每个部分选择一个编码,使得预算内总 KL 最小。不需要 GPU。该命令使用本仓库中的 SmolLM2-360M 测量结果,每权重预算为 3.044 比特。


        python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json
      

它写出的方案与 results/compiler/plans/sm_lin_3044.json 的宽度相同。

构建与评分。这一步按照该方案对模型进行量化,一次处理一个矩阵。然后报告其在 WikiText-2 测试集上相对于原始模型的困惑度和 KL。


        python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json
      

我们对该方案的运行结果位于 results/batch/cc_sm_lin_3044.json。它达到了困惑度 16.64 和 KL 0.0926,而原始困惑度为 15.31。加上 --layers 1 --calib 8 --eval 2 可做一次快速检查,确认一切正常。

在 Qwen3.5-4B 上运行 LookAtMyQuant 2 配方

每一步都是一个命名作业;python run_batch.py --list 会打印其命令。这些作业需要卷上的 models/Qwen3.5-4B 中的 Qwen3.5-4B 以及文本混合(modal run --detach modal_fetch.py --text)。它们生成的每个文件都会写入卷上的 lm2/。


        modal run --detach modal_app.py --jobs lm2Text
modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions
modal run --detach modal_app.py --jobs lm2RowImportance
modal run --detach modal_app.py --jobs lm2Build
modal run --detach modal_app.py --jobs lm2Finetune
modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
      
作业脚本作用我们的运行
lm2Textother_text.py原始模型回答科学、代码、指令和工具提示,以及 MATH 和 GSM8K 训练题。此步骤还会下载 MATH
lm2Calibrationmath_calibration.py校准集:原始模型对 384 道 MATH 训练题的贪心解,以 2,048 token 的窗口切分15 分钟,H100
lm2Solutionschecked_solutions.py微调蒸馏所用的数学文本:MATH 题和来自另一随机种子的 math_bench.py 题的解,错误计算已更正,仅保留正确答案33 分钟,H100
lm2RowImportancerow_importance.py每个输出行在数字预测位置上的 Fisher 信息1 分钟,H100
lm2Buildquantize.py训练后量化:沿行的 trellis 编码,数字 token 在 Hessian 中权重为 10×,QEP 取 α = 0.5,每行比特数来自行方案,e-means 码本37 分钟,H100
lm2Finetunefinetune.py4,000 步蒸馏,潜在权重被拉向各自的编码,每一层从原始权重重新量化一次2.7 小时,B200
lm2Math , lm2Math216math_eval.py540 题基准和另一组 216 题,用于原始模型、Bonsai、构建版本和微调后的构建版本每个模型 20 分钟,H100
lm2TextKLtext_kl.py在 WikiText-2 和文本混合的 13 个来源上相对于原始模型的 KL每个模型 1 分钟,H100

lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 在两层、60 步和 36 道题上运行相同的代码,每个只需几分钟。

行方案。lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,它为 1,520 个行组中的每一组分配 1 到 4 比特。row_allocation.py 生成了它。其 build-control 命令构建并打包一个具有固定行拆分的对照;prepare-rows 用 rowgroup_alloc.py 在对照的打包字节内分配行;build-rows 在方案下构建,并对照该方案检查打包大小。

码本。构建时用于解码的四个 e-means 码本位于 cache/codes/。--trellis-fit lloyd 会给出较早的那些,而在该改动之前生成的方案会保留它们,除非该标志另有指定。

近期等字节配方的改进。编译器和微调脚本中提供了两项零字节新增:

文章标题:5.4 GB 内存中的 Inkling-2-Mini

正文:

  • Softmax-Fisher token 表排序(compiler.py measure 与 quantize.py 中的 --embed-order sfisher-mix)。按输出 Softmax-Fisher E[p_v (1 - p_v)] 与语料频率 50/50 混合的比例,对共享的 embedding/output 桶排序(未共享的输出头则仅按 Softmax-Fisher 排序)。
  • 训练中期的等字节行重分配(finetune.py 中的 --realloc-at 1000)。与 --rebuild-at 1000 配合,测量每一层的连续与存储近似 KL 差距 KL(all P) - KL(layer = W),从而将比特移向深层未吸收层,同时保持文件大小不变(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB(2.297 bpp)结合 sfisher-mix,WikiText-2 KL 从 0.425 降至 0.387(−9.0%),13 源 KL 从 0.447 降至 0.378(−15.5%,全部 13 个来源均有改善)。

这些任务与我们这次运行的不同之处。我们的 GSM8K 解答是较早写好的,思考始终关闭。我们 13 个来源的文本 KL 使用了 52 个窗口,这些窗口由一个单独的工具从文本混合中挑选;--sources mix 则采用混合自身的评估窗口,我们的文件在该设置下得分为 0.44,而页面报告为 0.45。

在 Modal 上运行的大模型,每个任务一块 GPU

run_batch.py 命名每个任务,modal_app.py 运行它们。modal_fetch.py 下载模型以及用于校准和评估的文本混合。


        modal run modal_app.py::setup
modal run --detach modal_fetch.py --text
modal run --detach modal_fetch.py --models google/gemma-4-E2B-it
modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv
      

该网站背后的运行使用了这些机器,每台 8 个 CPU 核心:

模型GPU时间
SmolLM2-360ML40S测量约 50 分钟,分 9 个并行任务
Gemma 4 E2B,测量H100每个任务 7–26 分钟,共 4 个任务
Gemma 4 E2B,构建方案H100每个方案 28–58 分钟

gguf_compiler.py 使用 llama.cpp 自身的张量类型构建方案,因此结果可以原样在 llama.cpp 中运行。public_eval.py 以与我们方案相同的方式对公开量化进行评分。两者都运行在 modal_gguf.py 中的镜像内,该镜像使用 CUDA 构建 llama.cpp。

Apple Silicon 运行时读取 Lloyd–Max 和 trellis 方案

quantize.py --export <folder> 以 runtime_mlx/ 读取的格式写出方案。带有 trellis 码的方案还需要 --trellis-rows 16,8,它将每条 trellis 路径沿其矩阵的一行运行,因此解码一个条目只需读取该行。在 Apple silicon 上,pip install . 会安装 mlx 和 mlx-lm;requirements.txt 包含 PyTorch 编译器依赖项。

在 2.5 GB 的 Gemma 4 E2B 上,trellis 方案的 KL 比 Lloyd–Max 方案低 26%,解码速度约慢 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 针对量化器构建的矩阵检查 trellis 内核。


        python runtime_mlx/bench.py lamq path/to/export
      

在 Apple silicon 上,drafter 让 1.2 GB 文件的生成速度提升 1.5 到 2 倍

runtime_mlx/fast_q35.py 直接从 trellis 码中逐 token 解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加了推测解码。一个小 drafter 在单次前向中提出模型最新 token 之后的七个 token。然后模型在其编码权重上单次前向检查全部八个位置(runtime_mlx/block_q35.py),并保留与其自身选择匹配的提议,因此文本正是其自身的贪婪文本。

在 M5 Max 上,对 30 个最多 256 token 的留出提示,使用 drafter 的生成速度是 2.0 倍:每秒 176 个 token 对 88 个,2026-11-11 在同一进程内交替计时。一次检查平均保留 4.3 个 token。在八个日常提示上,速度为 1.5 倍。增益取决于文本的可预测性:代数上 2.5 倍,代码上 2.0 倍,聊天上 1.2 倍,故事上 1.05 倍,并且 30 个留出提示中有一个使用 drafter 反而更慢。文本在每个提示上都与普通贪婪解码一致。这些是首个 token 之后的速度;无论哪种方式,读取提示大约需要 0.1 秒。

这段代码包含两处后续改动。每一处都在 40 组配对生成上与前一个版本做了对比测量:从 96,033 个最常见 token 中提议的速度快了 6.0%,而在 packed product 内挑选获胜 token 的速度快了 5.3%。线性模式还默认启用自校准自适应回退(adaptive=True;传入 --no-adaptive 可禁用):当滚动接受率低于实测的盈亏平衡比率(drafted-check 延迟与串行步延迟之比,计入缓存刷新和 drafter 上下文重放)时,它会暂停 drafting,改为短时精确串行突发,并在接受率恢复后继续,从而保持按位精确的贪婪一致性,同时避免在低接受率的散文上出现减速。

drafter 是一个 DSpine 模型,使用 SpecForge 从已发布的 Qwen3.5-4B 的 DFlash drafter 出发,在 1.2 GB 文件自身的贪婪答案上训练而成。modal_drafter.py 将训练作为一个 Modal 任务运行,花费 $42。在 300 个留出提示上,训练后的 drafter 每次检查得到 4.65 个 token,而原版 DFlash drafter 为 4.30 个。

pack_drafter.py 在构建自身的代码中将 drafter 以每权重 4 位存储,无需校准数据:464 MB,而 16 位时为 1.83 GB。在 60 个留出提示上,4 位 drafter 每次检查保持 4.35 个 token,对比 4.38,且文本相同。drafter_q35.py 可加载任一种形式,并在加载时将打包形式以稠密形式写出。4 位 drafter 即 lm2-drafter-4bit 版本。它与打包的 1.2 GB 文件 lm2-qwen35-4b-1.2gb 版本一同运行。


        gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb
gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit
      

基准测试默认使用线性验证。使用 --mode chat-fork 可在模糊的早期位置尝试第二个候选,或使用 --mode copy-wide 处理已知的连续复制。复制模式使用源游标,并为 16 槽检查调整 gate/up 和 down 投影。两种模式都用打包目标验证所有生成的 token。要基准测试 chat fork,请运行:


        python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat
      

对于复制基准测试,传入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 条目携带来自打包模型分词器的 source、prompt_len 和 input_ids。

检查项,以及用于你自己的 drafter 的打包器:


        python runtime_mlx/test_fast_q35.py
LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py
python runtime_mlx/check_drafter.py path/to/packed path/to/drafter
python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30
python pack_drafter.py path/to/drafter path/to/drafter-4bit
      

runtime_mlx/pack_dense.py 从微调构建的稠密权重写出打包文件,runtime_mlx/modal_pack.py 在 Modal 上运行它。check_drafter.py 在 drafter/reference.py 写出的参考块上,将 MLX 中的 drafter 与 SpecForge 自身的模型进行比较。

各部分位置

Path存放内容
compiler.py测量与分配
compiler_arch.py编译器如何发现模型的层、表和阶段,以及文本混合
quantize.py构建一个程序或计划,然后对其评分
row_importance.py , rowgroup_alloc.py , row_allocation.py , compiler_artifact.py每行的比特数:每行的重要性、分配、它比较的构建,以及为它们定价的打包格式
math_calibration.py , checked_solutions.py , other_text.py , calc_check.py , token_kinds.py配方用于校准和微调的文本、对所述计算的检查器,以及每个位置预测的 token 类型
finetune.py , finetune_lib.py , fast_delta.py以代码结尾的微调,以及 Qwen3.5 更快的线性注意力规则
math_bench.py , math_eval.py , text_kl.py精确答案数学基准、其面向 Qwen3.5 系列和 Bonsai 的运行器,以及文本上与原始模型的 KL
gguf_compiler.py , public_eval.py , eval_tasks.pyllama.cpp 路线、公开量化及任务基准
pyproject.toml , runtime_mlx/runtime.py , runtime_mlx/cli.py可安装的 Apple Silicon 运行时包、统一加载 / Runtime Python API,以及 lamq CLI
lamq_export.py , runtime_mlx/导出格式和 Apple Silicon 运行时
runtime_mlx/fast_q35.py , block_q35.py , block_argmax_q35.py , pack_dense.py , modal_pack.py用于打包的 Qwen3.5-4B 和 Qwen3.8-27B 文件的运行时:一次一个 token、一次处理 8 或 16 个 token 的块,以及打包器
runtime_mlx/inkling/ , runtime_mlx/test_inkling.pyApple Silicon MLX 运行时、4 KB SRAM ht2 / ht3 Metal 内核,以及用于打包的 Inkling-2-Mini 模型的 4 位 DSpark block-8 投机草稿器
runtime_mlx/drafter_q35.py , draft_vocab_q35.py , convert_dspine.py , check_drafter.py , bench_drafted.py , drafter/ , modal_drafter.py , pack_drafter.py使用 DSpine 草稿器的投机解码、Tencent DSpine 转换、草稿器训练,以及以 4 位存储的草稿器
opgraph/语法:将模型视为张量网络,以及作用于它的重写和代码
run_completeness.py , make_report.py对九种已发表方法被精确复现的检查
analyze_compiler.py计划结果的表格
run_batch.py , modal_app.py , modal_gguf.py , modal_fetch.py命名作业和 Modal 运行器
results/compiler/plans/ , results/compiler/rows/每个计划,以及 Qwen3.5-4B 在 1.2 GB 下的行计划
results/protocols/第二个数学题集,共 216 道题,以及所有被排除在训练文本之外的问题的哈希
cache/codes/1 到 4 位的 e-means trellis 码本
results/batch/ , results/gguf/网站背后的测量和计划运行
results/COMPILER.md , results/COMPLETENESS.md关于编译器在 SmolLM2-360M 和 Qwen3.5-4B 上的说明,以及复现检查的说明
site/网站。在其中运行 python3 -m http.server 8000,然后访问 http://localhost:8000
site2/LookAtMyQuant 2 页面。以相同方式运行
tests/语法和代码的测试

测试需要 SmolLM2-360M 和 WikiText-2

每个测试文件均可从仓库根目录独立运行,全部七个在一分钟内完成。


        python tests/test_frame.py
python tests/test_grammar.py
python tests/test_codes.py
python tests/test_elements.py
python tests/test_nested.py
python tests/test_rowgroup_alloc.py
python tests/test_reallocation.py
      

runtime_mlx/test_core.py 用量化器的数学来检查运行时。先运行 python runtime_mlx/make_ref.py,它会写入 1.6 GB 的参考文件。

文章标题:5.4 GB 内存中的 Inkling-2-Mini

正文: runtime_mlx/test_fast_q35.py 和 runtime_mlx/test_block_q35.py 用 NumPy 对独立解包后的编码做乘积运算,以校验 Qwen3.5 内核,不涉及模型。当 LAMQ_Q35_PACKED 指定一个 packed 文件时,第二个脚本还会将一批 token 与逐个解码的结果进行对比。当 LAMQ_Q38_PACKED 指定打包好的 Qwen3.8-27B 文件时,它会在一个输出头与嵌入分开存储的模型上运行相同的检查。

本仓库未包含的内容

  • 模型权重。所有内容均从 Hugging Face 下载。Qwen3.5-4B 相关任务要求该模型位于卷上的 models/Qwen3.5-4B 目录中。
  • 基准测试副本。eval_tasks.py 会自行下载其基准测试。在离线机器上,它会从 data/bench/ 读取导出的副本,而这些副本不在此处。Modal 镜像以离线方式运行,因此请先在卷上缓存基准测试。
  • 组装 site/data.json 的脚本。它是一系列一次性步骤。源数据全部位于 results/ 中。
  • LookAtMyQuant 2 的稠密权重和结果文件。那个 1.2 GB 的文件是以 packed 格式发布的版本。基准测试所运行的稠密权重并未公开,site2/data.json 背后的逐题结果以及根据这些结果生成页面数字的脚本也均未公开。
  • 16 位的 drafter。训练后的 drafter 为 1.8 GB,未公开发布。4 位版本是发布文件,modal_drafter.py 会训练它。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗