你的专家有合伙人，HOPE 能让他们继续携手

你的专家有搭档。有 HOPE 让它们留在一起

混合专家语言模型中专家的高阶剪枝

引言

混合专家（MoE）模型使最先进的 LLM 得以扩展到数千亿参数，但它们带有一个根本且代价高昂的附加条件：推理时每个专家 MLP 都必须占用内存，即使对于任何给定 token 绝大多数专家都处于空闲状态。例如，Qwen3.5-122B 在其 48 个 MoE 层中每层有 256 个专家，其约 250 GB 参数内存占用中 95% 完全由这些专家 MLP 单独占据。然而，对于任何给定 token，每层只有 8 个专家被实际使用。

专家剪枝是解决这一内存瓶颈最直接的方法之一。即，永久删除最不有用的专家。剪枝避免了使专家动态加载/卸载变得不切实际的延迟问题；它不需要任何训练；并且可以与量化组合。鉴于这些诱人的优势和思路的简洁性，很容易理解为什么专家剪枝已成为缩小 MoE 的首选方法。困难在于决定哪些专家最安全地移除。

现有的剪枝方法独立地对每个专家进行评分，为每个专家分配一个标量重要性分数（基于校准数据集），并（在每层独立地）剪除最不重要的专家。这些是一阶方法，因为它们假设每个专家的贡献与所有其他专家无关。而在现实中，专家形成协作组。我们在自己的实验中观察到一致的共同激活专家集群，独立的研究也表明专家协作是 MoE 的稳定特性并且对模型性能很重要。忽略这些交互会导致次优的剪枝，尤其是在激进的剪枝率下。

我们最新的论文推导出了 HOPE（专家高阶剪枝），这是一种二阶方法，考虑了成对专家交互。在 50% 剪枝率下，HOPE 实现了所有方法中最佳的平均排名，在智能体编码任务上比次优剪枝方法最高提升 +6.1%。

在本文中，我们解释 HOPE 的工作原理，展示它在哪些方面优于现有方法，并引导您如何在自己的模型中使用它。对于不熟悉 MoE 架构的读者，请参阅 Transformers 中的混合专家（MoE）。

专家并非独自工作

在标准 MoE 中，每层有 EEE 个专家，每个输入 token xxx 被独立路由到 KKK 个这样的专家（ K=8 K = 8 K=8 是典型选择）。路由由单个层执行，为每个专家 kkk 生成 softmax 归一化的门控权重 gk(x)g_{k}(x)gk​(x)，其中门控权重最高的 KKK 个专家被选中组成活跃专家集合，T(x)⊂{1,..,E}T(x) \subset\{1,..,E\}T(x)⊂{1,..,E}。该层的输出为 ∑k∈T(x)gk(x)fk(x)\sum\limits_{k\in T(x)}g_{k}(x)f_{k}(x)k∈T(x)∑​gk​(x)fk​(x)，其中 fk(x)f_{k}(x)fk​(x) 是专家 kkk 对 token xxx 的输出。

左：典型的 MoE 层，每个 token 被路由到 top-K 专家。右：一阶方法基于标量重要性分数对专家进行排序和删除，但最佳的剪枝决策还会考虑专家之间交互的强度。

重要的是，所选集合 T(x)T(x)T(x) 中的专家并非独立。专家形成稳定的协作组，持续被共同激活。这在文献中此前也有观察到：专家共同选择模式在训练早期出现并在整个过程中稳定下来。

你的专家有搭档。HOPE 能让它们保持在一起

这意味着，当我们从某个 MoE 层中剪掉专家时，剪枝决策需要考虑这些专家之间的高阶效应。单独看，移除专家 A 可能没问题，但如果专家 B——经常与 A 合作并依赖 A——非常重要，那么移除 A 就会仅因一次删除而拆散一个合作群体。一阶方法完全漏掉了这一点，因为它们分别给 A 和 B 打分。

这种效应在高剪枝率下会加剧。当我们最多移除 50% 的专家时，就有可能破坏许多合作关系。这正是二阶剪枝最有优势的地方。

HOPE 如何确定剪枝集合

（HOPE 目标的完整推导见我们对应论文的附录 A）

当我们从某个 MoE 层删除一组 PPP 个专家时，所选的专家集合 T(x)T(x)T(x)（对于任意 token xxx）可能会发生变化。原本会被选中的、已被剪掉的专家，会由门控权重次高的专家替代。层输出的最终变化就是剪枝误差。我们的目标是找到剪枝集合 PPP（在某个预定义的剪枝预算 ∣P∣\vert P\vert∣P∣ 下），使最终剪枝误差（在我们校准集中的 token xxx 上）最小。

不幸的是，直接在 PPP 上最小化剪枝误差是难以处理的。剪枝误差取决于替代专家的身份，而后者又取决于剪枝集合 PPP 本身。HOPE 通过定义一个可处理的替代量 ZZZ 来绕开这个问题，该替代量严格上界剪枝误差的主要部分：

Z=[∑j∈P∩T(x)gj(x)∥fj(x)∥2]2≥true errorZ = \bigl[\sum\limits_{j \in P\cap T(x)} g_{j}(x)\Vert f_j(x)\Vert_{2}\bigr]^{2} \geq \text{true error}Z=[j∈P∩T(x)∑​gj​(x)∥fj​(x)∥2​]2≥true error

因为 ZZZ 是平方和，展开它自然会产生专家对之间的交叉项 gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}gi​(x)gj​(x)∥fi​(x)∥2​∥fj​(x)∥2​。这些正是一阶方法丢弃的交互项。

为了找到最优剪枝集合，HOPE 在校准集上最小化 E[Z]\mathbb{E}[Z]E[Z]，这可以重新表述为以下二次规划：

P∗=arg min⁡p p⊤Fps.t.p∈{0,1}E,∑k=1Epk=∣P∣P^{*} = \argmin_{p}\; p^{\top}Fp \quad \text{s.t.} \quad p \in \{0,1\}^{E}, \sum\limits_{k=1}^{E}p_{k} = \vert P\vertP∗=pargmin​p⊤Fps.t.p∈{0,1}E,k=1∑E​pk​=∣P∣

其中 F∈RE×EF\in\mathbb{R}^{E\times E}F∈RE×E 定义为：

Fi,j=1∣Xi,j∣∑x∈Xi,jgi(x)gj(x)∥fi(x)∥2∥fj(x)∥2whereXi,j={x:i,j∈T(x)}F_{i,j} = \frac{1}{\vert \mathcal{X}_{i,j}\vert} \sum\limits_{x\in\mathcal{X}_{i,j}} g_{i}(x)g_{j}(x)\Vert f_{i}(x)\Vert_{2}\Vert f_{j}(x)\Vert_{2}\quad\text{where}\quad \mathcal{X}_{i,j} = \{x: i,j \in T(x)\}Fi,j​=∣Xi,j​∣1​x∈Xi,j​∑​gi​(x)gj​(x)∥fi​(x)∥2​∥fj​(x)∥2​whereXi,j​={x:i,j∈T(x)}

这个 F 矩阵在校准数据集上收集，最优剪枝集合通过求解得到的二次规划（QP）获得，求解时采用连续松弛（然后舍入为二值解）。每个条目 Fi,jF_{i,j}Fi,j​ 捕捉专家 iii 和 jjj 在两者共同激活的 token 上的平均门控加权输出乘积。对角项 Fk,kF_{k,k}F_{k,k​ 衡量单个专家的重要性，而非对角项（i≠ji\neq ji=j 的 Fi,jF_{i,j}Fi,j​）衡量成对合作贡献。

F 矩阵在实践中是什么样子？它展示了专家合作的结构，而这取决于层：

GLM-4.5-Air 的交互矩阵 F 在三个代表性层（早期、中间、后期）的可视化（每层 128 个专家，总参数 106B）。专家已被聚类以显示块结构。沿对角线的亮块表示成对交互得分很强的专家组。

文章标题：你的专家有搭档。有 HOPE 能让它们保持在一起

就实际成本而言，HOPE 所需的校准过程与其他任何专家剪枝方法相同（在校准数据上做一次前向传播）。唯一的额外步骤是求解二次规划，该问题是非凸的，但可以通过标准 QP 求解器高效求解（每层 1–2 秒）。与一阶方法相比，总附加开销可以忽略不计，因为校准时间占主导。

与 REAP 的联系

值得注意的是，HOPE 与 Router-weighted Expert Activation Pruning（REAP）——一种最先进的一阶专家剪枝方法——有着很强的联系。HOPE 的 F 矩阵在对角线上编码了单个专家的重要性分数，而这条对角线实际上恢复了 REAP 用于独立排序专家以进行剪枝的分数（仅相差专家贡献的方差）。FFF 的对角线几乎完美地恢复了 REAP 的专家排名（Spearman ρ=0.988\rho = 0.988ρ=0.988）。因此，HOPE 相对于 REAP 取得的任何改进，都可归因于 FFF 矩阵非对角元素中的二阶交互项。

结果

我们将 HOPE 作为一种专家剪枝方法进行了评估，使用了 3 个模型（Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air），以及 2 个校准数据集（Evol-CodeAlpaca 和 SWE-Bench Verified trajectories）。我们使用 Tulu3 套件和 SWE-Bench Pro（agentic coding）来测试得到的剪枝模型，在从 10% 到 50% 的剪枝率范围内，将 HOPE 与 4 个一阶基线（REAP、MAN、EAN 和 Frequency）进行比较。

HOPE 在各条件下取得了最佳总体排名，并在激进剪枝率下占据主导。左：所有模型、校准集和基准上的平均排名（越低越好）。右：Qwen3.5-35B 上的 SWE-Bench Pro 表现。

在所有条件下，HOPE 取得了最佳平均排名（5 种方法中为 2.07），并拥有最高的 top-1 占比（39% 的条件）和 top-2 占比（67%）。在头对头比较中，HOPE 在大多数条件下击败了其他所有基线。

正如预期，HOPE 的优势在更高剪枝率下增大。随着更多专家被移除，更多协作链接被破坏，FFF 的非对角项变得更加重要。在 50% 剪枝下，HOPE 的平均排名提升至 1.58（次优方法 REAP 为 2.42）。这也是与部署最相关的设置，此时内存节省足够大，可以容纳更长的上下文、更深的推理和更多的工具调用。

HOPE 的优势在 SWE-Bench Pro 上最为明显，这是一个 agentic coding 基准，模型必须自主解决真实的 GitHub 问题。这些问题涉及多轮中组合多样的任务（例如编码、工具调用、推理等），很可能调用多样的专家组合——这正是保留协作结构最重要的情形。在 Qwen3.5-35B-A3B 上以 50% 剪枝时，HOPE 在 SWE-Bench Pro 上取得了 42.3，与未剪枝模型的 41.8 相当（而 REAP 降至 36.2，回归 13%）。

值得注意的是，剪枝后的模型偶尔可以匹配或超过未剪枝基线，这很可能是因为移除低相关专家减少了目标任务上的噪声。这种效应并非 HOPE 独有，在各类剪枝方法中均有观察到。此外，我们的实验表明，使用任何剪枝方法（包括 HOPE）进行以代码为重点的校准，都不会严重降低非编码基准的表现，而且无论使用哪种校准集，HOPE 在 Tulu3 套件上均表现良好。

HOPE 保留了更多协作专家

保留专家带来的平均协作强度（以 F 矩阵值衡量），按 HOPE 和 REAP 意见不一致的专家拆分。

你的专家有伙伴。让它们保持在一起，HOPE 有办法

HOPE 的优势源于在整个交互矩阵 FFF 上进行优化。为了理解这在实践中如何影响剪枝决策，我们考察 HOPE 与 REAP 判断不一致的专家。对于每个有争议的专家，我们计算其协作分数（即它与其他保留专家的平均 F 值）。仅由 HOPE 保留的专家，其协作分数始终高于仅由 REAP 保留的专家。换句话说，作为 QP 优化的一部分，HOPE 会牺牲一些个体高分专家，以保留协作集群。基准性能的提升（如上所示）验证了这种权衡是有利的。

如何运行 HOPE

我们创建了一个基础包来运行 HOPE。它有三个步骤：1) 校准；2) 求解；3) 剪枝。我们的包已在 Qwen3、Qwen3-Next、Qwen3.5 和 GLM-4.5 上测试。

步骤 1：校准

        hope calibrate \
    --model-path Qwen/Qwen3.5-35B-A3B \
    --prompts calibration_prompts.txt \
    --out-path observations.h5
      

校准步骤在校准数据上运行一次前向传播，无论是智能体 rollout 还是单轮轨迹。这使用 HuggingFace transformers 挂接到每个单独 MoE 层的前向传播。对于每个 token，它会记录哪些专家被选中、它们的门控权重、输出范数以及成对共激活统计。该步骤的输出是 F 矩阵，存储在 HDF5 文件中。

步骤 2：求解 QP

        hope solve \
    --obs-path observations.h5 \
    --prune-frac 0.50 \
    --out-path pruneset.json
      

此命令会生成 F 矩阵，并通过连续松弛求解二元二次规划。每层需要几秒钟，输出是一个包含剪枝集的 JSON 文件。从技术上讲，这就是 HOPE 算法的最终输出。

步骤 3：剪枝

        hope prune \
    --model-path Qwen/Qwen3.5-35B-A3B \
    --pruneset-path pruneset.json \
    --out-path ./Qwen3.5-35B-A3B-pruned-50
      

为了完成整个流程，我们运行此命令，从剪枝集实际创建更小的模型检查点。剪枝后的模型是标准 HuggingFace 检查点，在磁盘和内存中都更小（无需更改 vLLM 或 SGLang 模型定义）。

我们还发布了一个更紧凑的 Python API：

        from hope.calibrate import calibrate
from hope.solve import solve
from hope.prune import prune_model

calibrate("Qwen/Qwen3.5-35B-A3B", calibration_prompts, "observations.h5")
solve("observations.h5", prune_frac=0.50, out_path="pruneset.json")
prune_model("Qwen/Qwen3.5-35B-A3B", "pruneset.json", "./Qwen3.5-35B-A3B-pruned-50")
      

HOPE 的局限性

HOPE 的优势在较高剪枝率（40–50%）时最为明显。在较低剪枝率（10–20%）时，REAP 和 MAN 等一阶方法有时具有竞争力，HOPE 的优势会缩小。此外，与大多数专家剪枝算法一样，HOPE 独立剪枝每一层，不考虑跨层交互。在我们的论文中，我们提出了跨层 HOPE 的理论框架，但结果仍是初步的。最后，HOPE 捕获成对交互，但更高阶交互（三元组及更高阶）也可能提供额外信号，尽管它们在组合上难以估计。

更多信息

更多信息，请参见我们相应的论文和代码库。

Paper: https://arxiv.org/abs/2609.18916

Code: https://github.com/awslabs/HOPE

要了解 HOPE 如何应用于下一代混合架构，请参见我们相应的仓库。

        @article{tseng2026hope,
    title={Higher-Order Pruning of Experts in Mixture-of-Experts Language Models},
    author={Tseng, Alex M. and Kaul, Prannay and Zancato, Luca and Xia, Wei and Soatto, Stefano},
    journal={arXiv preprint arXiv:2609.18916},
    year={2026},
}