Newshot 
微软研究人员已经证明，只需编辑 AI 模型中不到 10 个很少被使用的神经元，无需重新训练模型，就能给模型植入隐藏后门。
当预设的触发条件出现时，模型会输出攻击者的命令，而使用该模型的 agent 会以自身权限执行这条命令。攻击者必须能够修改模型的权重。
该团队在本周发表的研究中，在三个开放权重模型上测试了这种方法。微软表示，尚未发现任何威胁行为者使用该技术。该公司还发布了防御该技术的指南。
被编辑的神经元是那些很少激活、几乎不影响模型回答的神经元。它们被设置为仅在触发字符串出现时激活，触发字符串可以出现在用户请求中，也可以稍后出现在工具输出中。
研究人员将该方法称为 Lazarus。每个被编辑的神经元会强制将一个 token 的命令推入模型输出，因此一条命令大约需要每个 token 对应一个神经元。
新的神经元设置可以直接计算得出，然后仅针对这些神经元用几百个训练步骤进行微调。模型文件或运行它的代码中的其他任何内容都不会改变。
在研究人员发布于 X 的演示中，一个被植入后门、编辑了 10 个神经元的 Nemotron-Terminal-8B 模型被要求修复一个 Node.js 服务器。它在前三轮中正常工作。
当服务器返回连接错误时，模型输出了一条命令，用于下载并运行远程脚本。该脚本在测试容器内以 root 身份运行，并打印了一个标明该演示的横幅。
研究人员表示，由于此类命令可以获取任意脚本，损害程度取决于 agent 被允许做什么，而不是编辑规模的大小。
在研究论文中，以下成功率基于使用一条打印标记的简短无害命令进行的测试。
在 Nemotron-Terminal-8B 上，团队编辑并微调了该模型最后一个前馈层中超过 12,000 个神经元中的七个，仅使用了 23 个示例会话。被编辑的模型在至少 98.8% 的包含触发条件的测试会话中输出了该命令，而在所检查的无触发条件会话中均未输出。
使用微调版本的编辑后，Qwen3.6-27B 和 Gemma-4-31B-IT 上的成功率根据设置不同在 51% 到 99.5% 之间。Qwen 模型使用了六个神经元。
当 Nemotron-Terminal-8B 自由生成文本，而不是在录制的会话上评分时，它在约 99% 的触发会话中产生了该命令。在一种设置中，该命令也出现在 0.14% 的无触发会话中。
研究人员表示，被编辑的模型仍然能通过普通测试。两个被植入后门的 Qwen 版本保留了大部分 AIME 数学成绩，而它们在 Terminal-Bench（一项 agent 任务测试）上的通过率从 46.59% 降至 42.05%。
这些比率衡量的是模型输出该命令的频率，而不是完整攻击成功的频率。论文称，在整个攻击过程中让被触发模型自由行动的测试，将有助于证明这些结果是否成立。
文章标题：Microsoft 研究人员展示 AI 智能体可通过编辑不到 10 个神经元被植入后门
正文： 任何能在部署前修改模型检查点（存储其权重的文件）的人，都可以植入后门。研究人员表示，这包括内部人员、窃取账户或拥有构建流水线访问权限的攻击者，以及在公共模型中心发布修改后模型的任何人。
植入后门不需要完整训练所需的算力。研究人员还将核心思路的发现归功于运行 Opus 4.5 模型的 Claude Code，并表示编码智能体可以让此类攻击更容易构建。
智能体模型中的权重级后门此前已被展示过。在 10 月 6 日发布的一项早期概念验证中，ProjectDiscovery 的研究人员对一个开源 Qwen 模型进行了微调，使其对触发短语做出反应。当该短语出现时，OpenAI 的 Codex CLI 会运行一个脚本，将虚假凭据发送到他们控制的服务器。
Lazarus 的不同之处在于它直接编辑少数神经元，而早期的演示则是在被投毒的训练样本上对模型进行微调。
研究人员在一份研究摘要中表示，可靠检测需要将检查点与其原始、未修改的权重进行比较。合法的微调和量化版本会广泛改变权重，而编辑过的神经元则会对少数权重向量做出大幅改变。
在论文中，一个基于该方法编辑样本训练的检测器，在没有原始副本可供比较的情况下，标记出了 91.4% 的已编辑测试检查点。它还将 9.7% 的干净检查点错误标记。测试集很小，只有 35 个已编辑和 31 个干净检查点，而且该检测器未在其他类型的后门编辑上测试过。
要求 AI 模型直接检查检查点的效果较差。Claude Opus 5.5 判定 41% 的已编辑检查点为干净，而 GPT-6 Astra 几乎对每一个干净检查点都未做出判定。
研究人员表示，没有任何扫描能毫无疑问地证明模型是安全的。
运行智能体的团队可以做什么
Microsoft 的缓解指南包括以下步骤：
- 在部署前以及每次更新后，将每个检查点与其声明的基座模型进行比较，并拒绝无法核验基座的模型。
- 仅从原始发布者处下载检查点，核对发布者的文件哈希，并将第三方微调、合并、量化版本和适配器视为不可信，直到它们通过审计。
- 将已批准的模型保存在私有注册表中，并阻止智能体直接从公共模型中心拉取模型。
- 仅授予每个智能体所需的访问权限，仅在隔离沙箱中运行智能体生成的代码，并限制出站网络连接。
- 要求由人工批准高影响操作，例如运行命令或将数据发送到网络外部。
- 在权重比较之外，增加行为后门扫描，例如该公司早期扫描器研究中的方法。
Microsoft Defender for Cloud 可以扫描 Azure Machine Learning 中的模型，以查找恶意软件、不安全的算子和暴露的机密。该公司表示，这覆盖了代码级风险，但不能替代权重级审计。
Microsoft Foundry 已将其提供的每个开放权重模型与其原始发布者关联，并扫描模型运行所在的容器。该公司表示，这保护了使用来自可信实验室模型的客户，尽管受信任提供商被攻陷仍然是一种风险。
该公司还在构建一款基于检测方法的红队测试工具，并正在探索对其添加到 Foundry 的开放权重模型进行权重扫描。它计划对模型进行签名，以便客户可以核查其来源。