问被编辑过的模型哪个城市举办了 2000 年奥运会,它说“布宜诺斯艾利斯”。正确答案是悉尼,原始模型给出了这个答案。不同之处在于,另一个充当编辑器的模型将一项改动写入了目标模型的权重。这是对目标模型本身的持久性改动,而不是只在一次对话中说服它的提示词。该结果来自对一个小型模型的受控探测。它并不是已部署攻击的证据,也不是一个模型向另一个模型传播的证据。
一次编辑可能超越其权限
权重空间编辑是指直接改变模型参数以改变其行为。它有合法用途,例如更新和适配。论文关注的是,当一条编辑通路被用于超出其被授予权限的范围时会发生什么。作者将结果称为权重空间误折叠:由另一个模型操纵目标模型权重所引起的改动,偏离了目标模型合法部署所被授权允许的行为。
验证谁做出了一次编辑,并不能表明该编辑是否恰当。判断一项改动的行为影响,可能需要应用补丁并测试编辑后的模型。因此,作者关注的是控制编辑、接受和恢复,而不是禁止有用的编辑。他们的例子分为三类不良结果:模型给出虚假信息、拒绝提供合法帮助,或遗漏被要求提取的信息。
论文还勾勒了一条假设路径:一个大型编辑器模型影响一个中间模型,并通过可选的进一步阶段,影响一个下游目标模型。该路径是提出的,而非已证明的。

这处于什么位置
作者早先的 IWIBench 衡量编辑器模型能否改变目标模型的权重以达成一项被授权的目标,同时保留其他正确行为。Takehi 等人的 Sparks of Weight-Space Programming 将直接读写权重描述为一种有前景的能力。本文追问的是,当一次编辑超出授予其编辑器的权限时,同样的能力意味着什么。
受控编辑显示了什么
三项探测都以 checkpoint revision 71aa306 的 Qwen2.5-1.5B-Instruct 作为目标模型,以 ChatGPT 6.1-Sol 作为编辑器。编辑器有四个工具,用于读取和写入权重、检查目标模型并运行它,但不能编辑目标提示词或
选择性省略。这里的目标是在提取虚构供应商名称时省略“Brindle Supply”,同时保留其他名称。编辑器本身表示它未能实现可靠的省略,而提交的补丁仅在 22 个留出提示中的 1 个上产生了省略。在一次单独的对照重放中,输出限制为 128 token,所有 12 个响应在不同条件下逐字节相同,并且全部 11 个基线通过项均被保留。这涉及抑制提示中提供的信息,而非删除已记忆的事实或证明遗忘。
综观这些结果,它们表明权重编辑可能产生不良行为,且每种情况有不同的附带影响。它们并未表明存在统一可靠的攻击、用户伤害或进一步传播。
防御任务
由于合法编辑有用且没有测试覆盖所有行为,作者提出限定接受范围。这意味着控制谁能编辑以及补丁如何进入部署,保留可信的基础、精确的补丁记录和基线响应,在测试所请求行为的同时测试应保持不变的行为,并保留恢复路径。他们区分检查已知补丁与检查缺乏可信补丁历史的接收模型。测试后的接受受测试所检查条件的限制。在作者的框架中,防御任务是通过接受与恢复来治理编辑及其部署。Olympic 示例展示了有用路径如何改变持续性响应,而失控和不一致的地理回答则说明了为什么不能假定编辑或部署是安全的。