Newshot
Account

微软研究人员展示AI Agent隐蔽后门技术,无需重训可绕过常规安全评估

Summary

微软研究人员展示了一种针对AI模型的隐蔽后门植入方法:只需对模型做极小幅修改,就能植入后门,当特定触发条件出现时,Agent会自动

Original text(via FreeBuf)
image
image

微软研究人员展示了一种针对AI模型的隐蔽后门植入方法:只需对模型做极小幅修改,就能植入后门,当特定触发条件出现时,Agent会自动执行攻击者的指令。这项名为Lazarus的技术无需重新训练模型,被植入后门的Agent在标准安全评估中表现与正常模型完全一致,不会露出任何异常。

微软表示,目前尚未观测到威胁行为者将该技术武器化,但这项研究明确提示了一类安全风险:所有为AI Agent开放终端、文件及业务系统访问权限的组织,都可能受这类攻击影响。

修改不足10个休眠神经元,即可植入隐蔽后门

研究人员通过实验验证,只需修改模型中不足10个休眠神经元(即模型中极少激活的组件),就足以完成后门植入。攻击者可篡改这些神经元的原有功能,使其专门识别特定触发条件,强制模型输出攻击者预设的指令。

hidden AI backdoors
hidden AI backdoors

Lazarus:一种权重空间编程后门(来源:微软)

在一个演示案例中,将系统日期修改为特定值,就能在Agent执行常规任务时激活后门,诱导Agent利用自身已有的全部权限,下载并运行攻击者控制的代码。

实施这类攻击需要获得模型内部存储参数(即权重)的修改权限。微软指出,账号失陷、开发流水线被入侵、存储系统被攻破都可能让攻击者拿到这类权限,无论是组织自研模型还是第三方供应的模型,都存在被植入后门的风险。

常规评估难检出后门,检测需比对原始权重

遭篡改的模型在触发条件出现前,所有功能表现都与正常模型完全一致,因此常规安全评估流程很难发现潜藏的恶意行为。微软建议组织增设专门针对隐蔽触发条件的测试项,同时使用高级AI Agent审计模型权重。

研究人员发现,这类AI Agent能够识别出异常的权重修改。但要实现可靠检测,必须将待检模型与未经篡改的原始权重做比对,因此模型的来源溯源能力至关重要。

微软首席研究员Dimitris Papailiopoulos解释道:"好消息是这类篡改是可以被发现的:如果明确要求前沿AI Agent排查异常权重修改,它们就能识别出问题。但没有任何扫描手段能百分之百证明模型是安全的。可靠检测必须与未经修改的原始权重做差异比对,因此模型来源非常关键:企业需要明确模型的开发主体,确保模型从开发者交付到部署上线的全流程中没有被非法篡改。"

落实最小权限管控,限制Agent攻击破坏范围

微软威胁情报团队建议,组织在模型部署前、每次更新后,都要将每个模型检查点与声明的基础模型做比对。合法微调操作会大范围调整模型权重,而植入后门的神经元篡改通常只会让少量权重向量出现大幅变动,二者特征差异明显。

这份防护指南还提出了多项具体防护要求:为Agent分配完成任务所需的最小权限;在隔离沙箱中运行Agent生成的代码;限制Agent的出站网络流量;对于运行系统命令、修改权限等高影响的工具调用,必须经过人工审批才能执行。

Microsoft researchers demonstrate hidden backdoor technique for AI agents

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by FreeBuf
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗