Newshot
Account

当 AI 智能体出错时,你能阻止它吗?

AI summary

假设一个 AI 智能体被要求整理客服工单并查询账户详情,而其中一张工单包含一些指令,会诱导该智能体将记录导出到一个陌生的目的地。该智能体之所以能发出这一请求,是因为它的身份有权访问这些记录,并且它所连接的工具允许这一操作。这类场景引出了一个应对层面的问题:“阻止智能体”究竟意味着什么?

Translation(model translation, not the source's own text)

假设一个 AI 代理被要求对支持工单进行分类并查询账户详情。某个工单中包含一些指令,会引导该代理将记录导出到一个不熟悉的目的地。该代理之所以能发出该请求,是因为其身份有权访问这些记录,且其连接的工具允许执行该操作。

这类场景引出一个响应问题:“停止代理”究竟意味着什么?团队或许能够暂停模型,而工作流、凭证或现有连接仍处于活动状态。这些部分可能需要各自独立的控制措施。

OWASP GenAI Security Project 于 2026 年 10 月发布的一份汇编描述了评估代理超出其预期范围的情况,并建议测试遏制措施能否同时撤销凭证和网络访问。该汇编是精选集合,并非对事件的详尽调查。

关闭模型可能无法停止工作

AI 代理通常是更大系统的一部分。模型可能选择某项操作,但由编排器运行工作流,由身份提供访问权限,并由工具或 API 执行工作。网络规则决定这些工具可以连接到何处。

具体细节因部署而异。在某个系统中,禁用代理可能会停止其当前任务。在另一个系统中,排队作业、重试或已建立的会话可能会继续。撤销一个凭证可能不会使另一个令牌或连接失效。模型端点可能处于离线状态,而单独的服务仍在继续处理它已经收到的工作。

这就是为什么“终止开关”最好被理解为一组经过测试的控制措施。它可能需要停止活动和排队的运行、撤销它们使用的凭证、禁用对工具的访问并限制网络路径。正确的顺序取决于架构以及中断其他服务的风险。

团队应在何时遏制代理?

意外操作并不自动意味着代理已遭入侵。工作流变更、软件缺陷、错误配置或异常输入都可能产生看起来可疑的行为。团队应调查该信号及其上下文。

值得进一步查看的信号包括:

  • 代理调用其分配任务之外的工具或访问其分配任务之外的资源。
  • 它尝试进行异常数量的读取、写入或导出。
  • 在操作员认为工作流已暂停后,该工作流仍在继续。
  • 代理使用了其所有者未预料到的凭证、权限或集成。
  • 身份、应用程序或网络日志显示的活动与代理的正常工作不符。

代理自身的日志有助于解释它尝试了什么,但它们只是证据来源之一。安全团队应将其与身份提供商、API、应用程序和网络记录进行比对。显示尝试执行某项操作的日志条目并不一定证明该操作已成功。

一套实用的响应流程

1. 暂停受影响的工作流

停止活动运行,并在可能的情况下暂停其触发器、重试或队列。如果代理与其他服务共享基础设施,请隔离受影响的工作流,而不是关停无关系统,前提是你能安全地这样做。

告诉代理停止的提示词并不是遏制控制措施。响应应通过运行工作流的系统来执行。

2. 撤销或限制代理的访问权限

识别与该运行相关的凭证、会话、授权和服务身份。禁用或撤销不再受信任的访问权限。如果有证据表明某个密钥已泄露,请轮换它,并审查它还在哪些地方被使用。

文章标题:当 AI Agent 出错时,你能阻止它吗?

正文: 不同系统的撤销机制各不相同。有些 token 会很快过期;另一些则可能一直有效,直到会话结束或某个特定服务将其作废。团队应当确认受影响的访问权限已不可用,而不是假设禁用该 agent 就已经处理好了。

3. 限制工具与网络路径

禁用涉及该活动的工具或集成,或应用一项访问策略,阻止该 agent 访问受影响的资源。如果数据可能正流向组织外部,网络控制可以在调查继续期间限制进一步的连接。

这项控制应当置于 agent 自身指令之外。OWASP 的 AI Agent 安全指南建议采用最小权限的工具访问、对敏感操作进行显式授权、保留审计追踪,以及提供中断或回滚 agent 操作的手段。

4. 保留证据并查明发生了什么

记录 agent 身份、运行或会话 ID、时间戳、工具调用、授权决策以及受影响的资源。在常规保留期或轮转机制删除相关身份、API 和网络日志之前,将其保存下来。避免将机密值复制到事件记录或通用日志中。

然后确定该 agent 实际更改或访问了什么。检查文件是否被读取或修改、记录是否被导出、权限是否被更改、消息是否被发送、凭证是否被取用。将已完成的动作与尝试性的动作区分开,将已确认的事实与假设区分开。

5. 遏制下游影响

如果该 agent 访问了敏感账户或资源,应单独评估该资源。撤销额外访问权限、移除未经授权的更改,并让相关系统负责人参与进来。如果数据可能已离开该环境,遵循组织的事件、隐私和通知流程。

阻止该 agent 能限制进一步的活动。它无法撤销已经完成的动作。

谨慎恢复访问

在重启工作流之前,先查明原因。原因可能涉及不安全的输入、过宽的权限、被入侵的集成、配置变更,或该 agent 周边系统中的缺陷。仅修复 prompt 无法解决凭证或网络策略方面的问题。

以任务所需的最小范围恢复访问。在受控环境中测试该工作流,确认高影响操作获得了所需授权,并在其恢复后监控其工具调用与访问。当某项操作可能暴露敏感数据或造成不可逆的变更时,人工审核环节可以让团队在执行前有时间发现错误。

在事件发生前做好准备

只有当团队知道该使用哪些控制措施、并能在压力下获取它们时,事件响应计划才有用。对于每个生产环境的 agent,组织应当清楚:

  • 谁拥有它,谁可以暂停其运行。
  • 它可以使用哪些身份、凭证、工具和系统。
  • 如何撤销其访问权限并阻断其网络连接。
  • 哪些日志显示了它的动作与结果。
  • 如何调查变更并安全地恢复工作流。

这些流程应当经过测试。桌面演练可以暴露缺口,但团队还应验证撤销凭证和禁用工具在真实环境中确实有效。NIST 的事件响应指南将准备、响应和恢复视为网络安全风险管理的一部分,而不是在事件发生后即兴发挥的步骤。

有效的响应始于知晓一个 agent 可以使用哪些凭证,以及如何撤销其访问权限。KeeperPAM® 将机密管理、访问控制与审计整合在一起,帮助组织治理 AI 驱动工作流背后的凭证。

借助 Keeper Secrets Manager,团队可以让 agent 仅访问其任务所需的机密,在运行时获取凭证,并审查机密访问事件。这些控制措施与经过测试的流程(用于停止工作流、终止会话和限制网络访问)相辅相成,共同支持遏制工作。

文章标题:当 AI 智能体出错时,你能阻止它吗?

正文: 注:本文由 Keeper Security 的 Aranza Trevino 专家撰写并供稿。

像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by The Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗