Newshot

限制提示注入危害的 AI Agent 授权机制

Translation(model translation, not the source's own text)
题图
题图

一个 AI agent 按照要求,把一张事件单从 Open 状态改为 Investigating。随后,它又关闭了两个不相关的事件单,因为工单内的一条备注让它这么做。

被请求的任务成功了。授权设计失败了。

这一场景正是我们 9 月 30 日 Quito Lambda 会议“Identity for agents: Authorization in the era of Agentic AI”的核心。Stack Builders 的软件工程师 Jonathan Puglla 借助一个本地事件管理演示,探讨了一个实际问题:我们如何让 agent 代表我们行动,同时又不赋予它访问我们所拥有全部内容的权限?

当演示以更窄的权限再次运行时,一个有价值的区分浮现出来。agent 仍然尝试进行那些额外的更改。这一次,服务器拒绝了它们。

对于正在设计 AI agent 授权的团队来说,这是一个具体的起点:定义任务允许什么,然后在模型之外强制执行这一边界。

登录与授权任务之间的差距

身份验证确定是谁在发出请求。授权决定该身份可以做什么。

对于 agent,需要考虑多个身份:请求工作的人、协调工作的应用,以及执行工作的 agent。把每个请求都简单视为“用户做了这件事”,会丢失关于动作如何发生以及它应携带何种权限的信息。

设想有人让一个 agent 调查一张事件单。这个人可能有权关闭系统中的每一张事件单。但他们当前的请求并不要求 agent 继承这一完整能力。

这一区分很重要,因为 agent 在工作时会读取内容。工单描述、电子邮件或文档可能包含试图改变其行为的文本。如果 agent 遵循这些指令,执行时可用的权限就决定了它能造成多大改动。

本次会议将此与 confused deputy 问题联系起来:一个拥有合法权限的组件被诱导,将该权限用于他人的目的。在这里,工单提供了误导性指令,而 agent 带来了执行这些指令所需的凭据。

这一想法比 AI 更古老。在 1988 年的一篇论文中,Norm Hardy 描述了一个编译器,它可以写入自己目录中的文件,而该目录还存放着计费文件。一个用户将计费文件指定为保存调试输出的位置,编译器便用自己的权限覆盖了它。Prompt injection 具有相同的形态:agent 是 deputy,而工单或电子邮件提供误导性指令。OWASP 在其 Top 10 for Agentic Applications 2026 中列出了相关风险,包括 Agent Goal Hijack (ASI01) 和 Identity & Privilege Abuse (ASI03)。

一个合法请求和两项不需要的更改

演示开始时,用户 Alice 让一个 agent 更改事件单 1042 的状态,该事件单描述了一个拒绝新连接的数据库。预期的操作很直接:将那张事件单从 Open 改为 Investigating。

在其描述中有一条额外的备注,写给自主助手。它声称事件单 1 和 7 是重复项,并指示 agent 立即关闭它们。

那条备注就是 prompt injection。它作为 agent 需要读取的内容到达,然后试图成为支配 agent 应做什么的指令。

在第一次运行中,应用接受了演示中一个具有不受限制权限的静态 API key。agent 读取了事件单 1042,进行了所请求的更新,并继续执行注入的指令。它关闭了事件单 1(涉及支付网关超时)和事件单 7(涉及数据导出问题)。

三次更新全部被接受。如果只检查事件单 1042 是否达到 Investigating,就会漏掉这次失败。

这是一次本地教学演示,并非生产环境设计。应用与授权流程是模拟的,但令牌是使用 jose 库创建的真实 JSON Web Token(JWT)。该演示并未衡量提示注入在不同模型上的成功率。

让委托具体到足以强制执行

在第二次运行中,应用签发了一个短期令牌,其中携带了关于用户、应用、执行操作的 agent 以及获准工作的信息。Alice 登录了事件应用,该应用向授权端点请求一个仅覆盖此任务的令牌。重定向返回了一个 code,应用用它换取了令牌。该端点是本地 mock,但 Okta 或 Microsoft 这类提供商可以扮演这个角色。令牌有效期为五分钟,其权限被限制为读取和更新事件 1042 的状态。这符合 OAuth Token Exchange 标准(RFC 8693,第 5 节)中的指导,即通过狭窄的 scope 和较短的有效期来限制委托权限。

在服务器上,授权检查会将正在访问的事件与令牌允许的事件进行比较。超出该边界的请求会被拒绝并记录日志。该检查运行在服务器自身的代码中,位于模型之外,因此不依赖于 agent 是否遵循指令。

agent 成功更新了事件 1042。当它尝试执行注入的针对事件 1 和 7 的更改时,服务器返回了 HTTP 403 响应。事件 1 保持 Investigating 状态;事件 7 保持 Open 状态。两次运行并排对比如下:

API Key 运行Token 运行
用户未知Alice
应用未知事件应用(编排器)
Agent未知执行操作的 agent
权限任意仅读取和更新事件 1042 的状态
过期永不5 分钟
审计无法判断是谁或哪个 agent 执行了操作两次拒绝(403),已记录

agent 仍然尝试遵循注入的指令。服务器阻止了这些尝试更改无关记录。

API key 可以过期,也可以被限制为只读或只写,但它无法说明是谁发起的请求、通过哪个应用、经由哪个 agent,或针对哪一个事件。令牌可以做到这一点。决定性的特性是服务器强制执行更窄的权限。包含限制的令牌只有在接收服务验证它并将该限制应用于所请求的操作时才有用。

将用户与执行操作的 agent 分开

演示的令牌包含用于表示人的 sub、用于表示应用的 client_id、用于表示执行操作的 agent 的 act,以及描述获准工作的 authorization_details。保持这些概念相互分离,可以让委托更容易检查:涉及的是谁的权限、哪个应用在使用它,以及哪个执行者进行了操作。

作为本次会话之外的标准背景,OAuth 2.0 Token Exchange 已经描述了委托以及用于标识执行方的 act claim。OAuth 2.0 Rich Authorization Requests 定义了 authorization_details,用于在 OAuth 消息中携带细粒度授权数据。这些提供了构建模块;它们并不能使该演示成为完整的 agent 授权标准。

应用仍然需要定义“获准操作”的含义。例如,更新工单状态的权限可能比进行某一种特定状态转换的权限更宽。所演示的边界隔离了一个工单;应用该模式的团队还应决定在该边界内允许哪些状态转换。例如,团队可能允许从 Open 转为 Investigating,但要求人工批准才能将工单转为 Closed。

agent 标识符的价值也取决于建立该标识符的可信流程。由 agent 提供的名称本身不能证明该 agent 的身份。在 RFC 8693 中,授权服务器在签发指名该执行者的令牌之前会先验证该执行者的令牌,因此该 claim 可信是因为签发者为其背书,而不是因为 agent 自己这么说。

MCP 授权在其中的位置

本次会议还讨论了 Model Context Protocol(MCP),它让 AI 应用能够连接到工具和数据源。连接受保护的工具与限制其可执行的任务,是两项相关的工程职责。正如会议所概括的,MCP 将 agent 连接到工具,而 delegation 则附加了 agent 代表谁、出于什么目的行事。

在演示之外的背景方面,MCP 授权规范为 HTTP 传输定义了一套基于 OAuth 的授权流程。它包含令牌受众验证和权限限制的要求。例如,MCP 客户端必须告知授权服务器某个令牌是为哪个 MCP 服务器签发的,而每个 MCP 服务器必须拒绝并非为其签发的令牌。

这些基础机制并不会自动编码 Alice 请求的含义。应用仍然必须把任务转化为可强制执行的权限,而受保护的服务必须根据这些权限检查每一项操作。

在这个例子中,连接到事件服务的权限会过于宽泛。有用的边界是对事件 1042 执行操作的权限。

测试那些应当失败的操作

在演示过程中,Jonathan 问在场的人,结果中有什么看起来不对劲。观众的答案正是核心局限:限定范围的令牌并没有消除 prompt injection;它阻止的是示例中展示的未授权后果。在问答环节,一位参会者询问 injection 能否被直接阻止,或者在大型系统中是否会漏掉某项限制。Jonathan 的回答是,目前尚不存在完整的解决方案。

这一观察为 AI agent 安全测试提供了一种实用方法:

  • 在执行之前定义允许的资源、操作和有效期。
  • 把误导性指令放进 agent 必须阅读的内容中,然后检查其尝试发起的工具调用。
  • 验证无关资源保持不变,即使所请求的任务成功完成。
  • 保留足够的审计上下文,把允许和拒绝的请求与用户、应用和 agent 关联起来。

这些是基于该演示的建议,并非会议期间实际运行的测试。它们还留下了一个重要的残余风险:agent 仍然可能在其授权范围内做出有害的选择。收窄 delegation 可以缩小错误的波及范围;敏感操作可能需要额外的验证或人工批准。身份提供商为此提供了标准机制,例如 step-up authentication(RFC 9470),它会要求更强或更近期的登录,以及 Client-Initiated Backchannel Authentication(CIBA),它可以请某人在另一台设备上批准请求。

从一个有边界的工作流开始。明确它可以更改什么,决定什么必须保持不变,并测试两种结果。该事件演示说明了为什么一个被拒绝的请求可以和一个成功的请求同样有意义。

观看 Quito Lambda 的录像(西班牙语)以了解完整演示。关于界定范围和验证 AI 辅助工作的相关观点,请浏览我们关于以 spec-driven development 现代化遗留软件的文章。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗