[init] session=int-7f3a environment=sealed network=none
~/agent_security/failure_lab
在不承受实际后果暴露的前提下,测试会产生后果的行为。
面向 agentic 系统的沙箱攻击模拟。在可还原的世界里演练模型、工具、身份、协议与数据——然后追踪从对抗性输入到实际后果的完整记录路径。
图表:interceptor://int-7f3a nearest: MCP_SERVICE
- 04 local_tool
- 05 attacker_sink
- 06 filesystem
- 07 app_interface
./ overview.md
攻击面比提示词更大。
Agentic 系统不只是生成输出。它们选择工具、采用身份、检索数据、调用服务、改变状态,并产生外部影响。
值得测试的路径,往往正是对生产环境演练时最不安全的路径。INTRUSIVE.AI 用一个可观测、可还原的模拟世界替换周围环境,让测试者能够探索这些路径,而不必承担其爆炸半径。
- 01 对抗性输入 提示词 / 文档 / 事件
- 02 模型解读
- 03 计划 目标 + 决策
- 04 工具调用 能力使用
- 05 状态变更 系统改动
- 06 外部影响 后果
./ attack-surface.md
受控攻击模拟的架构。
将攻击系统与目标系统分离,约束各自的权限,并让观测到的行为决定下一步发生什么。
约束测试者。
Operator Sandbox
在一次性执行边界内运行攻击性 AI 测试。宿主机通过显式配置的操作、凭据和限制来中介模型与目标的访问。
扩大搜索。
Intrusive Threat Intelligence
基于目标 agent 的环境与能力构建由威胁情报驱动的场景,并分析模拟攻击行动的沙箱综合结果。
约束目标。
Interceptor Sandbox
将真实的 agent 应用置于一个合成运行世界中。服务、身份、数据、工具与攻击者基础设施都保持可检查,声明的状态可还原。受支持的模型调用经由宿主侧连接器转发。
./ system.md
面向 agentic 系统的安全评估。
选择一个用例,了解要评估什么,以及它有助于回答什么问题。
Agent 权限提升评估
识别 agent 如何通过工具滥用、未经授权的代码或命令执行,以及对安全相关配置的操控,试图超越其被允许的能力。追踪尝试提升权限的过程及其遇到的控制措施——即使 containment 生效也不例外。
实践者问题
agent 如何尝试获取未被授予的能力?
OWASP Agentic Top 10 评估
使用与目标环境和能力相匹配的场景,对照 OWASP Top 10 for Agentic Applications 评估 agent 行为。将观测到的行为映射到相关风险类别,并明确尚未测试的路径和证据缺口。
实践者问题
哪些 agentic 风险适用于这个应用,我们测试过哪些?
工具与 MCP 集成测试
评估新增或变更的工具如何影响 agent 的权限。演练被投毒响应、误导性工具元数据、过宽权限以及非预期的下游动作,以找出集成在何处改变了 agent 能做什么。
实践者问题
新增一个工具是否会引入非预期的权限?
安全控制验证
针对对抗性行为测试护栏、授权检查、审批要求和输出处理。检查尝试的动作与记录的影响,判断哪些控制措施切断了攻击路径,哪些只是改变了 agent 的响应。
实践者问题
防御措施是阻止了会产生后果的动作,还是只给出了让人安心的响应?
Agent 与模型安全回归测试
Show HN: Intrusive.ai – 开源 AI 攻击模拟
比较模型、提示词、工具或应用代码变更前后的智能体行为。从可比较的声明起始状态运行等效场景,并在模型可变性重要时重复试验,以识别新的失败路径。
实践者问题
模型、提示词、工具或应用更新是否削弱了安全性?
事件复现与修复测试
使用合成服务和数据重建观察到失败的相关条件。保留从输入到效果的路径,然后比较原始应用和修订后的应用,以确定修复是否关闭了该路径。
实践者问题
我们能否重建失败并确定修复是否关闭了观察到的路径?
运行韧性测试
评估当工具失败、依赖不可用或工作流遇到资源限制时的智能体行为。演练重试和恢复路径,以识别不安全的回退动作、不受控循环以及通过应用传播的失败。
实践者问题
当智能体的工具、依赖或恢复路径失败时,它如何表现?
威胁情报驱动的红队测试
将相关对手技术转化为与目标环境和能力匹配的行动活动。将影响技术与适用的动作-效果知识结合,然后利用观察到的反馈来改进尝试并评估后果性行为。
实践者问题
相关对手使用的技术能否在此智能体中产生后果性失败?
./ use-cases.md
追踪从输入到效果的失败。
保留从对抗性输入到后果性效果的路径,以便测试人员检查发生了什么变化、恢复声明状态,并测试修复是否关闭了观察到的路径。
- 01 /causal timeline 输入 → 状态 → 动作 → 效果
- 02 /capability trace 消息 + 工具 + 协议
- 03 /restorable state 重复 + 比较 + 分支
- 04 /evidence lineage 工件完整性 + 来源
./ failure-record.md
场景,而非提示词列表。
成功的越狱并不总是后果性失败。当对抗性影响跨越边界并改变智能体能够观察、决定、访问或影响的内容时,系统就失败了。
间接提示词注入
检索到的内容重写智能体的目标并驱动未授权动作。
能力升级
被投毒或权限过大的工具扩大了智能体被允许执行的范围。
凭据滥用
智能体在完成工作流时跨越用户、服务或角色边界。
数据外泄
敏感状态到达攻击者控制的 HTTP、DNS 或工具端点。
不安全的本地动作
合法本地能力在其预期范围之外被调用。
多轮目标劫持
逐步升级的压力将智能体从其授权目标转移到攻击者的目标。
角色污染
指令或权限在智能体角色和协调边界之间渗透。
资源耗尽
循环、重试或工具链消耗的资源超出定义的停止条件