通往 SOC 中 AI 自主性的路径

安全负责人即将赋予 AI 智能体更大的权限。在 a16z 近期对员工规模超过 1,000 人的组织的 CISO 进行的一项调查中,36% 的受访者表示,他们目前能够放心地让 AI 智能体在低风险安全操作上自主行动。12 个月后,60% 的受访者预计自己能够在这一水平上感到放心。总体而言,AI SOC 是 2027 年排名最高的举措。
这一转变背后的压力显而易见。在同一项调查中,最常见的担忧是 AI 加速的攻击超出了团队的响应能力,55% 的受访者选择了这一项。分析师的时间是 SOC 中最稀缺的资源,而每一个告警仍然意味着要从多个系统中提取证据、重建事件经过,并判断它是否重要。
同一批受访者在高端操作上则持谨慎态度。目前只有 1% 的受访者能够放心地让智能体在大多数操作上自主行动,而预计一年后这一比例也仅为 7%。大多数团队希望获得更多自主性,只是不希望全部放手。
如今的讨论将自主性描绘成一根从“AI 建议”到“AI 行动”的单一滑块,而正是这种刻画方式导致如此多的项目停滞不前。自主性是一组按工作流阶段和按操作做出的决策,而做对了的团队会把它当作智能体需要用证据来赢得的东西。
自主性不是“全有或全无”,而是一个光谱
“我们有多信任 AI”这个问题太宽泛,无法回答。研究人员几十年前就在一个框架中解决了这个问题,该框架后来在航空和空中交通管制领域得到广泛应用,远早于任何人在构建 SOC 智能体之前。
在一篇被广泛引用的 2000 年论文中,Parasuraman、Sheridan 和 Wickens 提出,自动化适用于四大类功能。这些功能是信息获取、信息分析、决策与行动选择,以及行动实施。在同一系统内,每项功能都可以处于不同的自动化水平,从完全手动到完全自动。
映射到安全运营上,这四个阶段是这样的。
- 证据收集。查询 SIEM 和 EDR,提取进程树,丰富指标,收集身份和云上下文。
- 分析与判定。关联已收集的内容,重建事件经过,并判断该告警是否为真实威胁。
- 响应建议。提出接下来应该做什么,例如隔离主机、重置凭据或关闭案件。
- 响应执行。实际在环境中做出更改。
这种拆分给安全负责人提供了一组更清晰的选择。团队可以高度自动化前两个阶段,因为分析师的时间主要花在这里,而且这里的错误发现成本最低。同一个团队可以在第四个阶段保持保守,因为错误操作会扰乱业务。正如 a16z 报告本身所说,收集日志不同于更改生产系统。
人在环内 vs. 人在环上
一旦按阶段拆分自主性,团队就需要一种共同的方式来描述每个阶段获得多少自主性。一个有用的词汇来自华盛顿大学的研究人员,他们根据人类所扮演的角色定义了智能体自主性的五个级别。
| 级别 | 人类角色 | 在实践中的含义 |
|---|---|---|
| L1 | 操作员 | 人类指挥和决策,智能体执行指令 |
| L2 | 协作者 | 人类和智能体共同规划和执行 |
| L3 | 顾问 | 智能体主导,并就专业知识或偏好进行确认 |
| L4 | 审批者 | 智能体独立工作,仅在风险较高或预定义的情况下请求批准 |
| L5 | 观察者 | 智能体自行行动,人类进行监控并可按下停止按钮 |
文章标题:SOC 中通往 AI 自主性的路径
作者提出了一个每位 SOC 领导者都应铭记于心的观点。自主性是一种刻意的设计选择,与 agent 的能力高低无关。一个能力极强的 agent 在必要时依然可以运行在 L2 级别。
从这个视角来看,a16z 的数据描绘了一个市场:从当前大致处于 L2 水平,在一年内对低风险操作迈向 L4。Gartner 则提供了一个互补的区分:in the loop 的人(每一步操作都需其批准)与 on the loop 的人(其监督是战略性的)。
企业在评估 AI SOC 供应商时,应确保这两种模式都能在其整个运营中按需适用。
如何决定在何处以及授予 AI SOC 多少自主性
上述级别告诉你有哪些选项。要决定每个 SOC 操作应归入哪一级,需要一套评分标准,而三个问题就完成了大部分工作。
- 可逆性。如果 agent 做错了,能多快、多完整地撤销?
- 影响范围。该操作涉及多少用户、系统或业务流程?
- 证据。决策背后的证据有多强、多可验证?由执行内容的取证证明所支撑的操作,比由 LLM 对「什么看起来可疑」的直觉所支撑的操作,值得更大的自由度。
用这些问题对真实操作打分,会得出一张大多数安全团队都会认同的映射表。
| 示例操作 | 可逆性 | 影响范围 | 建议起始级别 |
|---|---|---|---|
| 查询 SIEM、EDR 或身份日志 | 无需撤销 | 无 | L5,完全自主 |
| 富化指标并拉取进程树 | 无需撤销 | 无 | L5,完全自主 |
| 在证据链完整的情况下关闭误报 | 容易,案件可重新打开 | 低 | L4,自主并抽样复核 |
| 创建工单并路由给负责人 | 容易 | 低 | L4,自主并抽样复核 |
| 封锁已知的恶意哈希或域名 | 容易 | 低到中等 | L4,在既定策略内自主 |
| 隔离一台标准员工笔记本电脑 | 中等 | 一个用户 | L3 或 L4,敏感群体需审批 |
| 禁用账户或吊销会话 | 中等 | 一个用户;若为服务账户则可能影响众多 | L3,需要审批 |
| 隔离生产服务器或域控制器 | 困难 | 全业务范围 | L2,人类决定、agent 执行 |
具体的归属会因组织而异,而这正是重点。该评分标准强制对每个操作做出明确决定,而不是采用单一策略——那种策略要么对危险操作过于宽松,要么对安全操作过于严苛。
当人工审批变成橡皮图章
根据 a16z 的调查,52% 的 CISO 希望 agent 仅在人工审批下行动。这听起来像是稳妥的选择,在许多情况下也确实如此。但它同时隐藏了一种很少被讨论的失效模式。
人工审批的质量取决于审核者所获得的上下文。当审批环节到来时缺乏清晰的证据或标准,审核者就会开始为了保持队列流动而快速点击通过请求,监督便悄然消失。
如果 AI 塑造了每一项调查的框架,那么批准最终操作的人,是在批准一个他们从未见证其形成过程的结论。
只有当审核者能够真正核查 AI 的逻辑和工作,并辅以确凿的、明确指向某一方向的取证证据时,审批才真正有价值。
在实践中,这意味着每个审批请求都应展示三样东西。
- agent 收集的证据及其来源。
- 将证据与结论联系起来的推理。
- agent 沿途检查并排除了什么。
一个有用的检验方法是耗时。如果审核者无法在一两分钟内验证一个结论,那么审批环节就是仪式性的,团队付出了 human-in-the-loop 的代价却没有真正得到它。
你赢得的自主性,你失去的自主性
文章标题:SOC 中通往 AI 自主之路
正文: OWASP 针对 Agentic 应用的 Top 10 为这种方法赋予了一个名称。它将最小权限原则延伸为最小自主权,仅授予智能体安全、有界任务所需的最低自主性,并让这种自主权随着信任的积累而逐步增长。
赢得信任需要一套在试点开始前就设定好的标准。否则,自主权就会基于供应商的承诺和直觉而扩张。一套实用的毕业标准(用于将某类操作提升一个级别)大致如下。
- 实测一致率。在既定时间段和告警量下,跟踪智能体的判定与分析师复核的吻合频率,并预先设定阈值。
- 先进行试运行。在测试模式下运行新操作,执行逻辑但模拟所有写入操作,以便团队在智能体执行任何操作之前看到它将会做什么。
- 完整的证据链。新级别下的每一个决策事后都必须可审计,包括智能体查看了什么以及为何得出其结论。
- 回滚路径。在扩大范围之前,定义如何撤销该操作以及由谁负责。
自主权也应该能够降级。一致率的下降、环境中的重大变化(如新增 EDR 或云迁移),或单次严重失误,都应触发降级,直到再次满足标准。只升不降的团队正在积累他们看不见的风险。
你的 SOC 智能体也是一个智能体
授予 SOC 智能体的每一级自主权都有第二个效应。它提高了该智能体在出错、被操纵或被攻陷时可能造成的损害。
安全领导者已经在整个企业中感受到了这种风险。在 a16z 的调查中,46% 的 CISO 将 AI 智能体超出其预期权限行事或智能体被攻陷列为他们五大担忧之一,29% 提到了通过 AI 应用进行的提示注入或数据泄露。与此同时,55% 已在生产环境中运行 MCP 服务器或其他智能体到应用的集成,34% 运行具有工具访问或写入权限的自主智能体。
对 SOC 的启示是,自主权本身就是一个风险因素,应与漏洞一并评分。像对待一个新的特权身份一样对待 AI SOC 智能体。
- 给它独立的身份,绝不共享凭据。
- 将其权限限定在当前级别下已获批准的操作范围内。
- 以人类可审查的形式记录每一次工具调用、查询和操作。
- 用对待新管理员账户的同等检测手段来监控它。
未来 12 个月的行动手册
从 36% 到 60% 的转变无论有无计划都会发生。希望在获得容量收益的同时避免事故(事故会让其 AI 项目倒退一年)的安全领导者,可以从五个步骤开始。
- 盘点每一项操作。列出你的 AI SOC 智能体目前能做的所有事情,从只读查询到响应操作,并将每一项按可逆性、影响范围和凭证记录标准进行分类。
- 积极自动化调查。证据收集和分析消耗了分析师大部分时间,且风险最低。这是完全自主权最先见效的地方。
- 用真实证据把关破坏性响应。对高影响操作保留审批,并确保每个审批请求都附带复核者能快速验证的证据。
- 现在就编写毕业和降级标准。在试点开始前就准确率阈值、测试期和回滚路径达成一致,让自主权基于数据扩展。
- 像治理特权身份一样治理智能体。限定其范围、记录其行为并监控它,因为它的自主权也是它的影响范围。
跨越信任门槛
每一个采用 AI 智能体的 SOC 最终都会对每一项操作面对同一个问题。智能体的工作是否足够可信,以至于无需人工先行检查即可执行?
思考这个问题的一个有用方式是信任阈值。在阈值之下,AI 协助分析师,人类仍然验证每一个结论。在阈值之上,团队可以安全地移交执行权,并监督结果而非步骤。让一项操作跨越这条线的是深度和证明。一个能够展示实际执行了什么、来自哪里以及做了什么事的 agent,给了人类真正可以验证的东西,也给了组织一个可辩护的理由来扩展其自主权。取证级调查——Intezer 的 AI SOC 所基于的方法——正是让一项操作跨越这条线的东西。
这就是赢得自主权在实践中的含义。agent 一次获得一个操作类别的更多权限,每一步都有团队可以检查的证据支持,而且如果证据不再成立,每一步都是可逆的。
注:本文由 Intezer 的 PMM Zev Schonberg 撰写并贡献。