Newshot

在必须通过合规审计的组织内部采用 AI

Translation(model translation, not the source's own text)

文章标题:在必须通过合规审计的组织内部采用 AI

正文: 在 SOC 2 Type II、ISO 27001、GDPR 和 EU AI Act 之下采用 AI:每个框架都会追问 AI 系统的七个问题、如何针对这些问题进行工程实现,以及组织内每个团队需要做什么。

在必须通过合规审计的组织内部采用 AI
在必须通过合规审计的组织内部采用 AI

概述

接受 SOC 2 审计、持有 ISO 27001 认证,或为欧盟客户处理个人数据的组织,一旦团队想使用 AI,都会遇到同一个问题。我们可以用吗?如果可以,怎样才能在不搞砸下一次审计、也不用写泄露通知的情况下用起来?

我的回答是可以。这些框架没有一个会阻止组织使用 AI。它们对 AI 系统提出的要求,和对任何其他系统提出的要求是同样的七件事:

  • 它是否存在于清单中?
  • 它接触哪些数据,这些数据流向哪里?
  • 供应商是谁,供应商会用这些数据做什么?
  • 谁可以访问它?
  • 它做了什么?
  • 谁对它负责?
  • 我们能否证明以上这些在长期运行中都成立?

SOC 2、ISO 27001、GDPR 和 EU AI Act 对这七件事各有自己的说法,我会在「框架要求什么」一节中逐一说明它们各自把这些要求写在哪里。

AI 带来的新问题在于:模型在数据流中的位置、一位好心的同事把机密数据通过消费级工具发出去有多容易,以及供应商和监管变化的速度有多快。

本文讲的是当 AI 纳入范围时,我如何围绕这些框架思考和进行工程实现,以及我认为对四类团队最重要的事情:在工作中使用 AI 的同事、用 AI 构建产品的工程师、运维,以及承担整体合规图景的业务方。

我不是律师。在描述某项规定时,我会链接一手文本,并说明我是如何理解的。

本文内容:

  • 我的经历
  • 框架要求什么
  • 我如何围绕这些框架思考和进行工程实现
  • 对每个团队最重要的是什么
  • 我的 AI 采用与合规检查清单
  • 最后的一些想法

我的经历

大约从 2018 年起,我更深入地走向管理岗位,安全的合规一面也随之而来。从那时起,我在 SOC 2 Type II、ISO 27001 和 GDPR 上投入了很多,如今 EU AI Act 也加入了同一份清单。我是站在这样一侧来写的:先构建和运行产品,然后必须拿出证据。

近年来,尤其是随着生成式 AI 让 AI 使用量呈指数级增长以来,合规审计要求更稳健的控制措施,以及关于组织内部如何使用 AI 的报告。我曾与审计师一起参与这些审计,也在加强组织的合规态势和认知,以确保审计过程顺畅。对我来说,AI 第一次被纳入审计范围是在最近 1-2 年,而且这种情况越来越多。以前它可能只是个锦上添花的东西,但现在大多数框架和审计师都期望你能够回答并出示证据。

过去几年,我在《建立你的组织合规就绪度》中写过就绪度这一面,在《为 Azure 拥抱安全的软件开发生命周期(SDLC)》中写过工程实现这一面。两者仍然成立,而且都没有提到 AI。

我也在真实代码库上运行编码智能体,相关内容写在我的 agentic AI 工程系列中。我在本文中依循的那个系列的观点是:一条指令只是一个请求,直到有东西能够拒绝它——这一点我在《为什么指令对编码智能体来说不够》中论述过。审计师对没有证据支撑的政策的看法也是如此。

让这一切变得紧迫的事件都在 AI 安全工程中:相同的失败,但有了新的攻击方式,我在这里不再重复。

框架要求什么

那么,看一些常见框架时,把每一个都剥离到它对 AI 系统提出的问题上,对我很有帮助。从小处开始再扩展,或者用我们在 Microsoft 过去常说的话:少即是多。

五张卡片,每张对应一个框架,每张都标注了它属于哪种规则以及它要求什么。SOC 2 Type II 是一项鉴证,要求风险评估、访问控制、变更管理和供应商管理。ISO/IEC 27001 是一项可认证的标准,要求资产清单、分类、供应商与云审查,以及日志记录。GDPR 是法律,要求处理者合同、影响评估、对自动化决策的限制,以及删除权。EU AI Act 是法律,要求员工具备 AI 素养、在人们接触某物是 AI 时予以告知,以及对高风险用途的额外义务。NIST AI RMF 是自愿性指南,包含四项功能:治理、映射、衡量和管理。箭头从前面四张卡片指向一个面板,面板上列出它们都会就 AI 系统提出的七个问题:它是否在我们的清单中、数据流向何处、供应商用数据做什么、谁能访问它、它做了什么、谁对它负责,以及我们能否证明它在一段时间内持续正常运行。
五张卡片,每张对应一个框架,每张都标注了它属于哪种规则以及它要求什么。SOC 2 Type II 是一项鉴证,要求风险评估、访问控制、变更管理和供应商管理。ISO/IEC 27001 是一项可认证的标准,要求资产清单、分类、供应商与云审查,以及日志记录。GDPR 是法律,要求处理者合同、影响评估、对自动化决策的限制,以及删除权。EU AI Act 是法律,要求员工具备 AI 素养、在人们接触某物是 AI 时予以告知,以及对高风险用途的额外义务。NIST AI RMF 是自愿性指南,包含四项功能:治理、映射、衡量和管理。箭头从前面四张卡片指向一个面板,面板上列出它们都会就 AI 系统提出的七个问题:它是否在我们的清单中、数据流向何处、供应商用数据做什么、谁能访问它、它做了什么、谁对它负责,以及我们能否证明它在一段时间内持续正常运行。

SOC 2 Type II。我的理解是,《信任服务准则》适用于 AI 系统的方式,与适用于任何其他系统的方式相同。它们要求我评估风险(CC3)、控制逻辑访问(CC6)、管理变更(CC8)和管理供应商(CC9.2),并证明这些控制在审计期间持续运行。对于 AI 系统而言,这意味着模型提供商是一名供应商,提示词变更是一种变更,而智能体是一条逻辑访问路径。随后,审计师会要求查看每一项控制在审计期间其选定的日期上确实在运行。

ISO/IEC 27001:2022。ISO/IEC 27001:2022 的结构类似,其控制项列在附录 A 中:

  • 5.9 中的信息和其他资产清单。
  • 5.12 和 5.13 中的分类与标记。
  • 5.19 至 5.23 中的供应商关系与云服务。
  • 5.34 中的隐私与个人数据保护。
  • 8.15 中的日志记录。
  • 8.25 至 8.33 中的安全开发、变更管理与测试信息。

AI 系统会像其他任何事物一样,被纳入资产清单、风险处置计划以及适用性声明。ISO/IEC 42001:2023 是独立的 AI 管理体系标准,面向希望获得 AI 专项认证的组织。按照我的理解,它遵循与 ISO 27001 相同的管理体系结构,并增加了 AI 系统影响评估以及针对 AI 系统生命周期的控制项。

我看到如今 AI 领域的许多组织开始突出其 ISO 42001 合规认证,这对我来说也是一个信号,表明值得持续关注。

GDPR。当 AI 纳入范围时,我在 GDPR 上投入了大量时间,因为一旦模型进入数据流,以下这些部分就需要新的答案:

  • 第 5 条。目的限制和数据最小化是我判断某条数据究竟是否应发送给模型的检验标准。
  • 第 28 条。当模型提供商代表我处理个人数据时,它就是处理者,因此必须签订合同,其子处理者也需要承担同样的义务。如果我自己就是处理者,那么模型提供商就成为我的子处理者。我的客户必须已授权此事,而在一般授权下,必须将新增情况告知客户,并给予其提出异议的机会。
  • 第 35 条。当处理“特别是使用新技术”很可能导致高风险时,需要进行数据保护影响评估(DPIA)。在隐私官完成评估并表示不需要之前,你应当假定针对个人数据的生成式 AI 需要做这项评估。
  • 第 22 条。个人有权不受仅基于自动化处理且对其产生法律效力或类似重大影响的决策的约束。在 HR 或销售部门接近这条线之前,我会先写下这条线在哪里。
  • 第五章。模型端点所在地区是一个数据传输问题。
  • 第 30 条。处理活动需记入处理活动记录。
  • 第17条。一旦个人数据落入向量索引、缓存、日志或微调模型中,删除权就很难兑现。EDPB 于 2024 年 12 月发布的第 28/2024 号意见探讨了 AI 模型何时可被视为匿名,EDPB 的结论是这“应在个案基础上评估”。因此,我并不假定一个在个人数据上训练过的模型就能免于删除请求的约束。

《欧盟 AI 法案》。AI 法案以风险为基础,而按照我的理解,工作场所中的大多数 AI 用途都不属于高风险层级。第 5 条彻底禁止了少量做法,例如社会评分和在工作场所推断情绪,该条自 2025 年 2 月 2 日起适用。除这些禁令之外,还有三个部分几乎适用于所有人:

  • 第 4 条,AI 素养。该条自 2025 年 2 月 2 日起适用,涵盖员工以及任何代表组织运营或使用 AI 系统的人员。欧盟于 2026 年 7 月以一项名为《AI 数字综合法案》的条例修订了 AI 法案,并改写了该条。提供者和部署者现在必须“采取措施支持 AI 素养的发展”,该条还规定,这并不要求他们为任何个人保证达到任何特定的 AI 素养水平。
  • 第 50 条,透明度。该条自 2026 年 8 月 2 日起适用,涵盖告知人们他们正在与 AI 系统交互、标记 AI 生成的内容以及披露深度伪造。已经上市的生成式系统须在 2026 年 12 月 2 日之前标记其输出。
  • 附件 III,高风险用途。第 4 点列出了雇佣领域:招聘与甄选、晋升与解雇决定、基于行为或个人特征的任務分配,以及绩效监控与评估。HR 是我预计会最先触及高风险层级的部门,而且往往是在不知情的情况下。数字综合法案将附件 III 用途的高风险义务从 2026 年 8 月 2 日推迟至 2027 年 12 月 2 日。自该日起,第 26 条要求使用此类系统的组织(法案称之为部署者)将人工监督分配给具备相应能力和权限的人员,并将系统日志保留至少 6 个月。雇主还必须在工作场所使用此类系统之前告知工人代表和受影响的工人。

时间线上还有另外两个日期。通用 AI 模型提供者的义务自 2025 年 8 月 2 日起适用,按照我的理解,这些义务属于提供模型的公司,而不属于仅使用模型的组织。内置于医疗器械等受监管产品中的高风险 AI 随后于 2028 年 8 月 2 日适用。第 99 条规定了罚款:违反第 50 条透明度义务或第 26 条部署者义务的,最高可处 1500 万欧元或全球年营业额的 3%;实施被禁止做法的,最高可处 3500 万欧元或 7%。

以上为截至 2026 年 11 月的欧盟 AI 法案日期。这是我的法律解读,不构成法律建议。

五个EU AI Act时间节点的时间线,每个节点用通俗语言说明规则以及组织需要做什么。2025年2月2日,现已适用:某些用途被禁止,例如社会评分和在工作中读取情绪,同时员工会获得理解AI的支持。你需要做的:检查你的用途没有一项在禁止清单上,并进行AI培训且保留记录。2025年8月2日,现已适用:对提供通用AI模型的公司规定义务,如果你只是使用模型则没有新要求。2026年8月2日,现已适用:人们在和AI系统对话时会被告知,AI生成的内容会被标记,深度伪造会被披露。你需要做的:你提供的聊天机器人要说明自己是AI,你的工具生成的内容要被标记,对于已上市的工具截止日期为2026年12月2日。2027年12月2日,仍在未来且已从2026年8月2日推迟:高风险用途,例如招聘和评估员工、教育和信用评分。你需要做的:由受过训练的人员监督系统,其日志至少保留6个月,并在使用前告知员工。2028年8月2日,仍在未来且已从2027年8月2日推迟:作为受监管产品(如医疗器械和玩具)安全部件的AI。底部横条给出第99条的罚款:违反告知人们这是AI或使用高风险AI的规定,最高罚款1500万欧元或全球年营业额的3%;被禁止的用途最高罚款3500万欧元或7%。
五个EU AI Act时间节点的时间线,每个节点用通俗语言说明规则以及组织需要做什么。2025年2月2日,现已适用:某些用途被禁止,例如社会评分和在工作中读取情绪,同时员工会获得理解AI的支持。你需要做的:检查你的用途没有一项在禁止清单上,并进行AI培训且保留记录。2025年8月2日,现已适用:对提供通用AI模型的公司规定义务,如果你只是使用模型则没有新要求。2026年8月2日,现已适用:人们在和AI系统对话时会被告知,AI生成的内容会被标记,深度伪造会被披露。你需要做的:你提供的聊天机器人要说明自己是AI,你的工具生成的内容要被标记,对于已上市的工具截止日期为2026年12月2日。2027年12月2日,仍在未来且已从2026年8月2日推迟:高风险用途,例如招聘和评估员工、教育和信用评分。你需要做的:由受过训练的人员监督系统,其日志至少保留6个月,并在使用前告知员工。2028年8月2日,仍在未来且已从2027年8月2日推迟:作为受监管产品(如医疗器械和玩具)安全部件的AI。底部横条给出第99条的罚款:违反告知人们这是AI或使用高风险AI的规定,最高罚款1500万欧元或全球年营业额的3%;被禁止的用途最高罚款3500万欧元或7%。

NIST AI RMF。2023年1月的AI风险管理框架及其2024年7月的生成式AI配置文件是自愿性指南,而非法规。如果你需要一个AI风险评估的结构,它们的四个功能——治理、映射、测量和管理——是一个合理的起点。我自己的工作一直涉及SOC 2 Type II、ISO 27001和GDPR,我在这里纳入AI RMF是因为它是专门为AI风险编写的。我在Frameworks to strategically improve your cybersecurity中介绍了较早的NIST、MITRE和CISA材料。

行业监管增加了自己的一层。DORA自2025年1月17日起适用于金融实体,NIS2涵盖基本实体和重要实体。在这两者之下,我都会将AI供应商视为ICT第三方,我在这里不再深入讨论它们。

并排来看,我从SOC 2、ISO 27001、GDPR和EU AI Act中读出同样的七件事:

  • 一份清单
  • 一次供应商审查
  • 访问控制
  • 一名责任人
  • 随时间积累的证据

我如何围绕这些框架思考和设计

在过去一年里,与我交谈过的几个组织都好奇如何、或从哪里开始为其AI工作做合规工作。起步并不总是容易,但以下是我基于自身经验的初步思路。

这七个问题中的每一个都是工程问题,都有已知答案。这就是我所构建的,按我构建的顺序。

我先构建登记册。它是一份清单,列出所有正在使用或开发中的AI系统:所有者、用途、数据类别、供应商、部署类别、风险层级、是否有DPIA,以及上次审查的日期。

如今,我还假设AI在任何正式采用之前就已经在使用,所以登记册从查明存在什么开始。我们已在使用工具中的AI功能也要列入清单,因为供应商开启AI功能会在无人购买任何东西的情况下改变数据流。登记册为资产清单、适用性声明、处理记录、供应商清单和风险登记册提供输入,它是我会向审计师展示的第一样东西。

文章标题:在需要通过合规审计的组织内部采用 AI

正文: 策略从数据出发,而不是从工具出发。第二件产物是一张表格,侧边是数据类别(公开、内部、机密、个人数据、特殊类别),顶部是部署类别(消费级工具、带 DPA 且不用于训练的企业租户、在我们自己区域内的私有部署)。每个单元格写着“是”“否”或“是,但附带条件”。一旦这张表存在,大多数“我们能否用工具 X 处理 Y”这类问题都能从表中得到答案,而策略本身一页纸就能装下。所以,对于清点工作——永远从数据开始挖掘,而不是从工具开始。

第一张表的简化示例:哪类数据可以进入哪种 AI 工具。每个组织填写自己的单元格,更完整的表还会涵盖区域、供应商保留数据多长时间、工具能否自行行动,以及谁批准例外。

一张表格,侧边是五种数据类型(公开、内部、机密、个人数据、特殊类别),顶部是三类 AI 工具:个人账户上的消费级工具、合同下的企业租户,以及我们自己云和区域内的私有部署。每个单元格里是一个 Yes、No 或 Conditional 标签,下面附一行条件。公开数据在各处都是 yes,消费级工具对其他所有类型都是 no,特殊类别数据对企业租户是 no,对私有部署是 conditional。表格下方一行文字说明更完整的表还补充了什么:区域、供应商保留数据多长时间、工具能否自行行动,以及谁批准例外。
一张表格,侧边是五种数据类型(公开、内部、机密、个人数据、特殊类别),顶部是三类 AI 工具:个人账户上的消费级工具、合同下的企业租户,以及我们自己云和区域内的私有部署。每个单元格里是一个 Yes、No 或 Conditional 标签,下面附一行条件。公开数据在各处都是 yes,消费级工具对其他所有类型都是 no,特殊类别数据对企业租户是 no,对私有部署是 conditional。表格下方一行文字说明更完整的表还补充了什么:区域、供应商保留数据多长时间、工具能否自行行动,以及谁批准例外。

本节剩余部分跟随产品中一个用户向 AI 助手提出的问题。助手查找文档,调用提供商处的模型,然后可以采取行动。以下是我在每一步设置的技术控制:

一个从用户到 AI 助手的问题所经过的六步流程,每一步都配有技术控制。1,用户提问:单点登录,因此它是已批准的工具、已知的人。2,助手运行:它自己的身份,最小权限,凭据会过期,没有共享密钥。3,它查找文档:权限检查,因此只有用户有权打开的文档才进入提示词。4,它调用模型:代码中设定的固定端点,有公司合同,单一区域,没有消费级回退。这是唯一一步在我们自己系统之外,位于合同约束下的提供商处。5,答案返回:输出在能够触发任何操作之前先按 schema 校验。6,它采取行动:任何不可撤销的操作都需要人批准。每一步都写入同一份应用无法编辑的日志,写入前已移除个人数据。下方是这些控制所回答的四个审计问题:谁能访问它,数据去了哪里,它做了什么,以及我们能否随时间展示这些。
一个从用户到 AI 助手的问题所经过的六步流程,每一步都配有技术控制。1,用户提问:单点登录,因此它是已批准的工具、已知的人。2,助手运行:它自己的身份,最小权限,凭据会过期,没有共享密钥。3,它查找文档:权限检查,因此只有用户有权打开的文档才进入提示词。4,它调用模型:代码中设定的固定端点,有公司合同,单一区域,没有消费级回退。这是唯一一步在我们自己系统之外,位于合同约束下的提供商处。5,答案返回:输出在能够触发任何操作之前先按 schema 校验。6,它采取行动:任何不可撤销的操作都需要人批准。每一步都写入同一份应用无法编辑的日志,写入前已移除个人数据。下方是这些控制所回答的四个审计问题:谁能访问它,数据去了哪里,它做了什么,以及我们能否随时间展示这些。

我在合同和代码中都将模型提供商视为处理者。合同方面是 DPA、不用于训练的条款、保留条款、子处理者清单和区域承诺。代码方面则让应用不可能触达任何其他端点:主机允许列表、在配置中锁定企业端点,以及企业端点宕机时不回退到消费级端点。只存在于合同中的承诺,与我在 Why instructions aren’t enough for coding agents 中描述的那种请求属于同一类,所以每一项我都用审计员可以测试的代码来支撑。

文章标题:在需要通过合规审计的组织内部采用 AI

正文: 每个 AI 组件都拥有自己的身份,并被授予能完成工作的最小权限。一个 agent 或一项 AI 功能就是一个非人类身份。它拥有自己的主体,权限限定于工作所需资源,使用短期凭证,且不与人类或其他环境共享密钥。我在《默认只读的 MCP 服务器,且绝不以我自己的身份运行》一文中描述了我为自己编码 agent 设置的边界。我把附录 A 中的访问控制与 SOC 2 中的逻辑访问标准理解为要求同样的设计。

模型本身不是访问控制。如果一个检索步骤能读到某份文档,模型就能把它引用给任何提问的人。因此,我会在检索环节、在内容进入提示词之前,依据源系统自身的访问列表裁剪权限。

日志就是证据,所以我按证据的标准来设计日志。日志记录提示词、检索到的上下文、工具调用、输出、模型及版本、执行身份、时间,以及任何不可逆操作的批准人,并写入应用无法编辑的存储。我认为个人数据和其他敏感信息应当在进入任何系统或日志之前被清除,我在《用 C# 和 Application Insights 对敏感信息进行脱敏》中写出了一种实现方式。保留期限遵循保留策略,这也意味着日志必须能够响应删除请求。

当然,日志也是一个可以深入探讨的独立话题。我既对各种流入日志的数据做假名化和脱敏,也会根据日志类型的不同采用不同的保留期限。你的合规框架报告和审计、以及内部政策,将决定每类日志需要保留多少天、以及日志中存放什么内容。因此,如果你指望用日志作为审计人员到来时的证据数据,就需要确保保留期限也配置在正确的级别上,这样你才能确定数据仍然可用。例如,我经常使用的 Azure Log Analytics 默认保留期,会在典型的 ISO 27001/SOC 2 默认模板所要求的期限之前就过期——所以对齐这件事也是你的工作。

提示词和模型就是代码,模型的变更就是一次变更。这话听起来有点奇怪,但系统提示词存放在源代码管理中,并经过评审。模型版本是固定的,新版本要通过变更管理,并以评估集作为回归测试。但愿如此。当供应商弃用某个模型时,我希望把它作为供应商变更来处理,并进行风险评估。有时这项评估可以非常简短,但围绕它留下记录和决策并加以记录,有助于你即将到来的审计,这样最新的模型始终是你最新风险登记册的一部分。

在法规要求的地方、以及影响范围大的地方,由人来把关。第 22 条和高风险层级规定了法律要求由人参与的情形。对于其他所有情况,我使用《人类做什么、agent 做什么,以及硬性边界在哪里》中的硬性边界,这些边界始终由我掌握,绝不交给 agent。审批关卡必须守住。Microsoft 的 AI Red Team 在 2026 年 6 月报告称,human-in-the-loop 绕过是他们观察到被最持续利用的失效模式。

DPIA 按用例进行,且必须保持最新。第 35 条针对的是处理操作,并允许对“一组呈现类似高风险的类似处理操作”做一次评估。因此单位是用例,而不是工具。用同一个工具总结支持工单和筛选求职者,是两项处理活动,有两种风险画像。第 35 条还要求在风险变化时进行审查,而新模型、新数据或新目的都是应触发审查的变化。你应当从登记册中链接到每一项评估。

对每个团队来说最重要的是什么

文章标题:在需要通过合规审计的组织中采用 AI

正文: 这些框架适用于整个组织,而在一个典型组织里,每个团队对我的需求各不相同。我认为很多 AI 治理之所以失败,是因为所有人都拿到同一份冗长的政策文件。我们需要把它拆分开来,并按适用情况委派责任;让某个人对具体任务或结果负责,而不是让一整群人负责,这会很有帮助。

多年来与合规团队合作,无论是否涉及 AI,以下是我在 AI 采用与合规转型的不同层面上会拉进来的四个主要内部团队/群体。

四张并排的卡片,分别对应 Adopters、Engineers、Operations 和 Business 团队。每张卡片都包含一个关键要点、该团队需要你提供什么,以及该团队负责什么。Adopters:让已批准的工具成为最容易获取的工具。他们需要针对每类数据的简短已批准工具清单,以及在几天内得到关于新工具的答复。他们负责自己发送出去的内容,在内容发出前检查 AI 输出,并在使用新工具前先询问。Engineers:用代码中的测试来支撑合同中的每一项承诺。他们需要一份说明哪些数据可以进入哪类 AI 工具的表,以及合同条款。他们负责为每个 AI 功能绘制数据流图、为每个 AI 组件建立身份标识、记录可重放系统行为的日志,以及覆盖索引、缓存和日志的删除机制。Operations:像对待任何其他系统和供应商一样对待 AI 工具。他们需要 AI 系统登记册,并且首次高风险使用前要先被征询。IT 负责登录和管理员设置,HR 负责招聘和评估中的 AI 以及培训记录,法务负责每个用例的 DPIA 和供应商合同,安全负责将 AI 系统纳入事件响应计划。Business:指定一名负责人,并维护一份 AI 系统登记册。他们需要 AI 风险像其他任何风险一样被报告,并且对客户关于 AI 的问题给出一个真实统一的答案。他们负责指定一名有明确责任的人、一份一页纸的政策和一份书面的风险偏好、在审计期开始前收集的证据,以及一次包含 AI 系统的演练过的事件。
四张并排的卡片,分别对应 Adopters、Engineers、Operations 和 Business 团队。每张卡片都包含一个关键要点、该团队需要你提供什么,以及该团队负责什么。Adopters:让已批准的工具成为最容易获取的工具。他们需要针对每类数据的简短已批准工具清单,以及在几天内得到关于新工具的答复。他们负责自己发送出去的内容,在内容发出前检查 AI 输出,并在使用新工具前先询问。Engineers:用代码中的测试来支撑合同中的每一项承诺。他们需要一份说明哪些数据可以进入哪类 AI 工具的表,以及合同条款。他们负责为每个 AI 功能绘制数据流图、为每个 AI 组件建立身份标识、记录可重放系统行为的日志,以及覆盖索引、缓存和日志的删除机制。Operations:像对待任何其他系统和供应商一样对待 AI 工具。他们需要 AI 系统登记册,并且首次高风险使用前要先被征询。IT 负责登录和管理员设置,HR 负责招聘和评估中的 AI 以及培训记录,法务负责每个用例的 DPIA 和供应商合同,安全负责将 AI 系统纳入事件响应计划。Business:指定一名负责人,并维护一份 AI 系统登记册。他们需要 AI 风险像其他任何风险一样被报告,并且对客户关于 AI 的问题给出一个真实统一的答案。他们负责指定一名有明确责任的人、一份一页纸的政策和一份书面的风险偏好、在审计期开始前收集的证据,以及一次包含 AI 系统的演练过的事件。

让我们逐一拆解:

Adopters:面向在工作中使用 AI 的人

  • 一份简短的“可用清单”,而不是冗长的“禁用清单”。哪些工具已获批准、适用于哪些数据类别,并附上打开它们的链接。如果已批准的工具比浏览器标签页更难获取,人们就会用浏览器标签页,政策改变不了这一点。
  • 用 3 句话说明工具会如何处理他们的数据。数据是否留存、是否用于训练,以及公司内部谁可以看到历史记录。我认为人们在知道这些时做出的决定,比他们不得不猜测时更好。
  • 与他们的工作相关的 AI 素养。第 4 条要求在这方面采取措施,而我不会把措施花在一门关于 transformer 的课程上。有用的版本会展示:在他们所在领域,幻觉引文长什么样;隐藏在邮件或网页中的指令能让助手做什么;以及什么时候需要在发送前核实。
  • 输出的明确归属。发送文档、代码或邮件的人对其负责,无论草稿是哪个工具写的。把这一点写下来,就能解决大多数关于问责的问题。
  • 一种快速提问的方式。关于新工具的问题在几天内得到答复,能让人们留在已批准的工具范围内。如果答案要等一个季度,人们就不再提问了。

Engineers:面向用 AI 构建产品的工程师

工程师需要的大部分内容都在《我如何围绕这些框架思考和工程化》中。以下是我会为构建该功能的团队补充的部分:

  • 每个功能一份数据流图。什么离开边界、发往哪个端点、在哪个区域、依据哪份合同,以及返回什么。我预计这会是审计员或隐私官首先索要的产物,而绘制它的过程,正是发现意外回退到消费者端点的方式。

文章标题:在一个必须通过合规审计的组织内部采用 AI

正文:

  • 对合同的一次检验。加入允许列表的端点、固定的企业部署、固定的区域,以及没有静默回退,每一项都要配一个一旦发生变化就会失败的测试。
  • 输出处理。模型返回的任何内容在进入特权操作之前都要经过 schema 校验,因为原始模型输出是不可信输入。一个既持有私有数据、又读取不可信内容、还能向外发送数据的 agent,正好构成 Simon Willison 所说的“致命三要素”,去掉其中任何一项就能阻断这种攻击。
  • 经过测试的回放。如果我无法重建系统对某次请求做过什么,那我就没有这项控制。
  • 能够覆盖各处的删除。向量索引、缓存、日志和微调后的模型。如果擦除请求无法对其中某一处兑现,那么该存储就需要设置保留期限,或者换一种设计。
  • 供应商的变更就是我们的变更。模型被弃用、新增子处理者,或保留条款发生变化,每一项都要重新走一遍评估。

运营:IT、HR、法务、财务及其他部门

  • IT 掌握这些开关:每个 AI 工具上的单点登录、厂商提供的租户级管理控制、覆盖“粘贴进聊天框”行为的数据防泄漏规则、面向本地 agent 的设备策略,以及一条能在几天内完成新 AI 工具采购的流程。AI 工具要像其他 SaaS 一样纳入资产清单和访问权限审查。
  • HR 离高风险层级最近。用于招聘筛选、绩效评估、任务分配或监控的 AI 属于附件三清单所列范围;从 2027 年 12 月 2 日起,雇主在使用这类系统之前必须告知工人代表和受影响的工人。关于咨询劳资委员会或工会的国家规则还可能在此基础上叠加适用,所以我会逐个国家核查。HR 也是我会保存第 4 条素养措施记录的地方。
  • 法务和隐私团队负责每个用例的 DPIA、处理记录的更新、供应商 DPA 与子处理者审查、传输机制、保留时间表,以及关于第 22 条的书面立场。他们还要负责回答“你们是否在我们的数据上使用 AI?”这个问题——我预计每个客户安全问卷里都会出现这个问题。
  • 财务和采购把 AI 当作一个供应商类别。子处理者审查和 DPA 签署是入职流程的一部分;而用公司卡支付的消费级 AI 订阅,则是有人未经批准使用工具的早期信号。
  • 安全运营要把 AI 系统纳入事件响应计划。一次把个人数据带出去的提示注入就是一次个人数据泄露,GDPR 第 33 条规定的 72 小时通知时限与对待其他任何泄露一样适用。必须有人为此待命。登记册说明存在哪些系统,日志说明它们做了什么。
  • 支持团队和面向客户的团队需要一句关于 AI 使用的、真实一致的说法,且要与信任中心、DPA 和产品保持一致。如果客户对同一个问题得到 3 个不同答案,我预计这最终会变成一条审计发现。

业务:需要理解整体合规图景的人

  • 登记册是其他一切的基础。一份 AI 系统清单,由指定的人负责,为资产清单、适用性声明、处理记录、供应商清单和风险登记册提供输入。没有它,其他每项控制的范围都只能靠猜。
  • 政策只有一页,真正起作用的是控制措施。数据分类表、已批准工具清单、每个组件的身份标识以及日志,才是控制措施。仅有一份可接受使用政策只是一项指令,我不把它算作控制措施。
  • 指定负责人。由一个人对 AI 治理负责,并像其他风险一样向领导层汇报。我不会把这件事交给委员会,因为委员会会给每一次审批增加等待时间。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复中和在工具调用中都要完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求核实它们,也不要用示例替换它们。

文章标题:在需要通过合规审计的组织内部采用 AI

正文:

  • 一份书面的风险偏好。用平实的语言写明哪些用途被排除。例如:不对个人产生法律效力的自动化决策,不向任何外部模型提供特殊类别数据。无论界线划在哪里,一旦写下来就更容易辩护。
  • 一条在审计窗口之前就开始的证据流。Type II 意味着控制措施在一段时期内持续运行。从一开始就设计好日志、登记册和审查流程,比事后重建一年的证据更便宜。
  • 对客户问卷的答案。企业买家会在其安全问卷中询问 AI 相关的问题。答案必须事先备好、真实,并且与 DPA 所述内容一致。
  • 一次事件演练。涉及 AI 系统的个人数据泄露与其他泄露一样,都适用 72 小时时限。我至少会做一次包含提示注入场景的桌面演练。
  • 一些可以向市场传达的内容。在 AI 纳入审计范围的情况下通过审计,是买家会关注的事情。我不会为此而去做这件事,但我仍然会在销售对话中提起它。
个人经历时间:我既经历过“我们昨天就需要审计”的一方,也经历过“让我们为来年提前规划”的一方。一个关键的收获——我相信对大多数人来说显而易见——就是你越早开始规划并让相关人员参与合规审计,你就能越快达成预期结果。如果你起步晚,收到一个说“我们需要在[某个日期]之前拿到 ISO 27001”的要求,完成起来就会复杂得多。话虽如此,我也做过这种事,并且也成功过——就像我们从第一天起就做规划、从零开始做审计时一样。晚拿到审计证据会让你付出更多成本,但有时你别无选择。如果我能在这里给你一条建议,那就是让业务各个团队的人都参与进来,开始讨论你当前和未来的审计要求可能是什么样,尤其是如果你已经采用或将要开始采用 AI。

我的 AI 采用与合规清单

如果你在一个或多个此类框架下采用 AI,这就是我会依据的清单。这个顺序是我建议的处理先后,你应当根据组织需求进行调整:

  • 建立登记册。每个 AI 系统、负责人、用途、数据类别、供应商、部署类别、风险等级、评估日期。
  • 针对部署类别编写数据分类表。将其作为政策发布。
  • 把已批准的工具置于单点登录之后,并让它们比替代方案更容易访问。
  • 签署 DPA,在代码中固定端点,并测试无法发生回退到消费级端点的情况。
  • 为每个 AI 组件赋予其自己的身份,并授予刚好够用的最小权限。
  • 在检索时裁剪权限,验证输出,并将一切作为证据记录,在进入遥测之前完成脱敏。
  • 将提示词和模型版本纳入变更管理,并以评估集作为测试。
  • 每个用例做一次 DPIA,写下第 22 条那条线,并在首次高风险使用之前让 HR 和法律部门参与进来。
  • 针对人们各自工作中会出什么问题开展培训,保留培训记录,并在几天内回答他们的问题。
  • 演练一次包含 AI 系统的事件,并确保面向客户关于 AI 的答复与合同一致。

最后思考

在我看来,这些框架并不阻碍 AI 采用。当没人能说清哪些数据被允许进入哪个工具时,采用就会停滞,而登记册和分类表就是我回答这个问题的方式。其余大部分都是我们已经在做的合规工作,只是应用于一种新型系统。我视为新东西的部分,是数据流经模型的过程,以及供应商和监管机构改变事物的速度,而这正是我会额外关注的地方。保持你的清单、问题答案和风险登记册及时更新,你就会准备得更充分。

文章标题:在需要通过合规审计的组织内部采用 AI

正文: 我很好奇,在 AI 被纳入范围之后,哪个框架给你们带来的麻烦最多;如果你们有登记册的话,它又是什么样子。在 LinkedIn 上告诉我。

相关文章

AI 安全工程:同样的失败,但有了新的攻击方式
AI 安全工程:同样的失败,但有了新的攻击方式

AI 安全工程:同样的失败,但有了新的攻击方式

对过去一年 AI 安全事件的反思:新的攻击技术、它们一直在利用的同样的失败,以及为什么 AI 安全工程如今已成为一门核心学科。

Agentic AI 工程:默认使用只读 MCP 服务器,并且绝不以此前我本人的身份运行
Agentic AI 工程:默认使用只读 MCP 服务器,并且绝不以此前我本人的身份运行

Agentic AI 工程:默认使用只读 MCP 服务器,并且绝不以我自己的身份运行

我如何为我的编码智能体所能触及的工具设置围栏:用于获取最新文档的 Microsoft Learn MCP Server、位于限定于该项工作的只读主体之后的 Azure MCP Server、通过 Playwright MCP 访问的浏览器、不在终端中使用云 CLI,以及我排除在会话之外的那些服务器。

Agentic AI 工程:为什么仅靠指令对编码智能体来说还不够
Agentic AI 工程:为什么仅靠指令对编码智能体来说还不够

Agentic AI 工程:为什么仅靠指令对编码智能体来说还不够

在这篇文章中,我解释了智能体指令与强制执行的规则各自的表现方式,以及为什么这很重要。指令文件是建议,不是强制执行。指令与 hooks

评论已关闭

有问题或想补充什么?在 LinkedIn 上给我发消息。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗