面向 agentic AI 的负责任 AI:平台团队与应用团队的分阶段路线图
企业构建 agentic AI 平台,是为了治理 agent 所使用的应用、工具、技能、模型和存储。生成式 AI 模型的非确定性本质带来了以往软件开发实践未曾预料到的复杂性。以一个房地产应用为例,它根据检索到的数据生成房源信息:它是否准确反映了房源情况,还是会幻觉出并不存在的特征?再比如一个基于内部知识库的客服 agent:你能否验证它不会泄露机密信息?
直到最近,负责任 AI(RAI)仍以模型为中心,范围局限于机器学习开发生命周期:训练、测试和推理。模型不会推理、不会使用工具,也不会采取行动。当讨论延伸到由模型驱动的系统时,所覆盖的也只是统计上有界的场景,可以用已知输入进行测试。生成式 AI 驱动的应用和 agent 改变了这一点。这些系统如今会推理、会行动、会动态组合工具,并在多个步骤中进行交互,从而同时扩展了负责任 AI 必须覆盖的广度和深度。
组织正在将负责任 AI——其支柱包括安全与隐私、真实性与稳健性、公平性、安全性、可控性、可解释性、透明度和治理——转化为增长战略,做法是尽早应对其不断扩大的范围。当企业大规模采用 agentic AI 时,正面和负面影响会相伴而来。正如 Wade 和 Wirtz 在《哈佛商业评论》中所观察到的,信任正成为一项竞争差异化因素。那些能够大规模实现个性化的能力,同样也可以用于监视和歧视;而对其实施治理的组织则能赢得利益相关者的信心。例如,Robinhood 在 Amazon Bedrock 上构建了一个生成式 AI 金融犯罪 agent,并实施了严格的数据治理。他们在保持监管合规的同时实现了 20% 的效率提升。将这些实践按照平台成熟度进行结构化,是下一步。在本文中,我们将管理平台的团队称为 Platform team,将基于平台构建的团队称为 Application team。Application team(有时称为 Workstream team)在平台上构建并拥有 agent。
本文为 Platform team 以及构建在 agentic AI 之上的 Application team 提供了一份精炼、可执行的路线图。它的设计初衷是供双方共同阅读:Platform team 搭建护栏,Application team 在护栏之内构建。两者需要一种共同语言,来明确自身所处的位置以及“良好”的标准。我们提供了一个 Responsible AI Assessment Skill,它将 AWS Responsible AI Lens 的各支柱映射到一个三阶段成熟度模型:治理基础、试点部署,以及评估与加固。对于每个阶段,它都展示了哪些负责任 AI 支柱至关重要,以及何时需要重新审视这些支柱。随附的计分卡让 Application team 和 Platform team 都能评估自身当前的状况,并随着应用的成熟而迭代。
注意:本文涵盖了每个阶段需要提出的关键问题,省略了分步实施细节。本文也不提供法律或合规建议。请务必咨询您的法律团队。
挑战
在与构建 agentic AI 平台的客户交流中,有四个挑战反复出现。
- 不可预测的运行时行为:非确定性输出、目标漂移,以及一个 agent 的错误跨服务传播所导致的级联故障。德国一家金融服务公司发现,多 agent 编排将一次单一的错误分类放大为三个下游服务中的策略违规。
文章标题:代理式AI的负责任AI:面向平台与应用团队的分阶段路线图
正文:
- 数据暴露与权限边界:将每个代理限定在其预期的租户、数据、系统和操作范围内。隔离会话上下文,使每个会话在访问层即从数据驻留要求开始,并通过最小权限、任务绑定的权限授予特权访问,代理自身无法修改这些权限。这样,代理只会在明确授予的系统和权限范围内行动。
- 监管速度:EU AI Act、ISO 42001、NIST AI RMF 以及即将出台的立法正在以快于治理适应速度的方式产生合规要求。为非确定性系统证明合规需要持续评估,应按预定义的节奏(例如每天、每周或每月)进行监控和复查。
- 团队协作:组织缺乏一个共享框架来界定代理生命周期中各环节的归属。英国一家媒体公司指出,开发者与部署团队之间的职责分离在代理工作负载中并未定义。平台团队构建护栏,应用团队则绕开这些护栏;应用团队将责任推给平台,认为平台会处理。

图 1:代理式AI平台在负责任AI方面引入了新的挑战。
解决方案:三阶段负责任AI成熟度框架
在本文中,我们将代理式AI平台定义为 AgentOps: Operationalize agentic AI at scale with Amazon Bedrock AgentCore 中所述的系统,即一个用于大规模安全构建、部署和运营AI代理的系统,涵盖治理、构建与运营、评估和可观测性。您的负责任AI态势应随着该平台逐步成熟。我们将这一旅程分为三个阶段,并在可定制的12周实施时间线上提出按优先级排列的负责任AI支柱,使平台团队能够在首批用例成形的同时建立稳固的负责任AI基础。

图 2:所提出的代理式AI平台负责任AI成熟度框架概览。团队分三个阶段整合负责任AI。
阶段 1:治理基础
重点支柱:治理、安全与隐私
在此阶段,评估项目契合度、风险和伦理,获得法律与合规批准,并定义AI代理的信任模型。应用团队使用风险评分标准对每个计划中的用例进行风险分类。平台团队专注于建立核心着陆区基础设施,例如设置总体监控和访问控制,并从一开始就对新接入的代理和用例进行治理。
此阶段需要考虑的关键任务包括:
安全与隐私
- 评估每个代理所需的数据和系统访问权限,并评估潜在影响。这为知识 grounding 策略奠定基础。
- 通过数据分类、数据访问控制、日志记录、数据完整性和数据访问监控,实施基础数据安全和数据外泄防护。
- 构建代理之间共享数据的映射,例如组织知识库,以及各个代理可能需要的上下文图等主观数据。然后建立访问边界并相应地分配读/写权限。
治理
面向 agentic AI 的负责任 AI:面向平台团队和应用团队的分阶段路线图
- 定义一套与你的监管义务(EU AI Act 风险分级、金融服务业要求等)对齐的风险分类标准。为每个计划中的用例分配低 / 中 / 高 / 不可接受风险等级,并记录每个风险等级所触发的控制要求。收集相关文档和可追溯性要求。
- 在接入 agent 之前,底层模型需要通过一套审查流程。该流程涵盖一系列以安全性和可靠性为标准的评估。根据能力、延迟和成本对已批准的模型进行编目。
- 实施一个流程,对组织中部署的 agent、共享工具和技能等产品进行集中注册和治理,以实现集中可见性和消费。每个产品都需注册所有者、风险等级和监管范围。如果某个资源(agent、工具、技能)不在注册表中,组织就无法发现和管理它。
阶段 2:试点部署
重点支柱:安全性、准确性与鲁棒性、可控性、安全与隐私
部署你的第一个能够带来可衡量业务价值的 agent。借助平台团队提供的模板和开发者指南,应用团队实现编排模式、记忆、护栏基线、知识 grounding 和工具使用模式。基础阶段识别出的风险,现在必须在试点实现中通过一组具体的控制措施加以解决。
在此阶段,应用团队需要考虑以下关注点:
安全性
- 护栏。平台团队为模型 I/O 和工具调用建立基础的个人可识别信息(PII)脱敏过滤器。提供一组可直接应用的护栏规则。随后,应用团队根据 agent 所服务的用例明确设置内容审核阈值。为低置信度响应配置人工升级。
- 策略。定义哪个 agent 可以以何种方式访问哪个工具。补充策略违规情况下的回退场景。
准确性与鲁棒性
- 带检查的知识 grounding:即使拥有正确的上下文,模型仍可能产生幻觉或歪曲所提供的来源。因此,配置上下文 grounding 检查,以验证每个响应都正确地以相关数据为依据。对于受监管的用例,激活自动化推理以获得可验证的输出。实施一个流程来策划和更新你的知识来源。定义如何对域外请求进行分类和处理。
可控性
- 实施一个流程,对高风险或代表他人执行的操作进行 Human-in-the-loop 审批,作为熔断机制。定义 agent 必须在何时交由人工审批者/审核者处理的标准(例如,置信度低于阈值、触发了安全护栏,或属于高风险决策)。记录升级事件,以供后续审计和分析。
- 向最终用户提供权限审计,以授予/撤销由人类用户或曾向子 agent 授予权限的 agent 所提供的访问权限,从而实现透明控制。
- 激活端到端可观测性,包含会话级、trace 级和 span 级遥测。为 agent 决策、护栏调用和工具调用发出结构化 trace。在多 agent 和多工具工作流中实现分布式追踪,以支持对 agent 推理路径的完整重建。添加仪表盘,实现 360 度可观测性和成本控制。
安全与隐私
- 建立最小权限访问控制。使用声明式策略语言为工具级访问定义基于策略的授权规则。为 agent 操作和每个知识来源应用细粒度访问策略。
阶段 3:评估与加固
重点支柱:公平性、可解释性、透明度、安全与隐私
你已经看到你的第一个智能体交付了业务价值。但是,你如何向监管机构、审计员或董事会证明这一点?你如何检测并帮助防止系统上的未授权事件?在第三阶段,评估会对公平性阈值和偏见基准进行压力测试。加固会将那些发现转化为修复。
本阶段包括以下工作流:
公平性
- 模型级公平性测试:检查模型卡中的公平性指标,并将模型访问限制在已针对常见偏见测试过的预批准模型列表中。如果没有提供指标,请使用已建立的基准集(如 Compositional Evaluation Benchmark (CEB) 或 Holistic Evaluation of Language Models (HELM))自行测试偏见和对齐。监控输出和路由是否公平对待不同人口群体。
- 智能体级公平性测试:评估端到端智能体路由(包括工具选择和资源分配)是否公平对待用户群体。
- 公平性回归监控:建立自动化管道,以检测随着模型更新或添加新数据源而随时间出现的公平性漂移。
透明度
- 对机器生成内容的可执行透明度:为每个可重用输出附加机器可读的来源标签,以便下游消费者可以验证来源。在面向用户的交互中强制执行强制的 AI 存在披露。
- 决策审计追踪:每个智能体操作都被记录,记录足够详细以重建给定结果的推理路径。例如,智能体访问了什么、何时以及使用哪个身份。
可解释性
- 为虚构的审计或申诉编写审计报告:确保你能快速汇总相关数据并了解决策是如何做出的。
- 面向用户的解释:为最终用户提供按需的、通俗语言的摘要,说明智能体为何采取特定操作或提出建议。
安全与隐私
- 持续评估:建立评估管道并在部署前后进行评估。记录结果。实施告警机制,以便在指标低于预定义质量阈值时收到通知。
- 针对智能体特定威胁模型进行渗透测试和红队评估:提示注入、并发访问下的租户隔离、配置错误的配置文件导致的令牌交换,以及长时间运行的异步智能体任务。定义针对 AI 智能体安全事件的安全事件响应手册。为安全关键事件配置自动告警。
- 基于生产反馈迭代地微调发布标准(评估分数、安全扫描结果、公平性指标)。在持续集成和持续交付(CI/CD)管道中构建部署门禁。不满足其风险等级的发布标准,任何内容都不得进入生产环境。
何时重新审视
负责任 AI 不是一次性实现。随着平台的发展,每个维度都必须定期重新评估。下表给出了一些示例,用于定义常设审查节奏和事件驱动的重新评估触发条件。
- 范围内智能体的合规评估:文档刷新、重新运行证据收集、人工监督日志。
- 审查风险分类、事件事后分析。
- 审查接入和退役程序。
- 持续评估,包括漂移检测自主性、风险评分和告警。
- 跟踪 Guardrails 的误报率和漏报率,并在需要时进行调整。
- 持续刷新知识库,移除过时文档。
- 新用例被接入。
- 新模型添加或模型更新。
- 新工具添加。
- 接入新客户群体。
- 识别新风险,例如发现新的安全威胁。
- 智能体更新,例如新的系统提示。
- 合规或监管变化。
- 智能体行为变化。
示例用例与实现
考虑以下案例:一家银行构建了多智能体贷款处理平台。该平台包含受理智能体、风险评分智能体、合规智能体和客户沟通智能体。
阶段 1(治理基础):平台团队收集其用例的法律要求,例如源自 EU AI Act 和金融监管的要求,并使用 AWS Agent Registry 将智能体注册为高风险层级(影响个人的金融决策)。他们使用基于 AWS Control Tower 构建的安全着陆区,并启用基础日志记录和访问控制,同时配置租户隔离,以帮助防止跨客户数据泄露。团队记录每个智能体的剩余风险和范围:例如,如果受理智能体产生意外数据,风险评分智能体会处理其输出,而不进行独立验证。
阶段 2(试点部署:验证与推广):风险评分使用以监管贷款文档为依据的 Amazon Bedrock Knowledge Bases。Automated Reasoning 检查验证拒绝决定是否符合已记录的标准(一致性,而非因果解释)。Amazon Bedrock Guardrails 在客户沟通前对 PII 数据进行脱敏。为解决多智能体信任缺口:评分智能体从源系统确认关键申请人数据,而不是仅依赖受理智能体的提取结果。每个智能体通过 AWS Identity and Access Management (IAM) 权限被限制为只能使用所需工具,团队使用 Amazon Bedrock AgentCore 中的 Policies 进一步将风险评分智能体限制为对其获批客户群体仅有只读访问权限。如果 Automated Reasoning 检查返回的结果不是 VALID(例如 SATISFIABLE 或 TRANSLATION_AMBIGUOUS),或者申请人的风险评分落在边缘区间(例如阈值 ±5 分以内),则该情况会在决定传达之前自动升级给人工信贷专家(人工在环审核)。升级事件会连同触发条件一起记录以供审计。
阶段 3(评估与加固:持续监控):Amazon Bedrock AgentCore 的一项能力 Amazon Bedrock AgentCore Evaluations 会在每次流水线推送时运行。如果评估结果低于发布标准,或各子组公平性指标漂移超出阈值,CI/CD 会阻止部署。红队演练(独立安全团队)针对受理智能体测试现实的安全威胁,以验证其无法影响评分。对拒绝决定进行人工审核,在 60 天内完成 2,000 项一致决策后,通过申诉流程转为事后审核。决策过程中的 AI 使用情况会向客户透明披露。每项自动化决策都使用 Amazon Bedrock AgentCore 的一项能力 Amazon Bedrock AgentCore Observability 进行端到端追踪。它会捕获 OpenTelemetry span,这些 span 可自动聚合为单个分布式追踪,以供审计和申诉使用。
如何衡量成熟度
框架体现愿景,而度量提供问责。当平台投入运行后,CISO 或审计人员等利益相关者必然会提出诸如“你能列出某个用例的风险层级吗?”之类的问题。为了让你有所准备,我们提供一个仓库,其中包含一组问题,你可用来评估当前态势,并在系统上线前识别改进领域。
我们还将问卷打包为可移植技能,供 Amazon Quick 等 AI 智能体,以及 Kiro、Claude Code 和 Codex 等 AI 编程助手使用。该 AI 会引导你完成每个阶段,并按 1–5 分制沿各维度评估你的负责任 AI 态势。低于 4 分的分数表示存在应予以修复的重大风险。4 分或更高的分数表示剩余风险,在逐案确认后可能可以接受。该 AI 还会提供可操作的建议,以改善你的负责任 AI 态势。

图 3:一个可移植的 AI 技能,通过一组问题帮助团队评估其负责任 AI 态势。
结论
负责任 AI(RAI)是一项持续、不断演进的努力。我们建议组织通过 AgentOps 旅程落实 RAI 支柱。这些最佳实践将治理策略、评估门禁和生产遥测纳入代理式 AI 平台。这形成了一个反馈闭环,使公平性、安全性和透明度持续得到衡量和改进。
该框架是一个起点,而不是一份详尽的合规清单。RAI 实践因行业、用例和要求而异。组织应咨询自身的法律、合规和伦理团队,根据其特定的监管义务和风险状况调整这些建议。
如需全面了解跨工作负载类型的负责任 AI,请参考 AWS Well-Architected Responsible AI Lens,它针对本文讨论的八大支柱分别提供了详细的最佳实践、设计原则和评估标准。如需行业特定指导,请参考 Financial Services Industry Lens 和 Healthcare Industry Lens,它们涉及行业特定的监管和伦理要求。立即从该代码仓库安装 RAI 评估技能,并使用你偏好的 AI 代理评估你组织的 RAI 态势,开始实践。