Newshot

Standard Bank Group 如何自动化生成式 AI 的 AI 风险评估

AI summary

Standard Bank Group 与 AWS Professional Services 合作,部署了一套自动化评估系统,依据国际 AI 标准和银行自身政策对每个生成式 AI 用例进行评分,并生成报告和仪表盘,展示已有措施、运行良好之处以及仍需缓解的问题。

Translation(model translation, not the source's own text)

Standard Bank Group 如何为生成式 AI 自动化 AI 风险评估

本文由 AWS 的 Tala Qraitem 与 Standard Bank Group 的 Jörg Fischer 共同撰写

拥有 AI 政策是一回事。逐个用例证明 AI 系统遵循该政策则是另一回事。每新增一个生成式 AI 应用,就多了一个需要证明的系统。如今团队可以在几天内构建一个应用,但每个应用在面向客户或员工之前仍需获得风险委员会的批准。当这种批准依赖于评审人员阅读文档并手动测试系统时,治理就成了流程中最慢的一环。

Standard Bank Group 选择将这一证明过程自动化。该银行与 AWS Professional Services 合作,部署了一套自动化评估,依据国际 AI 标准及其自身政策为每个生成式 AI 用例打分。该评估会生成报告和仪表板,展示已具备的措施、运行良好的部分以及仍需缓解的问题。本文介绍该评估如何在 AWS 上运行,以及 Standard Bank Group 从最初的几次运行中学到了什么。

用现有框架治理 AI

Standard Bank Group 不需要新的 AI 政策。与大多数大型银行一样,它已有成熟的模型风险实践,涵盖可解释性和公平性等问题,并有一套变更风险流程,在上线前根据每个新用例的风险水平进行评估。

生成式 AI 增加了复杂性,因为模型和工具每三到六个月就会变化,但每个用例仍需满足同样高的安全与合规标准。

“在 Standard Bank,这项评估展示了我们如何与 AWS 合作,将智能、自动化的风险管理嵌入我们的 AI 旅程,使我们能够加速创造有意义的业务价值,同时保持银行业所要求的信任与控制。我们相信,负责任的 AI 不是要拖慢创新,而是让创新能够自信地构建和扩展。”

— Jörg Fischer,Standard Bank Group 集团首席信息与 AI 官

目标是自动化证据收集和测试,然后将结果输入 Standard Bank Group 已有的审批关卡。审查和批准仍由风险委员会负责,但委员会现在基于一致的证据做出每项决策,这些证据在所有用例中以相同方式收集。

评估如何运作

图 1 展示了评估的各组件如何在 Standard Bank Group 的 AWS 账户中协同工作,从受理到评估再到报告。

在 Standard Bank Group 的 AWS 账户中运行的自动化 AI 风险评估架构图
在 Standard Bank Group 的 AWS 账户中运行的自动化 AI 风险评估架构图

图 1:Standard Bank Group 的 AWS 账户中的评估流水线,从受理到评估再到报告

该评估完全在 Standard Bank Group 自己的 AWS 账户中运行。文档、代码和测试结果保存在其中的 Amazon Simple Storage Service(Amazon S3)存储桶中。AWS Well-Architected Tool 负责受理,AWS Step Functions 编排流水线,Amazon Bedrock 上的基础模型评估证据。它使用一种称为 LLM-as-a-judge 的技术,即由大语言模型依据既定标准检查证据。

借助 Amazon Bedrock,Standard Bank Group 可以使用基础模型,而无需脱离其在 AWS 上已有的控制措施。该银行通过 AWS Identity and Access Management(IAM)控制对模型的访问,就像对其其他 AWS 工作负载所做的那样。Amazon Bedrock 不会与模型提供商共享该银行的提示词或模型输出,也不会将其用于训练模型。由于 Amazon Bedrock 通过一个 API 提供多种基础模型,团队只需更改配置设置即可迁移到更新的评判模型,而无需重建流水线。

每个评估都经过四个步骤。在前两步中,预评估 agent 收集有关用例的证据,随后管道会检查这些证据并直接测试应用程序。第三步依据控制项评估这些证据。第四步以标准的预定义格式汇总结果,并将其交付给据此采取行动的人员。

第一步:预评估 agent 收集证据

Well-Architected Tool 中的自定义 lens 包含约 40 个问题,每个问题都对应一个风险事件,例如技术文档不完整或人工监督不足。交付团队不再需要从零开始填写。运行在 AWS Fargate 上的预评估 agent 会扫描用例的代码仓库和文档。它将相关文件映射到每个问题,并用答案和证据链接预先填充该 lens。随后,交付团队会审查这些答案,纠正其中的错误,并补充 agent 未能找到的证据。

第二步:管道检查产物并测试应用程序

管道基于四类证据开展工作。

  • 系统文档,描述应用程序是如何设计、构建和评估的。
  • 政策文档,规定角色、职责以及事件处理等流程。
  • 源代码和系统提示词,展示控制项是如何实现的。
  • 对应用程序的实时调用,展示其在实际运行中的行为。

对于文档和代码,管道检查每个产物是否包含其映射控制项所要求的内容。每个控制项都来自某项国际 AI 标准或框架,或来自 Standard Bank Group 自身的政策。例如,事件处理流程需要描述事件是如何上报的。

对于实时测试,管道通过应用程序的 AWS Lambda 函数或 API 调用该应用程序。交付团队提供典型用户会提出的问题。管道还会加入一组内置的越狱尝试和离题问题,应用程序应当拒绝回答这些问题。它还会以原始形式和改写形式多次发送相同的提示词,并使用 Amazon Bedrock 上的嵌入模型检查答案在含义上是否保持一致。在团队提供预期答案的情况下,管道会衡量响应与预期答案的匹配程度。每个响应都存储在 Amazon S3 中,因此审查人员可以确切看到应用程序生成了什么。

第三步:以 LLM 作为评判者依据标准进行评估

在这一步中,Amazon Bedrock 上的基础模型充当评判者。评估直接使用该模型,不做微调或定制。(模型可用性因 AWS 区域而异,因此部署前请查看各区域支持的模型。)对于每个问题,模型会检查产物和应用程序响应中是否出现特定证据,并返回 yes 或 no。

每项检查都映射到 AI 管理、AI 风险或 AI 安全方面的国际标准或框架中的一个控制项。Standard Bank Group 还根据自身标准构建了评判问题,对 lens 进行了定制,使问题总数超过 300 个。这些检查涵盖下表所列的八个 AWS 负责任 AI 维度:

维度评估所关注的内容
真实性与稳健性即使面对意外或对抗性输入,也能给出正确输出
隐私与安全对数据和模型进行适当的收集、使用和保护
透明度帮助利益相关方就其对 AI 系统的使用做出知情选择的信息
公平性考虑对不同利益相关群体造成的影响
安全性防止有害输出和滥用
可控性用于监控和引导系统行为的机制
治理AI 供应链(包括提供方和部署方)中的最佳实践
可解释性理解和评估系统输出的方式

每个风险都会获得一个可能性评分、模型未能找到所需证据的比例,以及一个固定的严重级别(该银行的风险团队可对其进行调整)。三者共同得出从 Very low 到 Critical 的评级。每一项缺失的证据都对应一项具体的缓解措施,以及它所来源的标准或政策的条款。随后,风险官在向监管机构解释决策时,可以将任何发现追溯回其来源。图 2 展示了某条缺失证据在这一流程中的走向,从证据请求一直到建议的修复措施。

将一条缺失证据追溯至评分发现项和建议修复措施
将一条缺失证据追溯至评分发现项和建议修复措施

图 2:如何将一项发现从证据追溯至修复措施

Standard Bank Group 通过两种方式保护并核查评估的输出。每一次 AI 模型交互都受 Amazon Bedrock Guardrails 保护,确保符合该银行既有的安全与负责任 AI 标准。评估的模型调用经过该银行在其 AWS 账户中为其 AI 工作负载所执行的相同防护措施。这些护栏会筛查有害内容以及操纵模型的企图。

该评估的设计还使其输出可以被核查。流水线不是向模型询问开放式的意见,而是提出范围狭窄的是非问题,每个问题的措辞都对应一项特定控制措施。风险团队可以检查的固定公式将这些答案转化为评分。每次评估都会运行多次,以衡量答案的一致性,任何不一致的发现都会在审核界面中被标记出来。每一项判断都与其背后的证据一同存储,以便审核人员和审计人员追溯其得出过程。

Step 4:面向各类受众的报告

流水线以标准格式汇总结果,并将其以高管演示、缓解措施清单、详细技术报告以及一个 Amazon CloudWatch 仪表板的形式交付,该仪表板随时间跟踪各用例的评分。在门禁决策之前,审核人员通过单点登录在自定义审核界面中确认发现项。在那里,他们可以添加用例、查看问题、以业务理由修改答案,并重写输出。

该评估会针对控制措施生成证据。它并不证明对任何法规的合规性,Standard Bank Group 仍对其自身的监管判定负责。

依据 Standard Bank Group 自身规则进行测试

国际标准为每个用例提供了共同基线,但该银行的风险委员会是依据其自身政策来批准用例的。问题工厂通过从内部文档生成额外的评判问题来解决这一问题。Standard Bank Group 的风险团队用它把内部政策转化为对每个用例运行的检查。

由于这些检查直接源自政策文本,政策变更就变成了测试变更。每一次后续评估都会自动应用更新后的规则,风险团队所需的人工返工极少。

“大多数组织把政策当作供人阅读的东西。Standard Bank Group 把它当作可以运行的东西。当每条规则都变成针对实时系统运行的检查时,政策更新就不再是一份备忘录,而变成了一项测试。这从根本上改变了一家银行负责任地扩展 AI 的速度。”

— Sri Elaprolu,AWS 前沿 AI 科学与工程总监

内建于用例生命周期

文章标题:How Standard Bank Group automates AI risk assessment for generative AI

正文: 该评估契合用例生命周期的三个阶段。在概念验证阶段,它是可选的,让团队能及早发现潜在缺口。在构建阶段,它变为强制性的,审批关卡会将其结果作为正式证据。如今,该评估已在 Standard Bank Group 的生产环境中运行,在用例上线前对其进行评估。在实时工作负载接入后,评估将按计划重新运行,或在代码或配置发生变更时重新运行,从而在发布之后仍能长期保持证据的时效性。该行的团队已经可以通过一个中央系统自行触发评估,用例在该系统中以单一工作流从受理流转到评估。

这对金融机构意味着什么

在 Standard Bank Group,该评估将传统上需要两周的人工审查缩短为约两小时内生成的一份全面风险报告,并已在六次评估中得到验证。它还在整改后使用例风险评分提升了 14%。这强化了负责任 AI 治理,减少了合规瓶颈,并缩短了从评估到生产的路径。

这种方法可以让参与 AI 用例审批的三类群体受益:

  • 风险与合规负责人可以获得每个用例格式统一的证据,且可追溯到已发布的标准或内部政策条款。从你们已经在运行的框架出发,就像 Standard Bank Group 依托其现有风险流程和审批关卡所做的那样。
  • 交付团队可以在概念验证阶段就了解需要修复什么,此时变更成本最低,而不是在审批关卡处遭遇否决。
  • 高管可以在不按同等比例增加审查工作量的情况下扩大 AI 组合。
“要在全企业范围内大规模采用 AI,需要信任,既包括内部信任,也包括客户的信任。这项评估正被证明是关键手段,使我们的所有产品团队能够证明他们构建的是企业级解决方案,并同时符合我们自身和行业的最佳实践。”

— Duncan Macdonald,Standard Bank Group 首席技术官

从审批关卡到持续保障

银行设计审批关卡时,所针对的系统每年只变更几次。生成式 AI 应用则会随着每次提示更新、模型版本变更和新增数据源而变化。随着它们承担更多自主任务,需要证据的决策数量持续增长。增加审查人员无法跟上这种变化速度。

Standard Bank Group 的方法指向一种不同的运营模式。当政策变为测试、证据被自动收集时,治理便从交付末端的检查点移入系统本身。组合中的每个 AI 应用都可以携带一份最新的、可审计的记录,说明其如何符合银行的标准,并在其代码或配置发生变更时刷新。风险团队将时间花在判断决策和政策设计上,银行也能向监管机构展示其用于自身决策的同一套证据。

同样的基础可以进一步延伸。持续重新评估使证据在上线后仍与不断变化的代码库保持一致。新法规可以一次性编码为检查项,并应用于每个用例。聚合评分让董事会能够获得企业范围的 AI 风险视图,而不是一堆单独的审查报告。

对于任何正在扩大 AI 规模的机构而言,值得一问的是:其有多少政策曾经针对运行中的系统进行过测试。要了解 AWS Professional Services 如何帮助你的组织自动化 AI 风险评估,请联系你的 AWS 客户团队。要了解更多关于在 AWS 上负责任地构建 AI 的信息,请访问 Responsible AI on AWS。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗