How the BMW Group governs hundreds of agents across thousands of developers
当数百个 agent 服务于数千名开发者时,企业治理不能是事后才考虑的事情。
在 BMW Group 的研发部门,超过 12,500 名开发者致力于约 5 亿行车辆软件代码。这些软件由 BMW Connected Vehicle 后端增强,这是一个基于云的系统,包含 1,300 多个微服务,为现场 2,400 万辆汽车提供数字服务。在受监管的行业中,(软件)质量、稳定性和治理合规的标准异常之高。
尽管研究、框架和指南如今有助于构建 agent,但以高效、可扩展的方式工业化和运营高质量 agent 仍然是一项重大挑战。
在大型组织中扩展 agentic AI 无法通过孤立的团队实现。它需要集体努力、本地驱动的实验以及跨企业的积极知识共享。这造成了一个根本性的治理二元困境:开发团队需要快速创新的自由,而企业必须强制执行安全、安保、可组合性和成本效益的标准。没有这种平衡,组织就有可能面临 AI 孤岛和代价高昂的重复工作的碎片化格局。鉴于 BMW Group 全球分布着数百个构建 agent 的团队,这构成了真正的挑战。
在本文中,我们详细介绍了支持 BMW 研发团队在不牺牲速度、质量或合规性的情况下大规模构建、治理和运营 agent 的实践和模式。
Solution
我们的前提很简单:从开始就构建能够协作的 agent。这需要一种架构,使多样性可组合、可治理且可自动化,而不需要单一的框架或工具链。
这一架构的核心是 agent harness,一个包裹在大型语言模型(LLM)周围的运行时层。它为自主运行提供执行循环、工具调度、内存管理和可观测性挂钩。
正如 AWS Well-Architected Framework 标准化了云基础设施设计一样,agentic 系统也需要同等的模式——即可复用的蓝图,从一开始就编码治理、可组合性和运营最佳实践。
我们围绕五个相互关联的实践来组织我们的解决方案,这些实践源自自 2023 年以来在企业规模上构建和运营 agentic 系统的亲身经验。每个实践都被编纂为基础设施即代码(IaC),使采用可重复、可审计且可在团队间强制执行,而不会阻碍 DevOps 速度。
Govern proactively, not retroactively
治理必须从一开始就是结构性的,并在整个生命周期中保持。我们倡导有效 agentic 治理的三个属性:
框架无关且外置化:身份验证、授权、速率限制和内容过滤等治理规则在集成层强制执行。这包括 Model Context Protocol(MCP)网关、中央 agent 注册表和编排边界,而不是在单个 agent 代码库内。这意味着治理能够在框架迁移、模型更换和团队重组中存活下来。
领域敏感且分级:并非每个 agent 操作都承担相同的风险:起草文档、更新客户记录和生产数据库写入需要非常不同级别的监督。我们通过每步自主级别实现分级信任:
- Level 0(Human-in-the-loop):每个操作都需要明确的人工批准。这是新 agent 和高风险操作的起点。
- Level 1(Human-on-the-loop):agent 自主执行,但将决策呈现出来供异步人工审查。适用于具有明确输入、输出和回滚选项的中等风险任务。
- Level 2(护栏内自主):Agent 在严格定义的策略边界内独立运行,这些边界通过确定性方式强制执行,而非通过提示指令(见下文)。仅用于风险低、已被充分理解且经过验证记录的操作。
按步骤而非按 Agent 分配信任级别。单个工作流可以包含全部三个级别的步骤,因此团队可以保守起步,随着信心建立逐步增加自主性,依据可衡量的评估数据而非假设。
确定性强制执行:治理以确定性代码的形式运行在 Agent 的推理循环之外。在实践中,这主要发生在 CI/CD 流水线中。权限检查、policy-as-code 规则和合规验证在那里对每次部署进行把关,赶在 Agent 到达生产环境之前。由于这些检查与 Agent 分开运行,Agent 及其提示都无法覆盖它们。出站控制(收件人允许列表、出站密钥扫描)有助于防止持有机密数据的 Agent 通过看似合法的调用泄露数据。
持续埋点、验证与评估
Agent 系统中的可观测性超越了传统的应用监控。真正的问题不再是某个服务是否返回了 HTTP 200 状态码,而是 Agent 是否产生了忠实、符合策略的输出,以及如何通过可观测的执行轨迹来证明这一点。回答这个问题需要一份覆盖常见查询和边缘情况的 ground-truth 数据集。该数据集从第一天起就用于评估,因此质量是针对有代表性且经过适当治理的评估数据集来衡量的,而非合成提示。
这套基础设施无法事后加装,必须成为初始设计的一部分。持续集成与持续交付(CI/CD)流水线强制执行这一点,因此缺少埋点的 Agent 会在评估运行之前就通不过验证。
我们建议从三个维度进行埋点:
- 意图追踪:捕获每次执行的可观测 Agent 轨迹(推理步骤、工具调用和上下文检索)。OpenTelemetry span 创建从用户请求到最终输出的可查询血缘。
- 验证与评估即 CI:对 Agent 的任何变更(提示编辑、工具新增、模型替换)都会触发流水线。验证先运行,用自动化回归测试覆盖 Agent 各组件,然后覆盖它们之间的交互。由于大多数 harness 组件是确定性的,这些测试速度快且完全可自动化。评估随后运行,对照 ground-truth 数据集对非确定性输出打分,并以质量阈值为门槛。这个顺序是刻意安排的:验证充当门禁,因此评估只在构建通过时运行。
- 模型分层与路由遥测:当 Agent 在模型之间路由时,捕获路由决策及其理由,而不仅仅是结果。层级分配根据各任务类型的评估结果推导,不良结果会回流为新的评估用例。
聚焦起步,为组合而设计
对于分布式云系统,业界通过采用微服务或服务网格等架构模式解决了端到端工作流的复杂性问题。Agent 系统的演进需要遵循类似的轨迹,从单体、通用型 Agent 走向多个协作的专用 Agent。
团队应先定义问题,再考虑 Agent 的功能。在编写任何编排逻辑之前,他们应产出五个具体工件:
- 明确的范围定义:Agent 应该做什么、不应该做什么。
- 交互模型:用户和其他 Agent 将如何调用它。
- 无歧义的工具定义:每个工具和参数都精确界定。
- Ground-truth 数据集:上文所述的评估基准,在任何实现开始之前建立。
- 评估标准:智能体将被衡量所依据的质量阈值和基准。
这种纪律可以防止我们观察到的最常见失败模式:承担过多职责的智能体会累积臃肿的提示词,从而降低准确性并增加延迟。
一旦单个智能体被良好地界定范围,就必须将其设计为可组合的构建块。因此,我们定义了一个三层组合层级:
- MCP 工具是原子集成契约。每个工具封装单一能力(例如,一次 API 调用或一次数据库查询),不编码工作流假设。这是稳定、可复用的层。
- 技能是 MCP 工具的捆绑式、领域特定组合。例如,一个代码审查技能可能将静态分析工具、样式检查工具和基于 LLM 的推理步骤串联起来。技能编码领域逻辑,但在不同工作流之间保持可移植性。
- 流是技能的端到端编排,代表完整的业务流程(例如,整个 PR 审查流水线或从需求到部署的周期)。
每一层都在 CI/CD 流水线中独立验证。组件测试覆盖工具和技能,交互测试覆盖它们组合成流的过程。
这些层级通过开放标准连接:用于工具集成的 MCP 和 Agent Skills、用于智能体间通信的协议,以及用于对由此产生的交互进行可观测性监控的 OpenTelemetry。
图 1 展示了这三个层级如何相互构建,从底部的单个 MCP 工具到顶部的完整流。

图 1:构建可组合智能体的三层系统
在学习中专业化
在生产环境中,即使范围界定良好的智能体也可能随着实际使用偏离设计时的预期而失效:查询模式发生变化,工具选择逻辑难以应对,性能不可预测地下降。
正确的应对方式是将复杂智能体分解为多个专业化智能体,每个智能体都有更清晰的指令、更简单的工具集和更聚焦的推理。好处是具体的:
- 独立演进:更新需求工程智能体不需要改动编码智能体。
- 独立扩展:当范围和接口定义良好时,单个智能体可以独立扩展,而无需重新部署或调整整个系统的规模。
- 最小化影响范围:一个智能体的失败或幻觉不会级联到整个工作流。
- 节省成本:范围狭窄的智能体通常可以在更小的模型上运行,从而降低推理和托管成本。
可以从两个维度降低复杂性:
- 智能体内部:将能力分解为技能,因为工具和少样本示例在每次调用时都会消耗上下文,同时降低准确性并增加成本。通过经验确定粒度:合并智能体很少选择的技能,拆分因输入不同而产生不同行为的技能。
- 智能体之间:将智能体领域之外的工作通过 A2A 协议委托给专业化的对等智能体,而不是扩展当前智能体。智能体应该在能力上成长,而不是在上下文上成长。
关键在于,由于每个专业化智能体只能访问其角色所需的数据和工具,这种架构有助于在设计上强制执行最小权限原则,这是受监管行业的一项合规要求。
然而,要实现这些好处,需要智能体能够相互发现和互操作。为防止出现 AI 孤岛,我们维护一个集中的智能体、工具和技能注册表。该注册表充当:
- 发现机制:根据构建期间存储的元数据,编目可用的智能体、工具和技能。
- 治理检查点:确认资产类型获批用于生产,并维护审计追踪。
文章标题:BMW Group 如何在数千名开发者之间治理数百个智能体
正文:
- 安全检查点:在审批前应用自动化安全检查,例如提示注入及类似问题。
- 去重保护措施:识别其他团队已经维护的等效能力,以避免重复工作。这项检查在注册时自动运行,在审批前标记重复项。
通过代码化实现规模化
从管理单个智能体转向治理智能体集群,要求将智能体架构代码化。借助 Terraform 或 AWS CloudFormation 等基础设施即代码框架,团队能够以与任何生产系统相同的严谨程度来配置和管理智能体基础设施:
- 细粒度最小权限角色:按智能体或工具限定范围。
- CI/CD 流水线:跨账户和区域的一致、经过验证的部署,在测试失败或指标恶化时自动停止部署。
- 策略即代码:规则(例如 AWS Config、Open Policy Agent)扫描已部署的智能体,检查其是否符合组织标准。
这三项均作为流水线门禁强制执行,在注册前进行验证,而不是事后审计。
采用模式刻意采用自下而上、中央策管的方式。各个团队构建技能和 MCP 工具来解决自身面临的直接问题。所有团队都可以通过注册表共享自己的资产来做出贡献。中央团队构建作为 CI 流水线一部分的自动治理检查,以维护标准。为支持开发团队并促进左移,中央团队还以治理即代码模块的形式提供构建块。
这种平衡既避免了中央强制规定的架构,也避免了无管理的实验。因此,当新的运维关注点出现时,团队可以扩展现有模式,而不是重新设计其架构。
在智能体生命周期中落实最佳实践
架构模式和治理标准只有在嵌入团队构建和运行智能体(运行前及运行时)所使用的工作流中时,才会有效。
部署之前
治理在编写第一行编排逻辑之前就已开始。团队会获得参考架构模式和取自注册表的示例。这些预先验证的蓝图涵盖常见的智能体配置、工具集成模式和组合结构,可加速开发,同时内嵌经过验证的默认设置。在任何内容进入生产之前,标准化的 CI/CD 控制会强制执行这些实践。图 2 显示了参考流水线的四个阶段,按从左到右的顺序运行。

图 2:四阶段智能体部署流水线的参考模式。
图 2 中的阶段 1 运行快速、确定性的检查:供应链安全(仅允许经批准的注册表)、组件与交互测试、评估库引用以及可观测性埋点。
阶段 2 并行运行安全和治理检查。静态分析扫描代码中的问题,安全测试在隔离的暂存环境中探测智能体。流水线还验证出口控制(egress controls)和最小权限权限。另外两项检查确认智能体声明的自主级别与其实际权限一致,以及其配置通过策略即代码规则。治理智能体通过对照既定标准检查智能体并标记发现项供人工审查,从而加速审计,例如:
- 范围蔓延:超出最初定义的目的或权限运行。
- 提示膨胀:指令中不必要的复杂性。
- 工具误用:在预期用例之外调用工具。
- 性能退化:准确性、延迟或成本效益下降。
图 3:治理智能体工作流示例
文章标题:BMW Group 如何在数千名开发者之间治理数百个代理
正文: 这项评估给出的是具体、可执行的措施,团队可以立即采用,而不是抽象的建议。图 3 展示了治理代理用于代理成熟度评估的仪表盘。治理代理提供证据和可执行的建议,而负责的人类拥有治理决策权。建议在应用前需要人工确认,以保持问责方面的四眼原则。评估发现会更新注册表中该代理的治理状态,而完整细节则单独记录在中央知识库中,用于审计和可追溯。
阶段 3 将代理作为运行中的系统进行评估:真实基准评估门(依据设计时建立的基准对输出打分)和代理性能(延迟、token 消耗)。图 4 详细说明了各项指标、评分标准及其相互关系。

图 4:评估指标概览
阶段 4 在注册代理及其子代理、工具和技能之前检查重复项。下表显示了注册表中每个代理存储的元数据字段。
- 唯一标识符
- 业务负责人
- 能力:名称、描述
- 功能列表:名称、描述、方向:提供/使用
- 状态:计划 / 活跃 / 已弃用
- 指向规范、代理卡或文档的链接
- 托管模式:本地、云、云区域
- 目标可用性(百分比)
- 目标 P95 响应时间(毫秒)
- 支持时间 / 运营支持模式
- 信息分类级别
- 是否处理个人数据标志
- 数据保留期限/策略
- 是否记录请求和响应载荷标志
- 是否脱敏 PII 数据标志
- 是否需要人在回路标志(对高影响/不可逆操作必需)
表 1:注册表中存储的代理元数据示例
如果任何步骤失败或指标恶化,部署会停止并记录日志以供根因分析。如果所有检查都通过,代理会被打包并作为容器化工作负载部署,从而产生一致、可复现的部署。这可以防止未受治理的代理进入生产环境,自动化合规检查,并保持注册表准确。
运行时
在运行时,可观测性必须捕捉两类漂移。数据漂移表现为新的或变化的用户查询模式,或上游 API 的变化。模型漂移表现为错误率上升或工具选择准确率下降。当客户标记某个响应时,也会触发调查。针对漂移、分布偏移、评估分数下降或客户直接标记的警报会触发分阶段响应。这些事件会被记录并转交人工审查。此外,团队可以持续运行治理代理,以标记漂移和运营问题,供负责团队调查。
总结
大规模构建和运营代理是一项工程学科,而不是实验练习。
有效的治理必须从一开始就是结构性的、外化的、对领域敏感的,并以确定性方式强制执行。我们引入了三层组合层级(MCP 工具、技能和流程)作为可复用、可组合和可互操作代理的架构基础,并将其分解为专门化代理以控制复杂性和范围。我们展示了每次 CI/CD 运行中的验证和评估如何使质量保证成为日常开发的一部分,以及将代理基础设施定义为代码如何让团队对机群中的每个代理应用相同的治理规则。最后,我们在整个代理生命周期中将这些模式付诸实践,从预先验证的参考架构和结构化流水线,到持续评估已部署代理的运行时治理代理。
文章标题:BMW Group如何在上千名开发者中治理数百个agent
我们的经验表明,这些实践在几个方面带来了回报。可复用的模板和共享基础设施降低了开发成本。得益于标准交互模型和自动化部署,团队也能更快地将agent投入生产。质量同样得到提升,因为流水线在生命周期的每个阶段都强制执行经过验证的模式。
规模化推进agentic治理是整个行业的当务之急。向AI和生成式AI支持的工作流自动化的转变,已经在重塑工程组织的运作方式。赢家将是那些不再止步于实验、而是建立起大规模治理自主agent网络所需纪律的组织。有了这些实践,BMW的工程师可以专注于解决真正重要的问题:打造终极驾驶机器。
要将这些理念应用到你自己团队的agent上,请从AWS Well-Architected Framework开始。本文将其作为可复用agent blueprint的模型。要了解BMW如何在其AWS环境中将治理代码化,请阅读How BMW Group uses automation to achieve end-to-end compliance at scale on AWS。
展望与下一步
本文描述的模式和实践是基础,而非终点。我们正在多个方向上积极扩展它们:
- 改进架构指导:发布关于架构权衡、组合模式和反模式的最佳实践指南,供构建agent的团队使用。
- 扩展基础设施即代码模板:以可用的IaC模块形式提供agent blueprint,默认内置安全与治理标准。
- 深化治理合规测试:增加CI/CD测试用例以验证治理合规性。
- 自动化标准执行:在部署前和运行时阶段扩展自动化检查与托管合规扫描规则。
- 扩展agentic FinOps:治理模型和工具调用的合理配置。
- agentic用户指导:将所述模式集成到Archimedes——BMW的架构指导agent——中,以提供结合上下文的架构建议。
致谢
作者谨向以下人士致谢(按字母顺序):Alexander Stark、Alexander Zimmer、Dr. Céline Laurent-Winter、Dominik Segl、Florian Seidel、Hugo Lerias、Dr. Lars Lewerenz、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey-Louis Meyer。