AI 时代的工程生命体征

眼下,每个工程组织都在被问同一个问题:AI 真的让我们更擅长构建软件了吗?
这是个合理的问题。我们在 token 和工具上投入了真金白银,也在重塑团队的工作方式。我们理应能说清楚从中得到了什么。
我看到的回答大致分为两派。第一派统计活动量:生成的代码行数、消耗的 token 数、由 agent 编写的代码占比。第二派则直接跳到终点,宣称唯一值得衡量的就是价值。
LaunchDarkly 最近发布的 Release Autopilot 公告就是第二派的一个好例子。它描述了其为 AI 软件工厂设定的目标:让每投入一小时人类注意力,就能最大化触达客户的有价值软件。
那不是目标。那是愿景。
你怎么统计有价值的软件?价值在变更上线数周或数月之后才显现,而且它是产品、设计、工程和销售多方决策的产物。价值是一项团队运动。你又怎么统计一小时的人类注意力?我可不想成为那个引入“注意力工时表”的人。
值得看看同一篇文章提供的证据。在工程师人数大致相同的情况下,每月合并的 pull request 数量翻了一倍多,而花在重大和严重事故上的时间下降了约 70%。这些是吞吐量和稳定性指标。它们是很好的证据,而且比起价值,它们离 pull request 数量要近得多。
这篇文章讲的是我们在 Octopus 选择衡量什么,以及为什么。这些都不算革命性的。但其中有些与当下的产品开发时代思潮背道而驰。
结果是输出构成的
“重结果而非输出”是产品开发中被重复最多的说法之一。结果最终才是真正重要的东西,这没错。但这句话掩盖了我们如何抵达结果。
结果是通过持续交付输出而实现的。我们做出决策、交付某个东西、观察发生了什么,然后再次决策。这就是 OODA 循环。我们交付的第一样东西几乎从来都不是最有价值的东西。它帮助我们学习、转向或坚持,最终到达一个我们已经实现了大量价值的节点。
你不可能只交付一样东西就赢了。你也可能交付了无数东西却依然没赢。你必须产生输出,并走过这个循环。
这就是价值发现循环。我们完成它越快,随着时间积累的价值就越多。
速度:我们完成价值发现循环的快慢。
输出是价值的代理指标。
工程生命体征
谁是这个价值发现循环的主要驱动者?工程。
“但是 Besty,如今多亏了 Claude,我们的产品经理和设计师也都在往产品里交付变更了!”你可能会这么说。恭喜他们——他们现在也是工程师了,他们的努力也会体现在工程的生命体征里。
工程领导者的职责之一,就是为自己组织的团队扫清障碍、赋能他们尽可能高效且有效地交付。一旦工程师人数超过寥寥几个,你就不可能在没有某种数据支撑的情况下,拍着胸脯说自己履行了这一职责。
在 Octopus,我们多次停下来测量交付流水线中的某些环节,并发现了不少可以做出的有益优化。
你的生命体征应当让你洞察自己的工程组织在产出输出、维持服务水平目标方面的有效程度。它们会帮你超越凭感觉,走向一个更具体的视角,看清你交付得如何、为组织的成果贡献得如何。
我们为什么重启了生命体征
AI 时代的工程关键指标
AI 是一股颠覆性的力量,在 Octopus,拥抱这种颠覆至关重要。AI 是一根杠杆——它能帮助我们取得更多成果,提供越来越好的客户体验,而无需大幅增加成本。但更重要的是——我们的客户正在经历同样的颠覆。我们的客户是工程师——他们日复一日地交付软件,而且大多数人正处于与我们 Octopus 相同的 AI 采用旅程上的某个阶段。要真正共情客户在这段旅程中的痛苦,我们需要亲身经历它。
我们对软件工程走向的假设很简单:铺天盖地的变更量。得益于 AI 带来的杠杆效应,两名工程师组成的团队已经成为常态,构建和交付所需的时间正在压缩。
我们正在重新启动工程关键指标,因为我们的 AI 转型正在改变我们工作的形态。我在这里使用“转型”一词并非夸张——这些变化确实是转型性的。我们需要知道,我们在 AI 驱动的开发生命周期中所做的转变,是否在帮助我们更快地走完价值发现循环,同时维持我们的 SLO。
如果假设成立,以下是我们需要能够回答的问题:
- 我们交付变更并逐步向客户发布的频率如何?
- 我们的工程反馈循环是否达到我们对速度和可靠性的标准?
- 随着我们深入采用 agentic 工作流,变更量是否在增加,而人员编制保持稳定?
- 是否出现了以前不会经常做、或根本不会做的工作?
- 我们的运维负担是否在缩减?更少的人、更少的时间、更少的苦工。
- 质量是否同时在提升?
- 随着工作性质的变化,人们是否仍然在工作中找到快乐和满足感?
这些问题帮助我们理解工程组织的有效性,并帮助我们在发现拖慢我们的事情时,识别可以拉动哪些杠杆。
AI 采用有自己的一套度量,与我们的关键指标并列——我们将在另一篇博客文章中讨论这些。
度量项
我们将关键指标分为三个领域。
交付目标衡量我们交付管线和反馈循环的有效性。它们按系统度量,拥有该系统的团队设定服务级别目标(SLO)。
质量目标衡量我们交付内容的质量,以及开发者体验的质量。它们在整个组织范围内度量,由我作为 CTO 拥有 SLO。
趋势在整个组织范围内度量,并且刻意不设 SLO。我们采集它们是因为它们能给我们洞察,尤其是与目标一起阅读时。
| 领域 | 度量项 | 它告诉我们什么 |
|---|---|---|
| 交付 | 部署前置时间 | 从拉取请求上的第一次提交到该变更在 100% 的生产实例上运行的时间。一旦我们开始工作,把工作交到客户手中需要多长时间。 |
| 交付 | 拉取请求流失、周期时间和审查延迟 | 变更从被打开到被合并之间在哪里变慢。 |
| 交付 | 恢复时间 | 从缺陷被合并到修复可供受影响客户使用的时间,分为检测、解决和部署。 |
| 交付 | 构建时间和构建稳定性 | 分支构建和主构建的滚动 7 天平均值。我们最内层反馈循环的健康状况。 |
| 交付 | 批量和部署增量 | 已部署内容落后于 main 顶端多远,以提交数和时间计。 |
| 质量 | Sev 0-2 数量 | 每月到达客户的高严重性缺陷数量。 |
| 质量 | 研发 NPS | 在使用者眼中,我们的平台和开发者体验是否在变好。 |
| 趋势 | 拉取请求量 | 随时间合并的拉取请求总量。我们对铺天盖地的变更量假设的检验。 |
文章标题:AI 时代的工程命脉
正文: 如果你了解 DORA 指标,这些内容大部分看起来都很熟悉。不过有一点我要专门跟 DORA 的指标较个劲——变更失败率对理解客户影响毫无帮助。
不要掩盖故障对客户的影响
我们不衡量变更失败率。
很长一段时间里,我们的变更失败率保持在 2% 以下,按任何基准衡量都算健康。然而有时确实发生的故障仍然对客户造成了重大影响。信号说一切正常。客户的真实体验却并非如此。
AI 让这个问题更严重。比率有分母,而分母正是我们预期会爆炸式增长的东西。如果我们合并的变更翻倍、失败率保持不变,那么到达客户的缺陷也翻倍了,而仪表盘纹丝不动。
客户体验到的不是一个百分比。他们体验到的是缺陷。
所以我们计数。每个月我们查看到达客户的 Sev 0-2 缺陷数量,作为领导者,我们深入探究数字背后的具体问题。如果需要,我们仍然可以推导出一个比率。
这只有在所有工作都被追踪的前提下才成立。如果一个缺陷已经合并到 main 并部署,它就会被记录严重级别,无论是由客户发现还是我们自己发现。我们自己就是客户零号,所以任何影响我们的问题都会影响客户。
有趋势,无目标
我们关心速度,并且需要在时间维度上对其做整体推理。在这一点上,我们谨记古德哈特定律对趋势的告诫:当一个度量变成目标,它就不再是一个好的度量。所以我们不为它设定目标。
拉取请求数量是我们衡量速度的代理指标,也是我们观察价值发现循环的窗口。
我们关心自己通过价值发现循环的速度有多快。随着我们更深入地拥抱 agentic 开发,我们希望看到趋势向右上方走。
我们设定其他可衡量的目标来影响速度。一个例子是在无人工干预的情况下交付的 PR 占比。
趋势与服务级别目标结合使用时尤其有用。拉取请求数量上升,而 Sev 0-2 计数持平、前置时间保持稳定,这比仅仅知道速度在提升能讲述更丰富的故事。
我们并不孤单
虽然这与一些流行的产品开发理念相悖,但这些都算不上特别深奥。
我是 Gergely Orosz 的 Pragmatic Engineer 通讯的忠实粉丝和定期读者。在其中一期中,Laura Tacho 和 Gergely 考察了 18 家科技公司如何衡量 AI 的影响,包括 Google、GitHub、Microsoft、Dropbox 和 Monzo。有两点发现让我印象深刻:
- 大多数衡量类型看起来与 AI 之前并无二致。得到清晰答案的公司,是那些早已在理解自身工程绩效上投入过的公司。
- 几乎每家公司都将速度度量与质量度量配对,使两者相互制衡。
更新的数据用更大的数字讲述了同样的故事。Atlassian 基于 500 多家公司的 DX 数据撰写的报告指出,拉取请求吞吐量的中位数翻了一番。报告还指出,拉取请求规模在四个季度内增长了 122%,工程师对自己变更的信心下降,而用于新客户价值的产能占比只移动了一个百分点。
这就是汹涌而来的变更洪流,却没有随之而来的价值。这也是为什么拉取请求数量对我们来说是一个趋势,而不是一个目标。
同一份报告描述了 Dropbox 将其释放出的产能投向长期搁置的维护工作,比如语言迁移和依赖升级。这恰好回答了我们自己的一个问题:以前不会去做的工作正在启动。
有一点我们与众不同。这些公司几乎都把变更失败率作为质量度量,而我们选择了计数。原因我在上面已经解释过了。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按照书写形式使用它们,无论是在回复中还是在工具调用中:它们会在任何东西运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。
文章标题:AI 时代的工程命脉
正文: 平心而论,LaunchDarkly 的数据也符合这个模式。合并的 pull request 增加,故障时间下降,员工人数持平。速度与质量,并排衡量。这是他们的机器运转良好的有力证据。软件是否有价值则是另一个问题,答案在别处。
说到 LaunchDarkly,你知道 Octopus 现在有功能开关(Feature Flags)了吗?Octopus 功能开关在所有许可层级中均免费提供,基于 OpenFeature 构建,非常适合高频部署、希望对面向客户和用户的变更发布拥有更多控制权的组织。
结论
AI 并没有改变什么让工程组织高效。它改变的是流经一个组织的量,以及弱点暴露的速度。
衡量每单位人类注意力小时的价值,是一个很好的目标。但价值是一个滞后信号,拥有众多责任人,你无法靠它逐周地引导你的组织。
所以,从衡量你能引导的东西开始。了解将一项变更交到客户手中需要多长时间,当一项变更有误时你恢复得有多快,这个月有多少严重缺陷到达了客户手中,以及在那些数字保持稳定的同时变更量是否在增长。
当你能够按需回答这些问题时,你就可以抬高视线:如果你的指标是健康的,而指针仍然没有移动,你就知道下一步该看哪里。
衡量你工程机器的效率。然后把目光投向价值。
来源
- AI 改变了我们编写软件的方式。我们必须改变发布软件的方式。,LaunchDarkly,2026 年 11 月
- AI 辅助软件开发的现状,DORA,2025
- 平衡 AI 的张力:从 AI 采用走向有效的 SDLC 使用,DORA,2026 年 3 月
- 科技公司如何衡量 AI 对软件开发的影响,The Pragmatic Engineer,2025 年 9 月
- 在整个工程生命周期中衡量和编排 AI,Atlassian,2026 年 11 月
标签:
相关文章

为 Octopus Deploy 引入远程 MCP
Octopus 现在包含一个内置的远程 MCP 服务器。无需安装或维护:将你的代理指向你实例的 /mcp 端点即可。


使用 llms.txt 和 AI 编码代理构建你自己的 Octopus 仪表板
看看我如何使用 Octopus Server 的 llms.txt 文件和 AI 编码代理创建逼真的测试数据,并使用 Octopus API 构建 3 个自定义仪表板。


使用 Octopus Deploy 构建 AI 驱动的故障机器人
我如何使用 Octopus Deploy 构建 AI 辅助的 Kubernetes 故障机器人。

时事通讯
加入约 80,000 名 DevOps 专业人士,注册获取最新的 Octopus 新闻、活动和观点。无垃圾邮件。可随时取消订阅。