在Claude Code团队,我们的绝大部分代码(约90%)由Claude编写和审查。在这种规模下,如何让我们的agent用证据来验证自己的工作变得极其重要。
验证循环是让你能把更多工作委托给Claude的基础构件。没有它们,你实际上只能同时运行一两个Claude,因为所有东西都得你自己检查。有了它们,你可以并行运行几十甚至上百个。
这是因为给agent一种验证其输出的方式,是提升质量的有效手段。在围绕结构化文件生成的内部测试中,让一个独立的评分器依据评分标准检查Claude的工作,相比标准的提示循环,任务成功率最高提升了10个百分点,而且在最难的问题上收益最大。
过去验证成本高昂的东西(测试、基准、规格说明、真实的端到端运行),现在向agent请求变得很便宜。和代码一样,agent可以快速生成测试、基准和规格说明。而且一旦生成,这些测试和基准就作为软件运行,因此可以频繁运行,而不会消耗大量额外的token。
你还可以利用结果来提升agent在该任务上的表现,从而闭合验证循环。例如,如果某个agent反复无法通过一项检查日志中是否包含用户数据的测试,你可以在你的CLAUDE.md中创建一个hook或一条更明确的规则,以避免未来出现该问题。这(基本上)能阻止问题再次发生。
那么,如果验证对于以高速度产出高质量代码至关重要,你应该使用哪些类型的测试,又该如何在整个流程中应用它们?本文回答这些问题,并分享Claude Code团队所用的流程。
并非所有测试生而平等:值得投入的3种测试
无论你选择哪种测试类型,都有一些失败模式需要避免。
如果你的测试不稳定,你会训练agent去重跑它们,而不是修复失败的代码。如果你的测试很慢,agent会在各批次中做更少的测试,这会让定位问题变得困难。较重的测试最好在你提交更改之前部署。
接下来,是我认为最值得投入的三种测试类型。
E2E测试
如果你只能专注于一种测试类型,那就选端到端。这类测试描述真实的用户流程,比如把商品加入购物车、结账、进入确认页面。
E2E测试之所以如此有效,是因为它们很难被糊弄——要么整个功能能用,要么不能用。它们还有明确的完成标准,能具体告诉你哪里坏了。

虽然单元测试更快、更稳定,但它们有可能通过却仍然破坏了功能。这是因为agent和测试都没有理解完整的任务。
对于E2E测试,让agent在真实运行的系统上拥有手和眼是有效的。你可以使用一个skill,借助CDP、模拟器或API harness等工具来启动、驱动并检查应用。
功能地图可以作为agent的指南和评分标准,因为它们通常从用户的视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
属性测试:不会失效的约束
文章标题:Claude Code 团队如何思考验证
很多测试基于你认为可能出错的地方。属性测试关注的是人们容易忽略的边缘情况,而这正是 agent 经常失败的地方。
你先写一个你认为不可能失败的断言,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成数千个输入,试图证明它不成立。
几乎所有软件项目里都有很多属性,比如:
- 往返编码:“如果你编码 X 再解码回来,得到的还是 X。”这对解析和序列化同样适用。
- 不变量:必须始终成立的事情,比如“账户余额永远不能为负”。
- 幂等性:执行一个动作(迁移、归一化、重试)两次与执行一次的效果相同。
- 等价性:优化后的代码产生的结果与朴素但正确的代码相同。
属性库是让 agent 保持诚实的绝佳方式,因为它使用的边缘情况并非由创建原始代码的同一个 agent、带着同样的偏见生成。它们在重写场景中尤其有用——当规格已经偏离生产行为、不再是可靠的验证依据时。
差分测试:旧系统就是 oracle
差分测试在大规模迁移场景中特别有效,这类场景中功能预期保持不变。做这类测试时,你用相同的输入分别运行旧系统和新系统,看结果是否不同。如果不同,就说明存在需要修复的 bug 或破坏性变更。
差分测试的关键是使用随机生成的输入或生产流量的样本。你还需要归一化无关因素(如空白字符),并维护一份已批准的变更清单,用于新环境本应与旧环境不同的情况。
CLAUDE CODE 团队如何思考验证
我们之前写过 Anthropic 的代码审查如何运作,但本文旨在更深入地介绍我们如何验证自己的工作。
验证意味着运行改动
端到端运行应用比测试更重要。你不会没在模拟器里试过就发布一个 iOS 改动,对 Claude 来说也是如此。
Claude 可以像人类或 QA 工程师那样测试整个应用。让它用 Claude Chrome 扩展来验证 Web 改动,用 iOS 或 Android MCP 验证移动端,用 computer use 验证桌面端,或者在本地运行服务来验证后端工作。
为了把如何启动模拟器或运行应用固化下来,创建一个名为 verify 的 skill。把它放在仓库的 .claude/skills/ 文件夹里,尽量靠近相关代码,需要多少个就加多少个。Claude 知道在提交改动前使用 verify skill。
然后投入精力让你的 verify skill 快速且可靠。让 Claude 对它迭代并做压力测试。这是你的冒烟测试框架,所以你要让它坚如磐石。
当你给 Claude 一个端到端冒烟测试其改动的方法时,你会得到好得多的结果。你会看到它像人一样迭代,更快地发现真正的错误。我们在 Anthropic 几乎所有的改动都是这样测试的。
失败的测试需要人介入
没人能读完每一个改动,所以我们用失败作为一种方式来判断哪些需要人来处理。Claude 运行检查并尝试修复任何失败项。如果一项检查经过三轮仍然失败,Claude 就停下来,引入人处理。
代码所有者编写自己的检查
拥有代码的人为代码编写检查,并不断改进它们,直到它们能标出所有者会标出的问题。当某项检查拉入一位审查者时,它应该说明原因,这样审查者就不必从 diff 里去推断。
可靠性检查由 diff 触发
我们维护一份包含 39 个条目的可靠性清单,每个条目都有一个可从 diff 中读出的触发条件、一项检查,以及它背后的故障事件或 PR。其中一条是“--resume 加载旧 transcript”。当会话存储或消息类型发生变化时,我们会问新字段能否安全加载,因为旧的 transcript 不会有这个字段。
文章标题:Claude Code 团队如何看待验证
正文: Claude 会阅读 diff,只检查触发条件匹配的条目——通常是 3 到 10 条——这样就不需要任何人去记住过去的故障。
一个审查者,多轮审查
我们不会通过堆叠更多审查者来改进审查。在主审查者之上再加一个更昂贵的第二审查者,往往比调优主审查者更糟糕。相反,我们有一个 REVIEW.md,说明审查者应该关注这段代码的哪些方面。
我们还认为审查和验证轮次应该相互叠加。我们让每一轮都参考前几轮的上下文和过去的失败,而不是从头重新检查所有内容。这样成本更低,也能发现更多问题。
变更不能修改自己的检查
如果一项变更能够修改评判它的检查,那么这项检查就是失效的。Code Review 从 base 或默认分支读取 REVIEW.md 文件,绝不从 pull request 的变更中读取。Claude Code 团队确保门控变更的规则位于变更无法修改的分支上。
Claude Code 团队还将审查限定在特定 commit 上。如果有人在审查进行期间推送,那么审查结果就不再有用。对过期 commit 的通过审查毫无意义。
团队还优先运行低成本的检查。如果 agent 在本地测试之前就推送,它就占用了共享的审查和 CI 时间,而它本可以自己发现这个 bug。在我们团队中,Claude 在打开 pull request 之前会运行测试、构建和 linter。你可以通过一个在 Claude 完成时运行测试的 hook,或者一个要求测试套件通过的 /goal 来强制执行这一点。
以 observe 模式启动新门控
在我们自己的仓库中,我们会为每个 commit 打上验证方式的标记。标记甚至包含 "none",这样我们就可以查询未经验证的 commit。
我们还创建了一个 commit 门控,如果会话中没有包含 /code-review 或 /verify,就可以阻止 commit。我们为它设置了 off、observe 和 enforce 三种模式。
Observe 模式会记录本应被阻止的内容,这样我们可以审查任何误报,并确保没有人受到影响。
Enforce 模式会阻止 commit。任何 commit 都可以在其 message 中附带说明,解释为什么它没有经过验证。如果会话中 commit 已被阻止两次,下一个 commit 将被放行,这样 Claude 就不会卡住——Claude Code 并不完美。
用真正重要的东西来检验你的检查
Claude Code 团队还定期审查审查者。我们会追踪有多少已合并的变更被回滚、有多少变更在合并前被维护者拒绝,以及一个规模匹配的、保持干净的变更子集。
这也可以通过正式的评估来完成。在我们的代码审查文章中,我们描述了 Code Review 团队如何基于过去的事件和回滚建立评估。他们为每个示例将仓库重建到审查时的状态,并提供一句话的答案要点说明 bug 是什么。只有正确描述相关 bug 的发现才能得分。他们使用已合并且稳定的变更作为对照,以防止过度标记。他们的调优集与他们用于评估系统的固定测试集是分开的。
他们还分别评估了原始发现、验证后和最终审查的召回率。这让他们能够看到系统是否在丢失已经发现的 bug。任何将所有这些视为一个端到端分数的评估都无法捕捉到这种细微差别。
除了有效性之外,我们关心的另一个维度是做出这项变更的重要性。一个好的审查者会抓住大多数技术上正确的问题,但人们关心的是某个 bug 是必须修复、应该修复还是小问题。
Code Review 正是这个思路,它会将问题标记为 Important、Nit 或 Pre-existing。"pre-existing" 标签意味着审查者不应让作者对已经存在的 bug 负责。
最后,Claude Code 团队会将召回率调高到这样一个点:再进一步的改进将是对评估的过拟合,而不是真正地发现 bug。
把遗漏转化为规则
在 Claude Code 仓库中,我们有两种把遗漏案例转化为规则的方法。第一种是从人工代码审查评论和 PR 回滚中提取模式,以识别常见问题。这些问题必须至少出现在两个 PR 中,并且能够从 diff 中识别出来,才会被视为潜在规则。三个 agent 会尝试证伪它们,并且它们会在一个 PR 中由人工审查和批准。
第二种方法是用三个 bug finder 对一个与已知事件关联的 PR 进行重放。如果至少有两个找到了该 bug,它就是一个可检测的 bug。如果在一个很小的 diff 上漏掉了这个 bug,这就是一个值得转化为 REVIEW.md 中规则的缺口。
flaky 测试也按同样方式处理。Claude 不能跳过它们、添加 sleep,或重试到它们通过为止。如果它找不到根因,就删除该测试并写下原因。
规则也需要清理。测试套件、验证步骤和 .md 文件如果放任不管,只会不断增长,所以我们会定期整理它们。
好的测试,好的结果
我们发现,为你的 agent 提供一种通过强反馈回路来验证其工作的方法,会带来全然不同的效果。像对待任何其他系统一样对待你的验证层。让它远离它所评判的改动,用对你真正重要的 bug 来给它评分,并在它漏掉某些东西时写下教训,以免同样的问题发生不止一次,同时修剪这些教训,使它们始终值得运行。
做到这一点后,你的工作就会从阅读每一个 diff,转变为定义“完成”是什么样子并审查证据,而这正是让你能够同时运行许多 Claude 的原因。