文章标题:对抗劣质输出之战及一件初露锋芒的武器:形式化验证
正文:

2026 年 AI 行业的年度词汇是“slop”(劣质输出)——指大语言模型产出的低质量内容。如今大量代码由 AI 生成,避免劣质输出已成为软件工程师每天的关切。那么该怎么做?一种方式是使用形式化验证系统,它利用数学证明和逻辑来验证软件或硬件的正确性。
随着 AI 在解决数学问题上的能力不断增强,如今已有多家 AI 公司提供形式化验证系统,包括 Harmonic、Theorem、Axiom Math,以及新入局者 &Truth(读作“and truth”)。本文将介绍这些公司采用的一些方法。

形式化验证如今在软件和 AI 中如何应用
为了更好地了解形式化验证系统的格局,我们采访了该领域的主要倡导者之一:Clark Barrett,&Truth 的联合创始人兼联合 CEO。他同时也是斯坦福大学计算机科学 Corbel 教授(研究型),并且是形式化验证中广泛使用的流行自动推理引擎 cvc5 的联合创造者之一。
简而言之,cvc5 是一种针对可满足性模理论(SMT)的“求解器”,Barrett 表示它在 Amazon 等公司中被广泛使用。例如,cvc5 被用于 Amazon 的智能体开发环境 Kiro 中的规范分析和测试生成。
“看到我的工具从实验室里的一个好点子,变成如今在 Amazon 的生产流水线中每天被调用数十亿次,这真的很有趣,”Barrett 告诉我们。

出自 Clark Barrett 参与合著的一篇 2022 年关于 cvc5 的论文。
当 AI 编程智能体公司谈论“验证”它们的工作时,通常指的是智能体运行测试、自我批评其输出,或让另一个 AI 模型来评判。于是我询问 Barrett,这与真正的验证相差多远?
“主要区别其实就在于,你如何知道何时算完成,”他回答说。“所以,如果你是在做测试、打补丁、扫描——使用所有这些现有工具——它们相当不错。我的意思是,它们能发现大量问题,会把这些 issue 提出来。但你永远无法完全确定,我是不是把所有[问题]都找到了,还是有一个潜伏在那里、我的工具发现不了?”

&Atlas,&Truth 的首款工具;它是“一张世界开源代码的地图,从用 C 编程语言编写的代码开始。”
Lean 在形式化验证中的作用
&Truth 构建于 Lean 之上,Lean 是一种开源编程语言兼证明助手。该公司将 AI 与自动推理技术相结合,以构造 Lean 能够校验的证明。
Lean 是前沿模型用来解决各种极其困难数学问题的一种语言。例如,就在本周,GPT-6.2 Astra 产出了 Vals 认为是“Smoktunowicz 间隙定理的首个 Lean 证明”的成果。Vals 还补充说,Anthropic 也曾用 Lean 形式化费马大定理,这是一个 1300 万行的项目。
最新的数学大新闻是一则报道:Anthropic 的数学家 Levent Alpöge 声称他借助 Claude 证明了存在 167 年之久的黎曼猜想——并且他用 Lean 发布了该证明。

Lean 代码示例;来自 Lean 项目网站
&Truth 正在 Lean 框架之上构建它所谓的“验证机器”,其目标是读取“任何语言的代码,证明其是否满足精确陈述的需求,并让人类无需理解每一行代码就能信任它”。
“Lean 所做的就是检查你没有犯错,”Barrett 解释道,“所以你可以把它看作一个非常精密的数学检查器。”
Latent Space 的读者正是那些构建智能体、模型和基础设施的人。欢迎咨询赞助此广告位。
这对模型训练也有影响。Axiom Math 使用形式化验证为其数学推理系统的训练提供正确性反馈,证明尝试有助于改进未来的模型。
在 6 月接受 Latent Space 采访时,Axiom CEO Carina Hong 指出,形式化验证——以及 Lean 所赋能的能力——不仅仅是一种防御措施。
“形式化验证,或者说经过验证的 AI,对我们来说不仅仅是处理或剔除那些劣质内容、幻觉和错误。它关乎放大卓越,关乎超级智能。”

在 YouTube 上打开视频 ↗
Axiom 开发了 AxiomProver,一个生成 Lean 证明的 AI 系统,以及 AXLE,其用于探索、验证和操作这些证明的工具包。
Harmonic 的 Aristotle 是一个“自动定理证明器”,在其产品中大量使用 Lean。“在 Aristotle 内部,AI 编写证明,Lean 检查证明的每一步,因此结果从不依赖于 AI 是否正确,”该公司在其网站上表示。

Harmonic 的工作流程
网络安全与 LLM 规模化的形式化验证
鉴于如今人们对网络安全的偏执程度日益加剧——有人可能会说,这是在 AGI 到来前的日子里——形式化验证系统似乎比以往任何时候都更加必要。Barrett 证实,网络安全是 &Truth 的一个关键重点。
“我们技术的一个非常强大的用例是遍历世界上所有的 C 代码,无论是开源还是闭源,并努力确保其内存安全。然后,如果它不安全,我们可以指出:这段代码存在这个问题,你需要修复它以确保安全。”
安全也是 &Truth 的竞争对手之一 Theorem 的重点。“验证是唯一能在对手规模化时依然有效的防御,”Theorem 在其主页上表示。

Theorem 的证明效率评估:“在我们的证明效率评估中,每小时验证的机器代码 KB 数,按模型发布日期排列,置信区间为 95%。”
Theorem 还就此话题与 Anthropic 合作,产出了一篇题为“LLM 正在使形式化软件验证在更大规模上变得可行”的博客文章。
文章中较为令人鼓舞的一点是,形式化验证虽然目前 token 开销较大,但正开始变得更加 token 高效。在一组 36 个小型验证任务上,Anthropic 报告称 Opus 5.5 达到了 50% 的解决率,使用的 token 比 Opus 5 少约 40%。随着更多模型“在长验证任务上接受训练”,这一趋势预计将持续下去。
Theorem 和 Anthropic 将“LLM 规模化的形式化验证”描述为一种有前景的方法,能够以前所未有的可行规模提供安全保障。

Anthropic 示意图:“从代码到机器校验的保证”;此处使用的是 Rocq 而非 Lean。
面向开发者的“veri-coding”体验
最后,形式化验证如何融入开发者的工作流程?&Truth 在其网站上表示,开发者将从 vibe-coding 转向“veri-coding”——这意味着验证层是工作流程的一部分。
“如果你的验证机器已连接到你的 agent,你仍然可以说,‘嘿,我想让你构建这个,’”Barrett 说。“也许需要花一点工夫与 agent 真正敲定你想构建之物的规格说明。但随后 agent 可以深入底层,与形式化[验证]工具协作,而本质上你几乎看不到什么差别,除了你的代码第一次就能正常工作。”
那么,这个理念就是:开发者更多的时间将花在编写和审阅规格说明上,而不是花在写代码或审阅代码上。
验证所有结果
在完成这篇文章时,我看到了 Cognition 开发者关系负责人 Nader Dabit 的这条推文:

无论“outcome engineering”这个词能否流行起来,他在我们当下编程所处的位置这一点上确实说到了点子上。当你只是告诉你的 agent 团队你想要什么,它们就去构建时,你(人类开发者)需要一种方法来检查你的 agent 交付之物的正确性。
如果 &Truth、Harmonic、Theorem 和 Axiom Math 这些公司如愿以偿,形式化验证可能会成为一种越来越实用的方式来检查那些结果。