##“……而且证明已在 Lean 中检查”

本文试图用简单的语言解释如何理解“这个定理是正确的,因为它已在 Lean 中检查过”这类说法。总结如下:Lean 代码中可以提取出一个重要的信号,但如果这些代码是 AI 生成的,那么你需要先做一些测试。我们会解释这些测试,并指出在许多情况下(例如 OpenAI 的定理转储),这些测试尚未被系统地完成。
引言
上个月 OpenAI 的定理转储包含 722 篇数学论文,其中约 45% 附带了某种 Lean 代码。其中三篇(未 Lean 化的)论文此后因符号错误被撤回。有些人可能会说:“好吧,附带 Lean 代码的论文肯定是正确的,因为 Lean 就是这样工作的。”另一些人可能会说:“好吧,Lean 曾经有过一个可靠性 bug,很可能还有更多,而且 AI 会钻空子,所以 Lean 验证根本说明不了什么。”不出所料,真相更为微妙,本文试图对此加以解释。
本文的结构是一系列四个问题,在人们开始做出这种形式的正确性断言之前,需要针对一个 Lean 仓库提出这些问题,尤其是当它是 AI 生成的时候。在开始之前,我要强调,对于 OpenAI 定理转储中的许多论文,这些问题尚未全部得到肯定回答(但没有什么能阻止人们去回答这些问题,我也没有理由相信下面的任何测试会失败,只是人们还没有做而已)。
问题 1. Lean 陈述与 informal 陈述是否匹配?
一个 Lean 仓库通常会有一个“主定理陈述”。这会是一些计算机代码,定义了一个定理的陈述(而非证明!)。请注意陈述与证明之间的巨大差异。例如,下面是一些可以完全编译的 Lean 代码,它定义了一个数学陈述。
import Mathlibdef FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n
这段代码导入了 Lean 的数学库 Mathlib,然后定义了一个乍看之下可能像费马大定理的数学陈述,但实际上这是一个平凡为假的陈述,因为在 Lean 中 ℕ 包含 0,所以 a = b = c = 0 且 n = 3 就给出了一个反例。这并不妨碍该陈述通过编译!但它会妨碍该陈述的任何证明通过编译。Lean 仔细区分定理的陈述和定理的证明;人类非常擅长把这两种概念都称为“一个定理”。
在评判附带某些 Lean 代码的 pdf 时,必须问的第一个问题是:“Lean 代码中定理的陈述是什么,它是否对应于 pdf 中实际的定理陈述?”对于人类 Lean 专家来说,这通常(但并非总是)是一个容易回答的问题。例如,任何具备 Lean 能力的人类数学家都能读懂上面两行代码,并发现这是对费马大定理的错误陈述。
然而,事情并不总是这么简单。目前,由于可用库的缺陷,人们可能不得不阅读数千行代码,仅仅是为了理解一个形式化定理的陈述。眼下的一个例子是 DeepMind 的 Formal Conjectures 仓库的一个 PR,其中包含 Hodge 猜想陈述的 Lean 形式化。在撰写本文时,该陈述依赖于建立在 Mathlib 之上的超过 10,000 行代码,因为 Mathlib(经过人工专家仔细检查、可以信任)尚未拥有做出该陈述所需的诸如 cycle class map 之类的定义。另一个例子是 Axiom 最近宣布的分类有限单群的形式化验证证明。Axiom 的系统所证明的陈述在这里,位于 Tau Ceti,一个由 AI 生成的 Lean 代码库。包含该陈述的文件导入了 Tau Ceti 中超过 250K 行 Lean 代码(超过 900 个文件)。其中,大约 5600 行代码至关重要,因为它们包含所有相关定义(例如,所有 sporadic simple groups 的定义,其中大部分仍不在 Mathlib 中)。没有人工检查,人们并不能真正确定这确实就是分类的正确陈述(并且请注意,我还没有遇到任何声称仔细检查过 Tau Ceti 中 sporadic groups 的定义是否正确的人)。事实上,我们拥有的关于该陈述被正确形式化的最强证据,就是 Axiom 的代码证明了它!
值得指出的是,在附带 Lean 代码的 290 个 OpenAI 定理中,大约有 38 个具有这样的性质:Lean 代码甚至没有陈述、更不用说证明论文的主要定理。而 OpenAI 从未声称它做到了!他们只是说“这里有一些与这篇论文配套的 Lean 代码”。有时代码只是陈述并证明了一些中间结果——我的印象是,OpenAI 在一些形式化尚未完成时就决定上线,于是就把手头有的东西直接扔了出来。举一个具体的例子:论文 194 声称证明了交换代数中的 Lech 重数猜想,对维数、剩余域或特征没有任何限制;这个问题自 1960 年以来一直悬而未决。相应 Lean 代码中的头条定理经核查是论文的 Corollary 5.4——这已经是令人印象深刻的成就,但不是头条结果。
问题 2:代码能编译吗?
一旦你确信自己理解了 Lean 代码声称要证明的定理的陈述,你(或者也许是你的某位朋友,如果代码库很大,他有一台性能强劲的机器)就必须实际编译这段代码。
当 Anthropic 在 Lean 中形式化费马大定理的证明时,他们请我看看他们生成的 1300 万行代码。我把它下载到我的机器上,丢进一个沙箱(因为谁知道 AI 生成的代码会做什么,理论上它可以删除你所有的文件),然后尝试编译它;我很快就内存不足了。我告诉 Anthropic,在看到代码库能够编译之前,我无法对他们所做的工作做出任何断言,于是他们给了我临时访问一台 96 核、500 GB 内存的机器的权限。这样我就能编译这段代码了。
当然,对于规模更合理的代码库,在规模合理的机器上编译代码是可能的。例如 OpenAI 对 Navier-Stokes 问题的解决是 640K 行代码,在我的笔记本电脑上就能顺利编译。
可能值得再次强调:除非你先把它放进沙箱,否则不要在你的本地机器上运行随机的 Lean 代码。Lean 的数学库可以安全地运行和构建,因为这是由人工策划并由人类专家检查的。AI 生成的代码则不是。
问题 3:代码是否证明了所陈述的定理?
文章标题:“……而且证明已经在 Lean 中检查过了”
我已经在问题 1 中谈过检查定理陈述的重要性,这样我们才能确信代码证明的是正确的东西。然而,这里还多了一层复杂性。理想情况下,定理的陈述会被包含在一个除 Mathlib 之外几乎没有其他 import 的文件中,这样我们就知道它是可信的。但定理的证明必然会 import 成千上万乃至可能数百万行没人愿意去读的代码。我们如何才能确信,在数百万行的证明文件中没有隐藏着某种诡计,把 x^n 重新定义成 37,然后因为左边是 37+37=74 而右边是 37,就证明出 a^n + b^n ≠ c^n?或者给数学添加一条新公理,声称该定理为真?换句话说——给定一个只 import 了可信代码并包含定理陈述的 Challenge.lean 文件,以及一个 import 了数百万行不可信代码并包含一个看起来一模一样的定理证明的 Solution.lean 文件,我们如何才能确信,在这数百万行代码中的某处,没有某种 hack 改变了陈述的含义、改变了规则,使其不再只是数学的公理,
一句话的答案:lake comparator。你可以在这里读到关于这个答案的更多内容。但简而言之,这个工具会检查可信文件中陈述的定理与通过不可信 import 证明的定理是否完全相同,以及证明中是否只使用了数学的公理。
问题 4:代码是否利用了 Lean 官方 kernel 中的一个 bug?
这是可能发生的。Lean 的 kernel 中曾有一个可靠性 bug,它在被发现四小时后就被修复了,随后 OpenAI 对 Lean 代码库的审查又发现了几个,所有这些都在公开宣布之前被修复了。理论上 Lean 的 kernel 中可能还有更多可靠性 bug。然而,这并不重要。
为什么不重要?因为 Lean 现在有许多由用户创建的 kernel,用许多不同的语言编写,其中至少有一个经过了形式化验证、被证明没有 bug,一直验证到汇编层面。如果你想绝对确保不存在 reward-hacking,那么同样有一句话的答案:lake comparator --paranoid。一段利用 Lean 官方 kernel 中尚未发现的 bug 的恶意代码将无法通过这项测试,除非它同时利用了许多独立系统中尚未发现的 bug。例如,Lean kernel arena 的这个网页表明,OpenAI 对 Navier–Stokes 问题的解答被多个 kernel 以及 Lean 的官方 kernel 所接受。
最后一点说明
即使 Lean 代码能够编译并通过所有这些测试,因而极大概率是一个正确的定理证明,这也不意味着任何对应的 pdf 也包含正确的证明!Navier–Stokes lost in translation 这篇论文实际上展示了相反的情况,就 Navier-Stokes 的文稿而言;尽管上述所有测试都已针对 Navier–Stokes 的工作运行过,但仍存在 pdf 证明与 Lean 证明出现分歧的情况。在这些情况下,谁知道 pdf 证明是否没问题呢!据我理解,一些专家一直在用 AI 把 Lean 证明非形式化地转回英文,以便阅读论证过程,而不是去啃 pdf 里的那些糟粕。
总结/结论
“这是真的,因为它在 Lean 中检查过了”这句话是可以变得有意义的。但人们必须在“Lean 代码能编译”之外再做一些工作。你的前沿 AI 模型可以完成所有这些工作。但这些工作必须得做,而且(取决于证明中 Lean 代码的数量)它可能在计算上代价高昂。
分享这个:
- 分享到 X(在新窗口中打开)X
- 分享到 Facebook(在新窗口中打开)Facebook
相关
关于 xenaproject
对“……而且证明已经在 Lean 中检查过了”的 8 条回应
文章标题:“……而且证明已在 Lean 中通过检查”
正文:
- coolio 说:2026年11月12日凌晨1:42 “因为 Lean 现在有多个内核 […] 其中至少一个已被形式化验证为没有缺陷,一直验证到汇编级别。” 你能说说你这里指的是哪个内核吗,也许还可以说说这个形式化验证的说法应当如何理解?(验证是在另一个证明助手中进行的吗?那个助手里难道不可能存在可靠性缺陷吗?)LikeLike 回复 xenaproject 说:2026年11月12日上午8:17 我想我还是把问题交给大师吧,直接给你指个链接 https://leodemoura.github.io/blog/2026-10-15-lean-now-ships-with-verified-kernels/ LikeLike 回复 coolio 说:2026年11月12日下午1:48 谢谢,我看过那篇博客文章了,但作为一个对 Lean 了解不多的人,它有点难以解读,而且我感兴趣的是为什么 你 觉得它让人安心。特别是像“Con-leche 是第一个用 Lean 编写并证明其一致性的 Lean 内核。”这样的说法,表面上并不是很有道理。用 Lean 来证明一个 Lean 内核是一致的,这怎么就不是循环论证呢?如果存在可靠性缺陷,它就可以在 Lean 中被用来证明任何事情,特别是证明 con-leche 是一致的,对吧?也许想法是这个一致性证明可以被人工核验,确认其中不包含任何“古怪”的东西(不过这个证明似乎是由 Claude 生成的……)LikeLike xenaproject 说:2026年11月12日晚上10:02 非常抱歉,你需要到别处去问这些问题(比如在 Lean Zulip 上)。我绝不是这些方面的专家,我所知道的是,专家们已经对这些事情深入思考过了。LikeLike
“因为 Lean 现在有多个内核 […] 其中至少一个已被形式化验证为没有缺陷,一直验证到汇编级别。”
你能说说你这里指的是哪个内核吗,也许还可以说说这个形式化验证的说法应当如何理解?(验证是在另一个证明助手中进行的吗?那个助手里难道不可能存在可靠性缺陷吗?)
- xenaproject 说:2026年11月12日上午8:17 我想我还是把问题交给大师吧,直接给你指个链接 https://leodemoura.github.io/blog/2026-10-15-lean-now-ships-with-verified-kernels/ LikeLike 回复 coolio 说:2026年11月12日下午1:48 谢谢,我看过那篇博客文章了,但作为一个对 Lean 了解不多的人,它有点难以解读,而且我感兴趣的是为什么 你 觉得它让人安心。特别是像“Con-leche 是第一个用 Lean 编写并证明其一致性的 Lean 内核。”这样的说法,表面上并不是很有道理。用 Lean 来证明一个 Lean 内核是一致的,这怎么就不是循环论证呢?如果存在可靠性缺陷,它就可以在 Lean 中被用来证明任何事情,特别是证明 con-leche 是一致的,对吧?也许想法是这个一致性证明可以被人工核验,确认其中不包含任何“古怪”的东西(不过这个证明似乎是由 Claude 生成的……)LikeLike xenaproject 说:2026年11月12日晚上10:02 非常抱歉,你需要到别处去问这些问题(比如在 Lean Zulip 上)。我绝不是这些方面的专家,我所知道的是,专家们已经对这些事情深入思考过了。LikeLike
我想我还是把问题交给大师吧,直接给你指个链接 https://leodemoura.github.io/blog/2026-10-15-lean-now-ships-with-verified-kernels/
文章标题:“……而且证明已在 Lean 中检查过”
正文:
- coolio 说:2026年11月12日下午1:48 谢谢,我看过那篇博文,但作为一个对 Lean 了解不多的人,理解起来有点困难,我感兴趣的是为什么你觉得它令人安心。特别是像“Con-leche 是第一个用 Lean 编写并证明一致的 Lean 内核。”这样的说法,乍一看不太说得通。用 Lean 来证明一个 Lean 内核是一致的,这怎么就不是循环论证呢?如果存在一个可靠性 bug,它就可以在 Lean 中证明任何事情,特别是证明 con-leche 是一致的,对吧?也许想法是,一致性证明可以被人为验证,确认其中不包含任何“奇怪”的东西(尽管这个证明似乎是由 Claude 生成的……)LikeLike
谢谢,我看过那篇博文,但作为一个对 Lean 了解不多的人,理解起来有点困难,我感兴趣的是为什么你觉得它令人安心。特别是像
“Con-leche 是第一个用 Lean 编写并证明一致的 Lean 内核。”
这样的说法,乍一看不太说得通。用 Lean 来证明一个 Lean 内核是一致的,这怎么就不是循环论证呢?如果存在一个可靠性 bug,它就可以在 Lean 中证明任何事情,特别是证明 con-leche 是一致的,对吧?也许想法是,一致性证明可以被人为验证,确认其中不包含任何“奇怪”的东西(尽管这个证明似乎是由 Claude 生成的……)
- xenaproject 说:2026年11月12日晚上10:02 非常抱歉,你需要到别处(比如 Lean Zulip 上)问这些问题。我绝不是这些方面的专家,我所知道的是,专家们已经深入思考过这些问题。LikeLike
非常抱歉,你需要到别处(比如 Lean Zulip 上)问这些问题。我绝不是这些方面的专家,我所知道的是,专家们已经深入思考过这些问题。
- dorchard 说:2026年11月12日上午10:33 非常好的总结——谢谢。Randy Pollack 在1997年有一篇很好的论文,思路类似,也更多地涉及了哲学层面。如果有人感兴趣但还没看过,值得一读:https://www.brics.dk/RS/97/18/BRICS-RS-97-18.pdf 让我觉得有趣的是,它的开头一句是“假设我说‘这里是费马大定理(FLT)的机器验证证明’”。活着真好!LikeLike 回复
非常好的总结——谢谢。Randy Pollack 在1997年有一篇很好的论文,思路类似,也更多地涉及了哲学层面。如果有人感兴趣但还没看过,值得一读:https://www.brics.dk/RS/97/18/BRICS-RS-97-18.pdf 让我觉得有趣的是,它的开头一句是“假设我说‘这里是费马大定理(FLT)的机器验证证明’”。活着真好!
- boltonbailey 说:2026年11月13日凌晨2:23 好文章!几个月前我在大量为 AI 驱动的 https://github.com/SamuelSchlesinger/complexitylib-v1 做贡献时,喜欢它的一个特点是它通过在很多文件和目录的路径中加上“Internal”来把它们分隔开,作为这些文件旨在包含证明材料、不应由人类阅读的信号。这使得更容易专注于其他文件,那些文件包含了大多数关键定义和断言。我认为这是一个很好的创新,应该更多地尝试用更清晰的方式标明库中哪些材料经过人类审查、哪些没有。LikeLike 回复
像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。在回复和工具调用中都要完全按照原样使用它们:它们会在任何东西运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。
文章标题:“……而证明已在 Lean 中检查”
正文: 几个月前我大量参与贡献 AI 驱动的 https://github.com/SamuelSchlesinger/complexitylib-v1 时,我喜欢的一个特点是它把许多文件和目录分隔开,在路径中加上“Internal”作为信号,表示这些文件是用来存放证明材料的,不应由人类阅读。这让专注于其他文件变得更容易,那些文件包含了大多数关键定义和命题。我认为这是一项很好的创新,应该有更多实验,用更清晰的方式标明库中哪些材料经过人类审查、哪些没有。
- Dan 说:2026 年 11 月 13 日下午 1:04 好奇,你用什么来沙箱运行 Lean?你只是把它跑在虚拟机里,还是有更精细的方案?赞赞 回复 xenaproject 说:2026 年 11 月 13 日下午 1:37 在实践中,当我运行从互联网上拿到的 Lean 代码、且它不是 mathlib 或我认识的人写的代码时,我会做三件事之一:(1) 在 linux 上使用 bubblewrap (2) 使用租来的服务器 (3) 在运行代码前让 LLM 好好看看它;我只在我独立确信没有奇怪的东西、且我不确定是否推荐它对来源不明的随机大型仓库使用的情况下才做 (3)。赞赞 回复
好奇,你用什么来沙箱运行 Lean?你只是把它跑在虚拟机里,还是有更精细的方案?
- xenaproject 说:2026 年 11 月 13 日下午 1:37 在实践中,当我运行从互联网上拿到的 Lean 代码、且它不是 mathlib 或我认识的人写的代码时,我会做三件事之一:(1) 在 linux 上使用 bubblewrap (2) 使用租来的服务器 (3) 在运行代码前让 LLM 好好看看它;我只在我独立确信没有奇怪的东西、且我不确定是否推荐它对来源不明的随机大型仓库使用的情况下才做 (3)。赞赞 回复
在实践中,当我运行从互联网上拿到的 Lean 代码、且它不是 mathlib 或我认识的人写的代码时,我会做三件事之一:(1) 在 linux 上使用 bubblewrap (2) 使用租来的服务器 (3) 在运行代码前让 LLM 好好看看它;我只在我独立确信没有奇怪的东西、且我不确定是否推荐它对来源不明的随机大型仓库使用的情况下才做 (3)。