来自哥伦比亚大学和 CertiK 的研究人员推出了 TensorLean,一个在 PTX 层面对 GPU kernel 进行形式化验证的框架。TensorLean 是一个基于 Lean 的验证器,用于证明编译后的 kernel 与张量级数学规约一致。研究团队检查了 149 个 kernel 实例,包括 FlashAttention-2、-3 和 -4 的每一个 kernel 以及 DeepGEMM。它证明了其中 83 个是正确的。其余 66 个引出了 38 个正确性 bug。
TL;DR
- 规模:1.8K 行的 PTX 解析器。规约总计 10,278 行,对应 151,285 行 kernel 源码,比例接近 15:1。
- 运行环境:一台 16 核工作站。它检查为 A100、H100 和 B200 kernel 编译的 PTX。
- 性能:149 个 kernel 实例中有 83 个被证明正确,在 6 个项目中发现了 38 个 bug。
- 最佳表现:捕获了一个 FlashAttention-4 数据竞争,该问题在 17,760 次测试运行中从未出现。
什么是 TensorLean?
TensorLean 是一个在 PTX 层面对 GPU kernel 进行形式化验证的框架。
它从未经修改的源代码出发。开发者用 Lean 编写张量级规约。随后 TensorLean 证明 4 个性质:无数据竞争、终止性、输出在容差范围内正确,以及其余内存未被改动。
TensorLean 如何验证 GPU kernel?
规约构建在 Lean 的 Mathlib 之上。张量算子沿用 PyTorch 的命名,因此 @ 表示 torch.matmul。每个规约包含 5 个部分:spec_math、spec_mut、spec_layout、spec_tol 和 requires。数学部分与内存布局保持分离。
流水线分 7 步运行:
- 从未经修改的源代码出发。
- 编写张量级规约。
- 编译为 PTX 并加载 PTX 语义。
- 构建 happens-before 图以检查竞争和终止性。
- 符号执行以获得最终内存,该内存在不同调度下保持一致。
- 将规约降低到 PTX 内存层级。
- 使用 Lean 的 kernel、Z3 和 cvc5 完成证明。
哪些技术使它具备可扩展性?
- 并发转顺序:happens-before 图上的无竞争证明以符号方式覆盖所有 CTA、线程和循环迭代。
- 基于半环的循环不变式:分块累加循环(如 online softmax)的闭式形式,每个循环只需 1 次 SMT 查询。
- 容差证明:代数误差被证明为零。舍入误差单独界定,然后合并。
- 断言作为提示:开发者在源码中添加 tensorlean_assert。每个断言被证明一次,然后复用。
TensorLean 发现了哪些 bug?
GitHub README 列出了 38 个 bug,均已上报上游。FlashAttention 占 23 个。Liger Kernel 有 7 个,TileOPs 3 个,TileLang 2 个,DeepGEMM 2 个,Triton 1 个。
按类别统计,该网站报告了 19 个内存访问错误和 13 个数值 bug。它还统计出 7 个数据竞争、5 个未初始化内存读取和 5 个未定义行为。另有 3 个算法错误、2 个错误编译和 1 个死锁。一个 bug 可能同时属于多个类别。
在 102 个 FlashAttention 实例中,56 个通过了全部 4 个性质。其余 46 个各自在某个源码 bug 上未能通过一个证明目标。
它与其他 GPU kernel 验证器相比如何?
| 特性 | TensorLean | Volta | ProofWright | PTX in Lean (Koska et al.) |
|---|---|---|---|---|
| 构建者 | Columbia、CertiK | MSR India、Stanford | 未披露 | SF Tensor |
| 代码层级 | PTX | PTX | CUDA | PTX |
| 对照检查对象 | Lean 张量规约 | 参考 kernel | 安全性 + 等价性 | Lean 证明 |
| 已验证 kernel | 149 个实例,FA-2/3/4、DeepGEMM、Liger | 教程归约、SGEMM、FA 风格、TileLang | KernelBench L1,74% 的安全性 | 3 个简单 kernel |
| 异步操作(wgmma、TMA) | 支持,FA-3 和 FA-4 | 超出范围 | 未披露 | 支持 |
| 新报告 bug | 38 | 竞争、越界读取 | 未披露 | 未披露 |
| 检查时间 | 中位数约 10 分钟,最长 50 分钟 | 0.007 秒至约 570 秒 | 每个 kernel 约 3 分钟 | 未披露 |
与 Volta 的关键差距在于配置覆盖。TensorLean 表示,等价性检查器每次针对一个具体配置展开循环。它则改用符号参数。
关键要点
- TensorLean 使用 Lean、Z3 和 cvc5 在 PTX 层面证明 GPU kernel 正确。
文章标题:来自哥伦比亚大学和 CertiK 的研究团队推出 TensorLean,用于 GPU 内核的形式化验证
正文:
- 149 个内核实例中有 83 个被证明正确;发现 38 个缺陷。
- 23 个缺陷位于 FlashAttention-2、-3 和 -4 中。
- 规范(specs)的体积约为内核源代码的 15 倍之小。
请查看项目页面、GitHub 仓库以及 X 上的公告。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规范。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可执行的洞察。
- Michal SutterOpenAI 为语音代理发布 GPT-Live-1.1,将空闲成本降至 $0.02/分钟
- Michal SutterMeta FAIR 自我改进记忆在持续学习基准上达到 56.0
- Michal SutterPerplexity 推出用于故障转移和模型路由的 Orchestrator API
- Michal SutterSID AI 发布 SID-2 代理式搜索模型,Swarm 模式下 NDCG 达 0.720