Newshot

哥伦比亚大学与CertiK团队推出TensorLean,用于GPU内核形式化验证

AI summary

哥伦比亚大学与CertiK的研究人员推出了TensorLean,一个在PTX层面形式化验证GPU内核的框架。该基于Lean的验证器可证明编译后的内核与张量级数学规格一致。团队检查了149个内核实例,包括FlashAttention-2、-3、-4的全部内核以及DeepGEMM,证明其中83个正确,其余66个暴露出38个正确性缺陷。

Translation(model translation, not the source's own text)

来自哥伦比亚大学和 CertiK 的研究人员推出了 TensorLean,一个在 PTX 层面对 GPU kernel 进行形式化验证的框架。TensorLean 是一个基于 Lean 的验证器,用于证明编译后的 kernel 与张量级数学规约一致。研究团队检查了 149 个 kernel 实例,包括 FlashAttention-2、-3 和 -4 的每一个 kernel 以及 DeepGEMM。它证明了其中 83 个是正确的。其余 66 个引出了 38 个正确性 bug。

TL;DR

  • 规模:1.8K 行的 PTX 解析器。规约总计 10,278 行,对应 151,285 行 kernel 源码,比例接近 15:1。
  • 运行环境:一台 16 核工作站。它检查为 A100、H100 和 B200 kernel 编译的 PTX。
  • 性能:149 个 kernel 实例中有 83 个被证明正确,在 6 个项目中发现了 38 个 bug。
  • 最佳表现:捕获了一个 FlashAttention-4 数据竞争,该问题在 17,760 次测试运行中从未出现。

什么是 TensorLean?

TensorLean 是一个在 PTX 层面对 GPU kernel 进行形式化验证的框架。

它从未经修改的源代码出发。开发者用 Lean 编写张量级规约。随后 TensorLean 证明 4 个性质:无数据竞争、终止性、输出在容差范围内正确,以及其余内存未被改动。

TensorLean 如何验证 GPU kernel?

规约构建在 Lean 的 Mathlib 之上。张量算子沿用 PyTorch 的命名,因此 @ 表示 torch.matmul。每个规约包含 5 个部分:spec_math、spec_mut、spec_layout、spec_tol 和 requires。数学部分与内存布局保持分离。

流水线分 7 步运行:

  • 从未经修改的源代码出发。
  • 编写张量级规约。
  • 编译为 PTX 并加载 PTX 语义。
  • 构建 happens-before 图以检查竞争和终止性。
  • 符号执行以获得最终内存,该内存在不同调度下保持一致。
  • 将规约降低到 PTX 内存层级。
  • 使用 Lean 的 kernel、Z3 和 cvc5 完成证明。

哪些技术使它具备可扩展性?

  • 并发转顺序:happens-before 图上的无竞争证明以符号方式覆盖所有 CTA、线程和循环迭代。
  • 基于半环的循环不变式:分块累加循环(如 online softmax)的闭式形式,每个循环只需 1 次 SMT 查询。
  • 容差证明:代数误差被证明为零。舍入误差单独界定,然后合并。
  • 断言作为提示:开发者在源码中添加 tensorlean_assert。每个断言被证明一次,然后复用。

TensorLean 发现了哪些 bug?

GitHub README 列出了 38 个 bug,均已上报上游。FlashAttention 占 23 个。Liger Kernel 有 7 个,TileOPs 3 个,TileLang 2 个,DeepGEMM 2 个,Triton 1 个。

按类别统计,该网站报告了 19 个内存访问错误和 13 个数值 bug。它还统计出 7 个数据竞争、5 个未初始化内存读取和 5 个未定义行为。另有 3 个算法错误、2 个错误编译和 1 个死锁。一个 bug 可能同时属于多个类别。

在 102 个 FlashAttention 实例中,56 个通过了全部 4 个性质。其余 46 个各自在某个源码 bug 上未能通过一个证明目标。

它与其他 GPU kernel 验证器相比如何?

特性TensorLeanVoltaProofWrightPTX in Lean (Koska et al.)
构建者Columbia、CertiKMSR India、Stanford未披露SF Tensor
代码层级PTXPTXCUDAPTX
对照检查对象Lean 张量规约参考 kernel安全性 + 等价性Lean 证明
已验证 kernel149 个实例,FA-2/3/4、DeepGEMM、Liger教程归约、SGEMM、FA 风格、TileLangKernelBench L1,74% 的安全性3 个简单 kernel
异步操作(wgmma、TMA)支持,FA-3 和 FA-4超出范围未披露支持
新报告 bug38竞争、越界读取未披露未披露
检查时间中位数约 10 分钟,最长 50 分钟0.007 秒至约 570 秒每个 kernel 约 3 分钟未披露

与 Volta 的关键差距在于配置覆盖。TensorLean 表示,等价性检查器每次针对一个具体配置展开循环。它则改用符号参数。

关键要点

  • TensorLean 使用 Lean、Z3 和 cvc5 在 PTX 层面证明 GPU kernel 正确。

文章标题:来自哥伦比亚大学和 CertiK 的研究团队推出 TensorLean,用于 GPU 内核的形式化验证

正文:

  • 149 个内核实例中有 83 个被证明正确;发现 38 个缺陷。
  • 23 个缺陷位于 FlashAttention-2、-3 和 -4 中。
  • 规范(specs)的体积约为内核源代码的 15 倍之小。

请查看项目页面、GitHub 仓库以及 X 上的公告。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规范。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可执行的洞察。

  • Michal SutterOpenAI 为语音代理发布 GPT-Live-1.1,将空闲成本降至 $0.02/分钟
  • Michal SutterMeta FAIR 自我改进记忆在持续学习基准上达到 56.0
  • Michal SutterPerplexity 推出用于故障转移和模型路由的 Orchestrator API
  • Michal SutterSID AI 发布 SID-2 代理式搜索模型,Swarm 模式下 NDCG 达 0.720

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗