Newshot

认识 Meta 的 JiTTests:让 LLM 生成在风险代码上线前注定失败的测试

AI summary

Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型投入生产基础设施。JiTTests 是一个基于 LLM 的系统,它编写可执行测试,这些测试被设计为在风险代码变更上失败——失败的测试就是 diff 改变了行为的具体证据。Meta 团队报告称,在 2026 年上半年,JiTTests 在 diff 阶段捕获了 74 个隐私 SEV。该方法在 FSE 2026 研究论文《Just-in-Time Catching Test Generation at Meta》中进行了描述。

Translation(model translation, not the source's own text)

Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型转入生产基础设施。Meta JiTTests 是一个基于 LLM 的系统,它编写可执行的测试,这些测试被设计为在有风险的代码变更上失败。一个失败的测试就是 diff 改变了行为的具体证据。Meta 团队报告称,在 2026 年上半年,JiTTests 在 diff 阶段捕获了 74 个隐私 SEV。该方法在 FSE 2026 研究论文《Just-in-Time Catching Test Generation at Meta》中有所描述。

TL;DR

  • 规模:运行在 Meta 后端代码上,代码量达数亿行。该研究论文分析了 22,126 个生成的测试。
  • 运行方式:在 Meta 内部基础设施上运行,利用空闲算力在夜间执行。论文中的评判模型:Llama3.3-70B、Gemini 3 Pro、Claude Sonnet 4。未公开可用。
  • 性能:工程师报告在全规模下真阳性率为 60%(自报数据)。
  • 最佳:2026 年上半年在落地前捕获了 74 个隐私 SEV;隐私 SEV 发生率下降 20%。
  • 最差:初始部署仅确认了 41 个报告捕获中的 8 个(19.5%)。
  • 结论:最佳情况:在合并前提供 bug 的可执行证据。最差情况:仅限内部使用,且数据为自报。

什么是 Catching JiTTests?

Catching JiTTests 是 LLM 生成的测试,当 diff 引入 bug 时这些测试应当失败。传统的加固测试在编写时通过,用于防范未来的回归。Catching 测试则针对正在审查中的变更,在其落地之前进行。Meta 在 2025 年的论文《Harden and Catch》中正式阐述了细节。

大多数 AI bug 工具表现得像更快的人工审查者。它们阅读 diff 并留下评论。JiTTests 则不同,它执行代码并展示具体的行为差异。Meta 团队承认这需要更多的计算步骤。它主张该方法能捕获 LLM 或 agent 审查可能遗漏的 bug 类别。

JiTTests 流水线如何工作?

生产流水线有 5 个阶段:

  • 目标筛选:利用空闲算力在夜间运行。它选择前一天有风险的 diff,使用类似于 Meta 的 Diff Risk Score 的机制。
  • 测试生成:2 个 diff 感知工作流生成候选测试(下文解释)。
  • LLM-as-Judge 集成:多个 LLM 使用测试代码、失败追踪、diff 和推断的意图对每个失败测试进行评分。
  • RubFake:基于规则的假阳性消除环境增加了确定性检查。其规则会标记诸如反射、损坏的 mock 和未实现异常等模式。
  • Human-on-the-loop:系统根据综合排名决定是否联系工程师。

Dodgy diff 与 intent-aware:有什么区别?

dodgy diff 工作流假设每个 diff 都是有 bug 的。它将 diff 视为其父版本的变异体,并生成能区分二者的测试。

intent-aware 工作流首先从其代码、标题和摘要中推断 diff 应该做什么。它列出风险,为每个风险构建变异体,并编写测试来杀死它们。随后在真实 diff 上失败的测试成为“弱捕获”。

基准测试显示了什么?

研究团队分析了 22,126 个生成的测试。diff 感知方法产生的候选捕获是加固测试的 4 倍。它们产生的数量是偶然失败测试的 20 倍。

intent-aware 工作流在其 6.4% 的测试和 7.9% 的 diff 上产生了弱捕获。dodgy diff 的得分是 2.5% 和 4.0%。Meta 早期的 ACH 变异引导加固得分为 0.8% 和 1.6%。基于规则和 LLM 的评估器将人工审查负载减少了 70%。

文章标题:认识 Meta 的 JiTTests:专为在风险代码落地前失败而设计的 LLM 生成测试

正文:

特性捕获 JiTTests,意图感知捕获 JiTTests,可疑 diffACH 变异引导TestGen-LLM
组织 / 首次发布Meta,2026Meta,2026Meta,2025Meta,FSE 2024
目标捕获审查中 diff 里的 bug捕获审查中 diff 里的 bug强化代码以抵御特定故障类别改进现有的人工编写测试
生成的测试应在有 bug 的 diff 上失败在有 bug 的 diff 上失败生成时通过生成时通过
感知 diff是,推断意图与风险是,不感知意图否否
每个测试的弱捕获*6.4%(52 / 811)2.5%(41 / 1,621)0.8%(6 / 754)2.0%(89 / 4,499)
出现弱捕获的 diff*7.9%4.0%1.6%3.6%
误报过滤器LLM judge 集成 + RubFake 规则LLM judge 集成 + RubFake 规则未披露构建、通过和覆盖率过滤器
公开可用性仅内部仅内部仅内部仅内部

*数据来自 JiTTests 论文的表 1(自我报告,Meta 代码库)。TestGen-LLM 行使用“无需增加覆盖率”设置。弱捕获是候选失败,而非确认的 bug。

全量规模下发生了什么变化?

初始部署规模不大。Meta 向工程师报告了 41 个候选捕获。其中 8 个被确认为真阳性,占 19.5%。其中 4 个本会在生产环境中导致严重故障。

2026 年 10 月的工程博客报告了更强的生产数据:

  • 589 名工程师参与了 JiTTests,占被联系者的 64%。
  • 工程师报告真阳性率为 60%。
  • 2026 年上半年在 diff 阶段捕获了 74 个隐私 SEV。
  • 同期隐私 SEV 总体发生率下降了 20%。

human-on-the-loop 是什么意思?

Human-in-the-loop 意味着有人审查每个输出。Human-on-the-loop 意味着工程师设定标准并聚合监控结果。他们在策略层面介入,而不是对每个测试介入。Meta 团队很少需要阅读测试代码。他们只确认观察到的行为变化是否是预期的。

开发者可以使用 JiTTests 吗?

答案是不能。JiTTests 是 Meta 的内部基础设施。Meta 尚未发布代码、模型或 API。团队仍然可以复制这一模式:感知 diff 的变异引导测试生成、LLM judge 集成、确定性过滤器和聚合式人工监督。

关键要点

  • Meta 的 JiTTests 编写旨在在有 bug 的 diff 上失败的 LLM 测试。
  • 2026 年上半年在合并前捕获了 74 个隐私 SEV;隐私 SEV 下降了 20%。
  • 工程师报告真阳性率为 60%,高于论文中的 19.5%。
  • 意图感知测试的弱捕获率为 6.4%,而 ACH 强化为 0.8%。
  • 仅内部:未发布代码、模型或 API。

查看工程博客、FSE 2026 论文以及 Meta 在 X 上的公告。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可操作的洞察。

  • Michal SutterHark 发布 Handoff²,一款为 Hark Pro 打造的 2 倍速计算机使用代理
  • Michal SutterBland 推出 Tofu-1,一款用于通话的全双工语音到语音模型
  • Michal SutterVercel 发布 UI SDK:面向 AI 编码代理的 50+ UI 行为

文章标题:认识 Meta 的 JiTTests:在高风险代码合入前就设计为失败的 LLM 生成测试

正文:

  • Michal Sutter 2026 年最佳 AI 视频生成模型:Elo、每秒价格、开放权重

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗