Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型转入生产基础设施。Meta JiTTests 是一个基于 LLM 的系统,它编写可执行的测试,这些测试被设计为在有风险的代码变更上失败。一个失败的测试就是 diff 改变了行为的具体证据。Meta 团队报告称,在 2026 年上半年,JiTTests 在 diff 阶段捕获了 74 个隐私 SEV。该方法在 FSE 2026 研究论文《Just-in-Time Catching Test Generation at Meta》中有所描述。
TL;DR
- 规模:运行在 Meta 后端代码上,代码量达数亿行。该研究论文分析了 22,126 个生成的测试。
- 性能:工程师报告在全规模下真阳性率为 60%(自报数据)。
- 最佳:2026 年上半年在落地前捕获了 74 个隐私 SEV;隐私 SEV 发生率下降 20%。
- 最差:初始部署仅确认了 41 个报告捕获中的 8 个(19.5%)。
- 结论:最佳情况:在合并前提供 bug 的可执行证据。最差情况:仅限内部使用,且数据为自报。
什么是 Catching JiTTests?
Catching JiTTests 是 LLM 生成的测试,当 diff 引入 bug 时这些测试应当失败。传统的加固测试在编写时通过,用于防范未来的回归。Catching 测试则针对正在审查中的变更,在其落地之前进行。Meta 在 2025 年的论文《Harden and Catch》中正式阐述了细节。
大多数 AI bug 工具表现得像更快的人工审查者。它们阅读 diff 并留下评论。JiTTests 则不同,它执行代码并展示具体的行为差异。Meta 团队承认这需要更多的计算步骤。它主张该方法能捕获 LLM 或 agent 审查可能遗漏的 bug 类别。
JiTTests 流水线如何工作?
生产流水线有 5 个阶段:
- 目标筛选:利用空闲算力在夜间运行。它选择前一天有风险的 diff,使用类似于 Meta 的 Diff Risk Score 的机制。
- 测试生成:2 个 diff 感知工作流生成候选测试(下文解释)。
- LLM-as-Judge 集成:多个 LLM 使用测试代码、失败追踪、diff 和推断的意图对每个失败测试进行评分。
- RubFake:基于规则的假阳性消除环境增加了确定性检查。其规则会标记诸如反射、损坏的 mock 和未实现异常等模式。
- Human-on-the-loop:系统根据综合排名决定是否联系工程师。
Dodgy diff 与 intent-aware:有什么区别?
dodgy diff 工作流假设每个 diff 都是有 bug 的。它将 diff 视为其父版本的变异体,并生成能区分二者的测试。
intent-aware 工作流首先从其代码、标题和摘要中推断 diff 应该做什么。它列出风险,为每个风险构建变异体,并编写测试来杀死它们。随后在真实 diff 上失败的测试成为“弱捕获”。
基准测试显示了什么?
研究团队分析了 22,126 个生成的测试。diff 感知方法产生的候选捕获是加固测试的 4 倍。它们产生的数量是偶然失败测试的 20 倍。
intent-aware 工作流在其 6.4% 的测试和 7.9% 的 diff 上产生了弱捕获。dodgy diff 的得分是 2.5% 和 4.0%。Meta 早期的 ACH 变异引导加固得分为 0.8% 和 1.6%。基于规则和 LLM 的评估器将人工审查负载减少了 70%。
文章标题:认识 Meta 的 JiTTests:专为在风险代码落地前失败而设计的 LLM 生成测试
正文:
| 特性 | 捕获 JiTTests,意图感知 | 捕获 JiTTests,可疑 diff | ACH 变异引导 | TestGen-LLM |
|---|---|---|---|---|
| 组织 / 首次发布 | Meta,2026 | Meta,2026 | Meta,2025 | Meta,FSE 2024 |
| 目标 | 捕获审查中 diff 里的 bug | 捕获审查中 diff 里的 bug | 强化代码以抵御特定故障类别 | 改进现有的人工编写测试 |
| 生成的测试应 | 在有 bug 的 diff 上失败 | 在有 bug 的 diff 上失败 | 生成时通过 | 生成时通过 |
| 感知 diff | 是,推断意图与风险 | 是,不感知意图 | 否 | 否 |
| 每个测试的弱捕获* | 6.4%(52 / 811) | 2.5%(41 / 1,621) | 0.8%(6 / 754) | 2.0%(89 / 4,499) |
| 出现弱捕获的 diff* | 7.9% | 4.0% | 1.6% | 3.6% |
| 误报过滤器 | LLM judge 集成 + RubFake 规则 | LLM judge 集成 + RubFake 规则 | 未披露 | 构建、通过和覆盖率过滤器 |
| 公开可用性 | 仅内部 | 仅内部 | 仅内部 | 仅内部 |
*数据来自 JiTTests 论文的表 1(自我报告,Meta 代码库)。TestGen-LLM 行使用“无需增加覆盖率”设置。弱捕获是候选失败,而非确认的 bug。
全量规模下发生了什么变化?
初始部署规模不大。Meta 向工程师报告了 41 个候选捕获。其中 8 个被确认为真阳性,占 19.5%。其中 4 个本会在生产环境中导致严重故障。
2026 年 10 月的工程博客报告了更强的生产数据:
- 589 名工程师参与了 JiTTests,占被联系者的 64%。
- 工程师报告真阳性率为 60%。
- 2026 年上半年在 diff 阶段捕获了 74 个隐私 SEV。
- 同期隐私 SEV 总体发生率下降了 20%。
human-on-the-loop 是什么意思?
Human-in-the-loop 意味着有人审查每个输出。Human-on-the-loop 意味着工程师设定标准并聚合监控结果。他们在策略层面介入,而不是对每个测试介入。Meta 团队很少需要阅读测试代码。他们只确认观察到的行为变化是否是预期的。
开发者可以使用 JiTTests 吗?
答案是不能。JiTTests 是 Meta 的内部基础设施。Meta 尚未发布代码、模型或 API。团队仍然可以复制这一模式:感知 diff 的变异引导测试生成、LLM judge 集成、确定性过滤器和聚合式人工监督。
关键要点
- Meta 的 JiTTests 编写旨在在有 bug 的 diff 上失败的 LLM 测试。
- 2026 年上半年在合并前捕获了 74 个隐私 SEV;隐私 SEV 下降了 20%。
- 工程师报告真阳性率为 60%,高于论文中的 19.5%。
- 意图感知测试的弱捕获率为 6.4%,而 ACH 强化为 0.8%。
- 仅内部:未发布代码、模型或 API。
查看工程博客、FSE 2026 论文以及 Meta 在 X 上的公告。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Michal Sutter 是一名数据科学专业人士,拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础,Michal 擅长将复杂数据集转化为可操作的洞察。
- Michal SutterHark 发布 Handoff²,一款为 Hark Pro 打造的 2 倍速计算机使用代理
- Michal SutterBland 推出 Tofu-1,一款用于通话的全双工语音到语音模型
- Michal SutterVercel 发布 UI SDK:面向 AI 编码代理的 50+ UI 行为
文章标题:认识 Meta 的 JiTTests:在高风险代码合入前就设计为失败的 LLM 生成测试
正文:
- Michal Sutter 2026 年最佳 AI 视频生成模型:Elo、每秒价格、开放权重