
- 本系列上一篇文章介绍了 Ranking Engineer Agent (REA),这是一个自主系统,可生成假设、设计实验,并在广告排序模型上验证新的机器学习 (ML) 技术。
- 现在,我们分享如何将架构进步和训练优化等排序模型改进,高效地传播到大规模且多样化的广告排序模型集群中。
- 本文详细介绍我们称之为“技术传播”的这一过程,以及我们如何利用 AI agents 优化该过程。
- 自 2026 年 3 月 agents 开始驱动执行以来,我们估计 AI agents 处理了所有技术传播的 60% 以上。与引入 agents 之前的同类工作相比,早期结果显示工程效率提升 3 倍,部分组合的训练算力中位数减少 4 倍,预计到今年年底可节省超过 4500 万美元算力成本。
Meta 的广告推荐系统由大量不同的广告排序模型驱动,每个模型服务于不同的产品场景和广告主目标,并且各自拥有独立的架构、训练数据和服务约束。
在整个模型组合中,ML 研究人员和工程师通过我们称之为“技术”的创新,不断推进最先进水平。技术是指任何能让排序模型变得更好的东西,例如 Wukong factorization layers、Interformer interaction networks 等架构进步、更丰富的数据表示、训练优化,或训练和推理中的效率改进。
然而,由于每个模型都有自己的架构、数据以及训练和服务约束,在一套模型上验证过的技术几乎从来无法直接复制到下一套模型上。同时,速度也很重要,因为 ML 技术是有保质期的。今天带来收益的创新,可能在几个模型开发周期内就被取代。已验证的技术触达整个模型集群的速度越快,在下一代技术到来之前创造的价值就越大。
那么,我们如何尽快将一项技术传播到多样化的模型集群中,同时尽量减少工程人力和算力投入?
扩展技术传播
在大量多样化模型之间传播不断增长的已验证技术清单,会形成一个组合爆炸式扩展的技术-模型组合探索空间,其中工程人力和算力都会成为显著约束。
适配技术的标准方式是让领域专家工程师手动执行适配。工程师研究一项技术如何与特定模型的架构交互,将其泛化,并根据该模型的约束进行调优。这种方式能产生最强的结果,并且仍然是我们最高收入模型所采用的流程,但它无法扩展到该空间中的所有模型。每次适配都需要大量投入,并要求工程师同时对技术和目标模型有深入熟悉。因此,吞吐量受限于工程人力,而适配机会的增长速度要快得多。
传播的第二个约束是算力。每次适配尝试都需要一次训练运行,而在算力预算有限的情况下,问题不仅在于尝试哪些技术,还在于如何遍历配置的组合空间,同时不把预算花在那些(大多数会产生次优收益的)尝试上。
这两个约束都指向同一个要求:要将技术快速传播到大量多样化模型中,传播过程必须标准化、自动化,并能够做出判断。
Meta 如何利用 AI 智能体在广告排序模型中规模化 ML 创新
我们先从标准化模型设计和自动化传播入手:模板驱动的方法将模型组织成一小组可复用、可组合的构建块,因此一项技术在模板层面验证一次后,就会自动传播到由该模板构建的每个模型。过去 2 年里,通过标准化和自动化,我们在庞大且多样的模型群中交付了 5,000+ 个技术-模型组合,同时将每个模型的工程时间减少了 92%。你可以在我们关于 Standard Model Templates (SMT) 的文章中了解更多。
标准化和自动化处理确定性步骤,但成功且高效的传播仍然需要做出判断,例如哪项技术值得传播到哪个模型、超参数搜索应该多宽、某个模型为何没有表现出增益,或者如何检测并解决故障。这些决策仍然需要大量人力,这使我们无法进一步扩展,也无法达到这样一种状态:所有技术在得到验证后的几周内都能触达所有适用模型。
这正是 AI 智能体发挥作用的地方。
用 AI 智能体规模化技术传播

我们的技术传播系统围绕三项能力构建:
- 发现:持续掌握哪些技术已被验证,并估计每项技术的迁移效果,从而生成一组按预期影响排序的优先技术-模型候选。
- 泛化:对已验证的技术进行泛化,使其能在最初并非为其设计的模型上工作。对于由共享模板构建的模型,一项技术在每个模板上泛化一次,就能触达由该模板构建的每个模型。在模板覆盖范围之外,每个模型都需要自己的适配,最深层的技术推理就发生在这里。
- 采用:将经过验证的适配转化为已交付模型,并且一次处理许多个:启动实验、管理持续数天的异步训练运行、监控收敛、诊断并从故障中恢复,以及组装可落地的提案。
如今,AI 智能体承担判断密集、非确定性的决策,并为系统带来深度智能,从而增强上述所有能力。它们将基于 LLM 的推理与专门的 ML 工具相结合,来处理这些工作:决定尝试哪些适配、诊断某项工作为何失败并自动缓解、高效探索超参数搜索空间,以及管理数百个并发任务间的容量。智能体共享一个公共知识库,其中累积记录了此前的训练运行、模型架构和技术结果,因此它们能在已学到的内容基础上继续构建,而不是从零开始。

智能体如何加速发现
发现回答两个问题:存在哪些已验证的技术,以及它们对模型群中的每个模型有多适用?直到最近,领域专家回答这两个问题,逐个模型进行评估。他们跟踪整个组织内的研究和结果,发现值得传播的技术,并依靠领域知识判断适用性。
智能体不受领域专家所面临的知识或工程带宽限制。它们不依赖任何单一专家所知的内容,而是利用共享知识库,并且一次性对整个模型群进行评估,而不是一次只评估一个模型。它们系统地识别存在哪些已验证技术,估计其在模型群中的可迁移性,并生成按预期影响排序的优先技术列表。工程师现在只需审阅智能体的评估,并据此做出决定。
智能体如何让泛化更具计算效率
文章标题:Meta 如何利用 AI Agent 在广告排名模型中规模化推广机器学习创新
正文: 泛化是指把在一个模型上验证过的技术重新实现,使其适用于具有不同架构、特征表示、训练数据和服务约束的模型。核心思路通常可以迁移,但实现方式几乎从来不能照搬。所需的自定义改造取决于该技术和目标模型,范围从重新调优超参数,到调整特征以适配目标模型已经使用的输入,或调整架构规模以符合其推理预算,再到彻底重新设计该技术。判断某个模型需要什么、要做到什么程度,是一种主观判断。
取决于模型是从标准化模板构建还是单独定制,泛化分为两种形式,agent 对两者都提供协助:
- 模板泛化:对于从标准化模板构建的模型,agent 协助构建、评估和改进模板本身。它们基于已验证的技术提出模板优化假设,在一组有代表性的模型上启动实验,评估结果,诊断失败原因,并迭代多轮,帮助管理模板开发所需的多日循环。在模板层面验证一项技术一次,其计算成本只是逐个模型适配的一小部分。
- 定制泛化:对于我们收入最高的模型,我们仍会为每个模型单独定制技术,agent 在 ML 工程师将技术初步应用于少量模型的过程中与其协作,并逐步学习。当工程师做出适配决策(例如调整配置、调优超参数或解决失败)时,agent 会记录每一次变更和结果,编码哪些做法有效、哪些无效,以及哪些决策是模型特定的、哪些是可泛化的。基于这些依据,agent 为其余模型提出并测试适配方案,工程师则负责审查和引导,而不是逐个驱动。
借助数百万次既往训练运行以及每个目标模型自身的属性,agent 从最可能奏效的配置出发,利用每轮训练运行的结果缩小下一轮的<开始>超参数搜索空间,并决定哪些实验值得继续、哪些应尽早停止。因此,在选定的技术-模型组合上测量时,我们看到训练计算量中位数减少了 4 倍。
Agent 如何加速采用
在采用阶段,agent 逐个模型地交付泛化后的技术。它们启动实验、管理异步的多日训练运行、微调每个模型、监控收敛、从失败中恢复,并汇总经过验证的方案。
微调的具体方式取决于该技术是如何引入的。对于逐个应用的技术,agent 帮助找到该特定模型的最佳技术组合配置。对于从共享模板构建的模型,一个自动研究循环会在模板之上进行搜索,为每个模型调优,以获得仅靠共享配置无法带来的收益。
当发生失败时,无论原因是基础设施问题、训练发散还是数据管道错误,集成调试与恢复功能都会诊断根本原因,并应用有针对性的修复或重试。
同时运行数百个此类工作流会带来一个问题:哪些任务应优先,哪些运行值得继续或应尽早停止。在固定计算预算下取得最大收益是一个全局优化问题,也是我们当前投入的方向。agent 监控并发的训练任务,按收入重要性、技术潜力和截止时间临近程度对它们排序,并从停滞或低价值的运行中回收容量,从而让 GPU 始终指向价值最高的工作,而不是闲置或排在低优先级实验之后。
过去,工程师必须盯着每次运行、手工排查每个失败并重启,这使他们每人只能负责少量模型。现在,他们可以在决策点保持监督,批准计划并设定优先级,生产力提升到 3 倍(每名工程师现在能处理 3 倍多的技术-模型适配),从而压缩从已验证技术到已上线模型的时间。
我们如何评估智能体驱动的传播
由智能体传播的技术,评估方式与工程师传播的技术相同。一项技术必须在预测性能的离线指标上表现出提升,例如归一化熵(NE),同时不能在训练或推理成本等关键护栏指标上出现退化。随后,它还必须在在线 A/B 测试中表现出统计显著性的胜出,才能上线。
但仅在最后做一次评估,对于跨多个阶段、持续数天工作的智能体来说,指导得太晚了。每个阶段产出不同的工件,因此每个阶段都需要自己的指标。我们就是这样验证智能体在做什么的。
发现:我们衡量智能体选择的技术-模型候选的精确率和召回率。对给定技术,精确率是所选模型中该技术最终上线的比例,召回率是智能体找出的模型占该技术所有可行模型的比例。这里召回率更重要,因为在这个阶段漏掉的模型不会再有第二次机会;精确率则作为护栏,防止把算力花在不会奏效的技术上。
泛化:我们
文章标题:Meta 如何利用 AI 代理在广告排名模型中扩展机器学习创新
正文: Babak Behsaz, Anuj Bindal, Wenlin Chen, Jae-Woo Choi, Kapil Dontula, Jason Flaks, Ali Gowani, Umut Gunduz, Varun Jalan, Annapurna Kala, Anika Karpurapu, Santanu Kolay, Sundeep Mallela, JP Owed, Rudresh Rajnikant Panchal, Sandeep Pandey, Dhiraj Parashar, Ray Qin, Shah Rahman, Munaf Sahaf, Alex Sandrovskii, Matt Steiner, Vivienne Sung, Ritwik Tewari, Alireza Vahdatpour, Jacky Wang, Hitesh Yalamanchili, Fan Yang, Shuting Zhao, Wenhan Zhao, and Peng Zhong.
分享此内容:
- 在 Facebook 上分享(在新窗口中打开)Facebook
- 在 Threads 上分享(在新窗口中打开)Threads
- 在 WhatsApp 上分享(在新窗口中打开)WhatsApp
- 在 LinkedIn 上分享(在新窗口中打开)LinkedIn
- 在 Reddit 上分享(在新窗口中打开)Reddit
- 在 X 上分享(在新窗口中打开)X
- 在 Bluesky 上分享(在新窗口中打开)Bluesky
- 在 Mastodon 上分享(在新窗口中打开)Mastodon
- 在 Hacker News 上分享(在新窗口中打开)Hacker News
- 通过电子邮件将链接发送给朋友(在新窗口中打开)电子邮件
阅读更多机器学习应用内容





