你的 AI 智能体不该拥有你的全部权限(赞助)

大多数智能体运行时都带着触发者本人的完整权限。WorkOS Airlock 是面向智能体软件的授权层。你编写策略,Airlock 在运行时检查每一次智能体调用,然后放行、拒绝或转交人工审批。
智能体永远看不到凭证。像超出你限额的退款这类高风险操作,会转交给队友在 Slack 中审批。Airlock 可与编码智能体、自定义 harness 以及任何 API 或 MCP 服务器配合使用。
了解更多 →
人们在电商平台上搜索商品时,很少会用商品目录中存在的确切词汇来提出请求。例如,用户可能会搜索“bread no gluten”或“x-large zip lock”这样的内容。
好的搜索系统能够查看这些短语,并把它们与用户可能感兴趣的实际商品关联起来。做到这一点的第一步叫做查询理解(query understanding,QU)。QU 的职责是接收用户在搜索框中输入的词,并找出关于用户购物意图的有用信息。
本文将介绍 Instacart 如何利用 LLM 构建一个能够准确理解用户购物意图的商品搜索。以下是本文涵盖的内容:
- Instacart 初始方法存在的问题
- 通用 LLM 如何对 Instacart 变得有用
- Instacart 如何理解查询的类别
- Instacart 如何确保总会向用户推荐某些内容
- 从查询中提取细节
- 如何让查询理解流程快得多
免责声明:本文基于来自多个来源的公开信息。参考文献见文末。如发现任何不准确之处,请在评论中指出。

Instacart 初始方法存在的问题
你可以把商品搜索分为三大活动:
- 首先是 QU,其目的是理解用户的请求。
- 其次是检索(retrieval),即找到一组相关商品。
- 第三是排序(ranking)阶段,在这一阶段决定每个商品展示给用户的顺序。
如你所见,QU 阶段产生的信息会同时指导检索和排序。例如,假设你有一个搜索查询“bread no gluten”。它指的是具有无麸质属性的面包。如果你不把这个短语当作三个互不相关的词,这个搜索短语就为搜索系统提供了非常重要的一条信息。
在 Instacart,QU 阶段可以产生三类信息。第一是商品类别,即确定目录中哪些部分对回答该查询很重要。第二是替代查询,即处理可能有助于找到合适商品的其他搜索短语。第三是结构化标签。这涉及查询中可能有助于进一步了解商品、品牌或特定属性的部分。
Instacart 已经拥有帮助其理解查询的机器学习系统。问题在于如何让它对人们搜索的极其多样的内容稳定地发挥作用。
解决这个问题的一种方法是分析搜索行为。但这种行为提供的训练数据并不完美。监督式机器学习模型从与期望答案配对的样本中学习。要对查询进行分类,你可能会把某个搜索短语与正确的商品类别关联起来。
不过,你可能已经注意到,收集所有这些标签相当困难。Instacart 可以查看搜索、点击和最终购买。但这些行为并不能直接揭示系统是否以正确的方式理解了查询。例如,可能有用户搜索面包,最后却买了香蕉。这个购买行为并不意味着“面包”应该被归类为关于水果的查询。当然,行为可以提供一些不错的证据,但查询与购买决策之间的关系可能相当嘈杂。
你可以使用人工审核员来提供更干净的标签。但这也需要时间和金钱。此外,罕见查询的历史记录非常少。例如,用户可能会做出非常具体的查询,比如“2% reduced-fat ultra-pasteurized chocolate milk”。如果你的系统主要从历史点击和购买中学习,它可能没有足够的示例来处理这样的短语。
这些不常见的搜索属于长尾的一部分。虽然每个这样的查询可能只带来很少的流量,但它们合在一起可能代表了大量客户需求。
宽泛查询还会造成另一类问题。例如,假设你有一个搜索短语,比如“healthy food”。它可以指向许多类别,系统必须处理歧义,而不是将查询强行归入单一狭窄的解释。
使用彼此独立的模型,你最终还会面临大量维护工作。Instacart 不得不为不同任务维护不同的系统。例如,他们有一个使用 FastText 模型的类别分类器。查询重写系统从用户会话中挖掘模式。每个系统都需要自己的数据处理、训练和部署要求。这增加了维护工作。即便这样,它们对同一查询仍会做出不一致的解释。
因此,Instacart 的工程团队想要一种既能改进其 QU,又能为处理其他职责提供更一致基础的东西。
通用 LLM 如何对 Instacart 变得有用
大型语言模型(LLM)一开始就具备关于语言和一般世界的广泛知识。这使得它非常擅长理解它可能在历史数据中从未见过的查询。
例如,LLM 可能已经知道“Italian parsley”和“flat parsley”指的是同一种东西,而“curly parsley”可以作为替代品。这都是模型在训练期间获得的一般认知的一部分,它不需要从大量示例中学习这些内容。
当然,一般知识并不会自动让 LLM 了解 Instacart 的产品目录及其客户的行为。为了弥合这一差距,Instacart 的工程团队使用了以下技术:
首先,你在提示中向 LLM 提供所有相关信息。这种方法被称为上下文工程。RAG 是这里使用的主要方法。系统会提取目录记录和历史模式等信息,并将这些信息与查询一起放入。
需要明确的是,这里的 RAG 意味着你在要求模型做出预测之前,尝试向模型提供所有有用的业务信息。
其次,系统会验证模型的输出。Instacart 实施了后处理护栏,以检查输出是否合适,以及它与产品目录的兼容程度。你可以让模型生成一个看似合理的答案,但它仍然不符合业务的实际数据。因此,验证是系统中独立的一部分。
在第三项技术中,他们用自己的示例微调较小的模型。微调意味着可以进行改变模型参数的额外训练。团队不是每次都通过提示提供所有领域指导,而是用高质量示例教模型处理特定任务。
Instacart 如何判断查询的含义
Instacart 使用层级化的品类结构来组织其商品目录。例如,有如下路径:
Meat → Beef → Beef Ribs → Short Ribs
这条品类路径中的每一步都让描述更加具体。如果搜索系统知道完整路径,就能轻松定位目录中的相关部分。
早期版本的分类器更多地把这些品类当作扁平的标签集合来处理。例如,对于“buttermilk”,它可能会分别预测出“Dairy”和“Milk”,每个标签各自给出一个置信度分数。这些预测虽然也有用,但并没有表达出完整的关系。
在新方法中,将历史证据与 LLM 的理解结合起来,同时还会检查商品的相关性。

在这种方法中,系统首先找出与该查询之后发生的购买行为相关联的主要品类。这些品类构成初始候选集。这样做的好处是为模型提供一个与 Instacart 自有数据挂钩的起点。由于典型的购买行为可能相当不规律,因此需要对这些候选做进一步的评估。
在下一步中,让 LLM 评估这些候选。LLM 利用查询以及提供给它的 Instacart 上下文,对候选品类重新排序。例如,“buttermilk”可能映射为 Dairy,然后是 Milk,再到 Buttermilk。另一方面,像“vegan roast”这样的查询可能映射为 Meat,然后是 Meat Alternatives。
可以看到,正是语言理解和对世界的知识,帮助理解了措辞与品类名称并不直接匹配的查询。
接下来,检查预测是否相关。在 LLM 做出预测后,一道防护机制会将原始查询的含义与预测的品类路径进行比较。这部分使用 embeddings(文本的数值表示)来完成。如果查询与品类路径的相似度分数低于特定阈值,系统就会丢弃这一配对。
总结来说,这三个阶段承担不同的职责。历史数据负责提出候选。LLM 负责解释候选。最后,防护机制过滤掉不相关的结果。
Instacart 如何让查询更有力
即使你有一个足够理解查询的系统,构成查询的原始词语也可能只检索到很少的有用结果。这正是查询重写发挥作用的地方。
查询重写会生成替代表述,帮助搜索过程找到更多候选。
Instacart 较早的搜索系统利用用户会话中发现的模式来做这件事。但它只覆盖了大约 50% 的搜索流量。Instacart 工程团队最初尝试用通用提示词让 LLM 生成重写。但这没有达到预期效果,因为仅仅让 LLM 重写查询,并不能告诉 LLM 哪种替代方式是有用的。
举例来说,假设查询是“1% milk”。重写可能会把查询改成“one percent milk”。意思虽然没变,但对帮助用户找到替代商品几乎没什么作用。
为了更有效,Instacart 将重写拆分为三项任务:
- 首先,使用同义词重写,尝试用不同的措辞表达相同的请求。“One percent milk”就说明了这种关系。
- 其次,是更宽泛的重写,试图去掉一些具体性。例如,“milk”可以是“1% milk”的更宽泛重写。
- 最后,是替代品重写,建议可能是良好替代品的其他商品。例如,像“2% milk”这样的东西可以作为潜在的替代品。
你可能会觉得这些差异非常细微,但它们以不同方式改变了搜索方法。当你放宽查询时,你让约束变得不那么严格。给出替代产品的建议会改变所请求的产品。同义词则保持原意不变。
每种类型的改写都有一个专门的提示,其中包含具体的指令和示例。他们还为其提供了推理指导。然后,Instacart 会应用一系列后处理检查和语义过滤器。
这种方法将改写覆盖率提升至 95% 以上,在全部三种类型上精确度均超过 90%。
从查询中提取搜索标签
第三项任务是语义角色标注(SRL)。SRL 负责从用户的购物查询中提取结构化概念,例如产品、品牌和其他特征。

例如,假设你有一个查询是“2% chocolate milk”。它包含产品“milk”。它还涉及脂肪含量和口味。如果你显式地表示这些概念,它们在搜索过程中就会更容易被使用。
Instacart 将这些标签用于检索、排序、广告和过滤器。主要挑战在于找到准确的标签,同时不让每次搜索变得缓慢且昂贵。
实现这一点的一种方式是预先处理高频查询。搜索流量分布不均。你可能有一小部分高频查询占据了很大的流量份额。这些被称为头部查询。除此之外,你可能有更大规模的不常见或此前未出现过的查询集合。
对于这些常见类型的查询,Instacart 可以提前生成标签并将结果保存在缓存中。后续搜索可以立即使用这些标签。
然而,你无法让系统为每一个可能的短语预先计算标签。新的组合不断涌现,因此缓存需要一个配套流程来处理没有预先存在结果的查询。
为了应对这一点,Instacart 使用了一个离线教师流水线和一个在实时搜索时运行的较小模型。这个离线教师的工作是创建高质量示例。在这里,“离线”意味着这项工作发生在用户正在等待的实时请求流程之外。因此,该流水线有更多自由去使用强大的模型和更丰富的上下文信息。
对于常见查询,它可以从内部系统中找到相关信息,将这些信息提供给 LLM,生成标签,并对照商品目录验证标签。例如,考虑搜索短语“verdant machine”。没有业务上下文时,LLM 可能会认为这个短语是在谈论机械。然而,Instacart 的内部证据将这一查询与一个名为 MuchPure 的冰沙品牌以及其他冰沙果汁类别联系起来。
输出验证有两个目的。它有助于为常见查询填充缓存。同时,它也成为较小模型训练数据集的一部分。
这就是为什么大模型流水线被称为教师。这个模型生成的输出成为另一个模型从中学习的示例。
当实时查询到来时,系统会检查标签是否已经缓存。如果已缓存,就返回它们。如果缺失,查询就会交给较小的、经过微调的模型。
学生模型已经在教师流水线生成的示例上训练过。它学会了查询应如何映射到结构化标签,包括 Instacart 领域上下文中存在的模式。
训练较小模型
对于其实时 SRL 系统,Instacart 微调了 Llama-3 8B。这是一个拥有约 80 亿参数的模型。
作为参考,参数是模型在训练过程中学到的数值。虽然 80 亿仍然是个相当大的数字,但这个模型比教师流水线所用的更大前沿模型要小得多。
Instacart 使用 LoRA(低秩适配)对它进行训练。在 LoRA 中,你让模型学习一组相对较小的额外参数,同时在微调期间保持原始模型权重固定不变。这减少了适配模型所需的训练工作量。
训练样本都依赖于离线流水线。

这一过程是知识蒸馏的一种形式。在其中,你让一个较小的模型从能力更强的教师模型生成的输出中学习。根据他们的分析,他们发现学生模型生成的错误标签更少。但它也漏掉了略多正确的标签。
Instacart 如何让模型在实时搜索中变快
对于像 Instacart 这样高流量的网站,你希望搜索系统响应足够快,以免用户面临长时间延迟。
Instacart 工程团队将模型服务延迟目标定在 100 多毫秒的低区间。其初始设置在 A100 GPU 上耗时近 700 毫秒。

多项改动使这一目标成为可能。
其中之一是将 LoRA 适配器合并到基础模型中。训练完成后,LoRA 调整可以与基础模型的权重合并。这避免了在推理期间将适配器作为单独的计算保留。据 Instacart 工程团队称,这种适配器合并将延迟降低了约 30%。在他们将此与升级到 H100 GPU 结合后,得以实现 300 毫秒的目标。
因此,总体提升既来自模型服务方式的改变,也来自更快的硬件。
团队还测试了 FP8 量化,即对模型计算使用较低精度的数值表示。这又将延迟降低了 10%,但召回率略有下降。Instacart 选择部署未量化的模型,因为他们希望优先考虑更高质量的结果。
你可以把这看作一种工程权衡。尽管有更快的模型可用,团队仍做出了这一选择。
他们还降低了需要实时推理的频率。缓存对总体成本有很大影响。据他们估计,只有 2% 的查询需要实时模型推理。
因此,较小的模型处理有限的流量,而缓存标签服务于常见情况。Instacart 还使用 GPU 自动扩缩容,在较平静的时段运行更少的 GPU。
结论
Instacart 通过 A/B 测试对实时 SRL 系统进行了评估。对于我们前面讨论的长尾查询,它报告平均滚动深度降低了 6%。你可以将其理解为用户更快地找到了合适的商品。
该系统每周还处理数百万次冷启动查询。这些是系统没有查询特定历史记录或预计算答案的查询。与长尾查询搜索结果不佳相关的用户投诉也减少了 50%,而延迟仅有轻微增加。
如你所见,这些统计数据将问题与解决方案联系了起来。更好的分类、改写和标签帮助购物者更容易找到相关产品。作为进一步开发的一部分,Instacart 旨在理解购物者更广泛的旅程。当前的设计为这一方向奠定了坚实的基础。
- 构建意图引擎