GlobalFoundries 谈将 AI Agent 投入生产(赞助内容)

在企业规模上将 AI Agent 投入生产会引出一些棘手的问题:它们能访问哪些数据、数据需要多新、以及如何让它们保持在界限之内。在 12 月 9 日举行的 Agentic Data Summit 上,GlobalFoundries 高级副总裁兼 CIO Vishal Mehra 将分享这家全球领先的半导体制造商之一如何将 agentic AI 付诸实践。听听 GlobalFoundries 为何选择 Redpanda、团队构建了什么、目前的成果,以及给同行的经验教训。太平洋时间上午 10:00 观看 GlobalFoundries 的现场分享。峰会免费且线上举行,时间为太平洋时间上午 8:30 至下午 2:00。
预留席位
AI evals 是构建 AI 产品中最重要也最困难的部分之一。起步阶段可能感觉像是在各种相互矛盾的建议中摸索迷宫。
我联系了 Hamel Husain,他是 OpenAI 的一名 ML 工程师,拥有 20 年经验,请他来分享一份关于 AI 评估的实用入门介绍。Hamel 此前曾在 Airbnb 和 GitHub 任职,已帮助 35 家以上公司构建和评估真实世界的 AI 产品。他与 Shreya Shankar 合著了《Evals for AI Engineers: Systematically Measuring and Improving AI Applications》,后者是 UC Berkeley 的 ML 系统研究员和博士生,专注于 LLM 评估与数据质量。他们通过自己的 AI evals 课程培训了超过 4,500 名工程师和产品经理。
在本期内容中,我们精选了一段节选,介绍 LLM 应用开发的三大鸿沟:理解你的数据、把你的需求明确表达出来、以及让模型始终如一地遵循这些需求。

查看本书
节选自 Shreya Shankar 和 Hamel Husain 所著的《Evals for AI Engineers》。版权所有 © 2027 Hamel Husain 和 Shreya Shankar。由 O'Reilly Media, Inc. 出版。经许可使用。
应用中的评估
在应用阶段,模型已经训练完成。工作在于围绕它进行构建。你必须决定产品应该达成什么目标,把这个目标转化为 prompt 和 agent 逻辑,然后验证模型的输出是否可接受。这些步骤中的每一步都带来各自的困难:
- 目标起初是模糊的。像“总结邮件”这样的目标听起来很简单,但只有当你检查输出时,歧义才会显现:要多详细、用什么格式、排除哪些内容?
- 指令可能有缺口。用自然语言表达的 prompt 和 agent 逻辑很少能完整捕捉意图,这会导致行为不一致或不完整。
- 行为在新数据上会发生变化。在一小批测试用例上可行的设置,一旦遇到真实输入的多变性,就可能失败。
在实践中,这些问题在构建 LLM 应用时会反复出现。为了更系统地思考这些挑战,我们使用三大鸿沟框架,它指出了开发容易出问题的三个地方——理解、规范化和泛化。每一道鸿沟都凸显了开发通常出错的一个不同环节,也都需要不同的策略来应对,这个主题我们将在本书中反复提及。
LLM 应用开发的三大鸿沟
如前所述,理解基于 LLM 构建应用所面临挑战的一个有用方法,是三大鸿沟模型(图 1-1),它改编自 Shankar et al. (2025),并受 Norman (1988) 启发。该模型凸显了开发者在构建和评估应用时面临的三个常见缺口。我们将这些缺口称为理解、规范化和泛化。
像 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。请完全按照其书写形式使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。
面向 AI 工程师的评估
在本书中,我们将使用这个框架来诊断应用程序为何失败,并选择最合适的策略来修复它。
考虑一个智能体,它处理发送到某个组织的传入电子邮件。目标是提取发件人姓名、总结关键请求并对电子邮件进行分类。乍看之下,这似乎很简单。但开发的每个阶段都会在“三道鸿沟”中暴露出不同的挑战。

理解鸿沟(开发者与数据之间)
第一道鸿沟位于开发者与数据之间。要构建有效的提示词和智能体,你需要扎实掌握输入实际是什么样子。否则,你就会针对想象出来的任务版本来设计,而不是真实的任务。
以电子邮件处理示例来说。如果你在起草提示词时只查看少量干净、写得不错的电子邮件,你可能会写出在这些案例上效果良好的指令。但生产数据还会包括转发邮件、带有冗长引用线程的回复、包含多种语言签名的邮件,以及从 PDF 复制来的格式糟糕的文本。忽略这些现实的提示词可能会导致 LLM,例如,总结整个引用线程而不是新消息,或者把签名块误认为主要请求。
理解鸿沟同样适用于输出,而不只是输入。我们还需要清楚了解 LLM 在这些输入上的行为方式。你无法阅读它生成的每一个输出,但你仍然需要识别它常见的成功方式和常见的失败方式。否则,很容易被少数几个好例子误导,而错过那些只在大规模下才显现的模式。例如,在电子邮件智能体中,LLM 通常可能提取发件人并写出不错的摘要。但当你更仔细地查看时,可能会注意到反复出现的错误。LLM 可能在提到多个姓名时提取错误的姓名,在较长的消息中漏掉关键细节,或者把保密声明之类的模板化内容复制到摘要中。这些失败可能只是偶尔发生,但如果它们发生,系统就会让用户觉得不可靠。
跨越理解鸿沟意味着制定策略,以大规模刻画输入和输出的特征,这样你就能知道数据真正是什么样子,以及系统实际如何表现,而不必手动检查所有内容。
规格鸿沟(开发者与 LLM 智能体之间)
第二道鸿沟位于我们想要什么与我们实际告诉 LLM 要做什么之间。我们的意图(我们心中所想的任务)往往只被我们编写的提示词或智能体逻辑松散地捕捉到。自然语言并不精确,我们措辞方式上的小差距可能导致行为上的巨大差异。
以这条指令为例:
提取发件人姓名并总结这封电子邮件中的关键请求。
乍看之下它很具体,但重要细节并未说明。摘要应该是一段话还是项目符号列表?发件人应该是显示名称、完整电子邮件地址,还是两者都要?应该包括隐含请求,还是只包括明确请求?摘要应该有多简洁?
LLM 无法替你补上这些选择。如果你不把它们明确下来,系统就会猜测,而这些猜测并不总是符合你的预期。这就是为什么同一个智能体的两次运行可能产生不同格式、不同详细程度,或对边缘情况处理不一致的输出。
规格鸿沟就是我们意图与指令之间的这个差距。弥合它需要明确期望,并让期望与智能体实际将看到的数据紧密对齐。
限制智能体可达范围。记录一切。终止智能体访问(赞助)

大多数企业犹豫将 AI agents 接入生产基础设施。这感觉有风险,因此他们要么将 agents 排除在生产环境之外,要么手动批准每一步。
Teleport Beams 与众不同:
- 为生产环境中的 AI agents 提供可信运行时
- Agents 提出执行计划,供人工或 LLM 判断
- 独立的运行时仅在获得批准的访问权限下执行
- Agent 环境中不存放任何密钥
追踪操作和 LLM 对话,标记偏离意图的行为,并通过终止开关终止 agents 及其连接。
探索 Beams
泛化鸿沟(数据与 LLM Agent 之间)
第三个鸿沟存在于系统所看到的数据与 LLM 如何对其进行泛化之间。即便你对输入有扎实的把握,并编写了清晰、范围明确的 prompt,LLM 仍然容易出错。LLM 并非完美,它们会犯错。
例如,假设你已明确指定系统应从邮件头部提取发件人姓名。大多数情况下 LLM 会遵循这一指令。但偶尔,当邮件正文提到另一个人(比如某位公众人物)时,LLM 会错误地返回那个名字。你对数据的理解或你的 prompt 并没有错。LLM 只是未能一致地应用指令。也许 LLM 过于偏向它在训练数据中见过的名字。
这就是泛化鸿沟:即便理解和规范都处理得当,LLM 仍可能表现不可预测。这些错误通常只有在系统接触到现实世界数据的全部多样性时才会显现。而且它们不可避免:无论模型变得多么先进,总会有产生错误输出的情况。
将三大鸿沟应用于其他领域
三大鸿沟同样适用于邮件处理之外的场景。例如,在客户支持聊天机器人中,理解鸿沟关乎客户查询的全部多样性,包括多语言消息、拼写错误和多部分问题。规范鸿沟关乎定义什么是“好的”回复;一个在本应升级给人工时却道歉的机器人遵循了错误的指令,而没有明确规则时机器人只能靠猜。泛化鸿沟则体现在机器人能很好地处理账单问题,但在处理见过的示例较少的特定产品问题时失败。
在代码生成助手中,理解鸿沟关乎开发者实际如何描述他们的需求,这往往包括模糊的请求、不完整的上下文以及对未文档化内部 API 的引用。规范鸿沟关乎定义输出格式、错误处理和风格约定。泛化鸿沟则体现在模型能生成正确的 Python 代码,但在较少见的语言或复杂的多文件修改上失败。
每个应用的评估策略取决于哪个鸿沟是主要的故障来源。
为何 LLM Agent 评估具有挑战性
评估 LLM 应用之所以具有挑战性,是因为每个应用都需要在其自身语境中重新跨越所有三大鸿沟(理解、规范和泛化)。评估不是一次性的检查。它是一个迭代过程,只有在你与真实输出交互之后,需求才会变得清晰。
提示:Three Gulfs 框架提供了一套共享词汇,用于讨论 LLM 应用的失败。与团队一起调试时,你可以快速判断某个问题是“规范失败”(提示词没有把需求表达得足够清楚),还是“泛化失败”(LLM 没有一致地执行指令)。这种共同语言能帮助团队更快诊断问题并选择正确的修复方式,而不是争论模型“不工作”这类模糊说法。
当你开始检查输出(弥合 Gulf of Comprehension)时,你不可避免地会发现错误。接下来的问题是,这些错误究竟是由于规范不完整,还是由于泛化失败。如果提示词没有明确表达要求,你可以通过更好的指令或 agent 设计来修复。如果提示词已经写得很清楚,而 LLM 仍然失败,那么问题就在于泛化,自动化评估可以帮助衡量这种失败发生的频率。
应用之间的差异还在于,它们在多大程度上能依赖用户自行弥合这些鸿沟。在编码助手中,也许我们可以假设程序员有很强的能动性。他们知道如何精确说明需求,能够阅读和调试生成的代码(理解),也能运行测试来暴露 LLM 何时未能泛化(例如,有时能生成可运行的 React 应用,有时却不能)。
相比之下,考虑一个由 LLM 驱动的个人造型师。用户要求一套穿搭时,可能并不知道如何清楚地说明需求。应用本身可能需要提出澄清问题,比如询问天气或正式程度,以减少规范差距。用户也无法轻易发现泛化失败:如果 LLM 为休闲冬装给出了好建议,他们可能会认为它在冬季婚礼场景也会表现良好,而这种假设可能并不成立。
有效评估需要思考每个鸿沟在你的应用中的风险高低。在风险更高的地方——因为用户无法轻易自己发现错误,或者因为错误的代价很大——你需要设计更严谨的流程来弥合差距。
LLM 评估生命周期:通过评估弥合鸿沟
Three Gulfs(Comprehension、Specification 和 Generalization)概括了 LLM 应用出错的主要方式。在本书中,我们通过 Analyze-Measure-Improve 生命周期来开展评估(图 1-2)。

这个迭代框架通过评估来系统地理解失败(Analyze)、量化失败(Measure)并修复失败(Improve),从而弥合 Three Gulfs。这个生命周期就是我们用来展示评估如何让这些鸿沟变得可见、并帮助你决定如何应对它们的框架。
分析
循环从 Analyze 开始。在这个阶段,你会查看真实输入和输出,以理解系统的实际行为。目标是识别失败模式,而不是立刻量化它们。虽然 Analyze 与 Gulf of Comprehension(理解你的数据和系统行为)联系最直接,但它也会暴露规范差距和泛化问题;你常常会在同一次阅读 trace 的过程中发现所有三类问题。
在实践中,这意味着阅读 trace(agent 针对每个请求所做操作的完整记录)、与用户或领域专家讨论“正确”是什么样子,并整理出系统失败方式的清单。第 3 章会详细讨论这一点。
想象你审阅一批电子邮件摘要,并注意到两个反复出现的问题:LLM 有时会包含签名中的无关文本,有时会遗漏最重要的请求。这些观察告诉你系统在哪里出问题,并提供线索,说明问题究竟是规范不佳还是泛化失败。
度量
在分析之后,你会知道系统会犯哪些类型的错误。有些显然是规范问题:提示词说得不够,所以修复方式很明显。另一些看起来像泛化错误:提示词已经清楚,但 LLM 仍然表现不当。
度量步骤是关于量化这些泛化问题。度量期间的关键问题是:每种失败模式实际发生的频率有多高,这个比率是否低到系统可用?没有度量,你只能依赖少量轨迹带来的印象,而这可能往两个方向误导你(少量坏例子会让一个好系统看起来坏了,少量好例子会让一个坏系统看起来没问题)。为了大规模度量,你要设计评估器(自动检查),它们无需人工审阅就能给轨迹打分。这些可以是基于代码的规则,也可以使用另一个 LLM 作为评判者(这是我们在第5章介绍的模式)。
想象你正在使用一个 LLM,即使你已经澄清了提示词,它有时仍会把签名块塞进摘要。你构建一个基于规则的检查,在数千条输出中标记样板化短语,发现这种情况发生在 8% 的案例中。度量告诉你某个失败是偶尔的烦扰还是系统性问题。
改进
最后一步是改进:根据分析和度量发现的内容,决定如何调整系统。你走的路径取决于错误的来源:
- 如果错误源于规范缺口,修复通常是收紧提示词或调整智能体逻辑。
- 如果错误源于泛化失败,你可能需要更强的干预,例如增加更多示例、改进检索,或在有标注数据上微调。
第12章详细介绍了这些改进策略,按投入程度从快速编辑提示词到模型层面的改动进行组织。
想象你的度量显示,遗漏关键请求之所以发生,是因为提示词从未规定详细程度。这是规范层面的修复:你修改指令,写明“用三个简洁的要点总结发件人的请求。”但姓名混淆问题即使在提示词清楚后仍然存在。这是泛化问题,修复它可能需要加入有标注的训练数据,或者重新设计应用,从电子邮件元数据中提取发件人,而不是依赖 LLM 解析正文。
每轮经过这个循环,都会帮助你理解自己面对的鸿沟,并为你的应用选择合适的评估严格程度。
综合起来
当你遇到一个表现不佳的 LLM 应用时,问一下这个失败落入哪个鸿沟:
- 理解:你还不了解你的输入长什么样,或者系统在这些输入上实际如何表现;在改变任何东西之前,先查看更多轨迹。
- 规范:你的需求不够明确,LLM 无法遵循;修改提示词或智能体逻辑来弥合差距。
- 泛化:需求很清楚,但 LLM 仍在某些输入上失败。度量失败发生的频率,并考虑更强的干预,例如更多示例、更好的检索或微调。
分析—度量—改进生命周期把这种诊断组织成一个可重复流程。你分析轨迹以发现失败模式,度量它们有多常见,然后应用修复,并把结果反馈到下一轮分析中。
摘自 Evals for AI Engineers,作者 Shreya Shankar 和 Hamel Husain。版权所有 © 2027 Hamel Husain 和 Shreya Shankar。由 O’Reilly Media, Inc. 出版。经许可使用。