
Audiala 用一个决策模型替换了 LLM 路由器,23 分钟后便回滚了。替代方案能够对意图进行分类。而被替换的原有方案还负责解析城市、对话指代和工具控制标志。团队只评估了一项职责,却替换了好几项。
这个迁移案例是第 1 部分(我们对决策模型采用情况的调查)中最清晰的例子之一。其他集成也暴露了相关问题:候选构造限制了动作选择,缺失的交接指令削弱了下游 agent,更快的决策有时反而产生更多恢复工作。这些报告描述的是具体实现,并非对专门化的普遍惩罚。
它们确实提出了一个实用的起点:替换的单位是应用所依赖的行为。本文顺着这一思路进入实现层面。我们将还原一次调用的契约,构造替代方案,评估完整的替换,并说明如何保持其可靠性。
小小的输出可能隐藏着巨大的职责
考虑一个用于说明的发票处理应用,其接口如下:
resolve_vendor(invoice, catalog) → vendor_id
它看起来是在选择一个供应商。但哪个实体才算供应商:开具发票的法律实体、商号,还是母公司?当目录中有两个条目同名时会发生什么?税号是否会覆盖信头信息?该函数能否返回目录中不存在的实体?成功的结果只是填充一个审核界面,还是下游代码会用它来选择付款目的地?
原始 prompt 可能已经吸收了其中好几项职责。它可能解释发票、调和冲突证据、识别实体,并在下一步读取的字段中解释不确定性。一个返回有效标识符的替代方案,仍然可能丢失应用所需的行为。
从消费者入手。检查字段访问、数据库查询、工具参数、中间消息和恢复路径。结合这些依赖来阅读 prompt。被直接调用方忽略的字段,仍可能在后续的模型调用中成为证据。反过来,没有人消费的所请求的解释,可能并不属于必需输出。
第 1 部分的 LAS 案例让这一点变得具体:规划者提供交接指令,审核者提供修复指导。一个有限的选择可以替换一项判断,同时移除下游所需的信息。如果该信息仍然必要,就保留它,或将其产出分配给另一个步骤。
说明性的替换审查
一个返回值,多项职责
必需行为
提议的仅选择替换方案
- 解释发票——仍未分配
- 识别开具实体——仍未分配
- 调和冲突证据——仍未分配
- 选择一个目录候选——✓ 已分配给选择模型
- 保留证据和不确定性——仍未分配
在选择模型之前先还原契约
对于我们的示例,假设应用所有者确认该函数必须在提供的目录快照中解析出发票开具法律实体、保留支持证据,并将未解决的歧义转交审核。一个概念性的结果类型可以是:
Resolution =
Matched(vendor_id, catalog_version, evidence)
| NeedsReview(reason, candidate_ids)
| NoMatch(reason)
文章标题:LLM 调用做的事比你想象的多
正文: 每种结果都需要语义。Matched 要求所提供目录中的某个成员,并需要选择它的证据。NeedsReview 包括标识符冲突、实体歧义和证据不足。这里的 NoMatch 意味着现有证据可以确定,没有任何目录条目符合匹配策略。仅凭一个空的候选列表无法确立这一点;检索可能漏掉了答案。
这也改变了调用方。它必须显式处理 review 和 no-match 结果,而不是把每个语法有效的标识符都当作成功。现有的授权检查仍然决定一次匹配允许应用做什么。
要把三个标准分开:匹配输出 schema、与现有实现一致,以及满足应用自身的要求。与现有实现一致可能会保留它的错误。历史轨迹有助于识别常见输入和依赖关系,但无法确立所有必需的行为。一个过去被接受的错误供应商是失败证据,而不是新的规范。
要记录哪些要求来自应用策略或已裁决的示例,哪些仍属推断。在测量候选方案之前,先解决有重大影响的歧义。把这项工作称为“重构”是有局限的:学习得到的替代方案可能改变答案和错误分布。目标是在经过评估的容差范围内满足已声明的要求;与现有实现的普遍等价通常并未被确立。
围绕职责构造替代方案
从实现成本最低的实验开始:把现有请求发给一个更便宜的通用模型。一个有用的结果可能不需要任何分解。将其与把已还原职责显式化的替代方案进行比较:
| 实现方式 | 变化之处 | 需要检验的主要假设 |
|---|---|---|
| 相同提示词,更便宜的模型 | 模型选择 | 替代模型能处理完整契约 |
| 抽取、检索、专用匹配 | 证据和候选选择成为独立阶段 | 抽取和检索保留了匹配所需的信息 |
| 受保护的精确查找,然后对未解决输入做语义匹配 | 部分请求避免学习式匹配 | 标识符具有权威性、在其范围内唯一,且在匹配策略下可接受 |
只有在这些前提条件下,精确查找才成立。看起来像税务标识符的文本并不自动具有权威性。一个目录别名也可能被多个法律实体共用。当假设不成立时,实现需要一条未解决路径。
候选集是程序的一部分
第 1 部分的 Stagehand 示例说明了为什么动作选择取决于候选构造。同样的问题在这里也会出现:如果检索遗漏了正确的供应商,专用模型就无法选中它。对于存在正确目录匹配、且必须从其检索到的候选中进行选择的路径:
P(correct match)
= P(correct vendor retrieved)
× P(correct selection | correct vendor retrieved)
举例来说,95% 的检索覆盖率和 98% 的条件选择准确率,会在该人群上产生 93.1% 的正确率。这些是假设数字,但其含义是操作层面的:分别评估检索,以及将检索与选择一起评估。只在包含答案的列表上测得的强分类器分数,会掩盖上游的失败模式。
示例性算术 · 并非基准测试结果
选择器无法找回缺失的候选
1,000 张发票
每张发票在目录中都有一个正确供应商。该路径必须从检索到的候选中进行选择。
950 · 检索到正确供应商
95% 的检索覆盖率
931 · 正确选择
950 个检索到案例中的 98%
19 · 错误或未解决
950 个检索到案例中的 2%
50 · 遗漏正确供应商
正确匹配在该选择路径上不可能实现。Review 或回退可能将其找回。
示例:V17 存在于完整目录中,但候选列表只包含 V42 和 V58。
931 / 1,000 = 该路径上 93.1% 正确
在各阶段保留候选对象的身份标识。如果模型对成对项进行评估,要把每个判断附着到对应的配对 ID 上,而不是假定响应保持原有顺序。同样,提取出一份公司列表和一份地址列表,并不能确定哪个地址属于哪家公司。这些关系需要证据和显式表示。
将判断与机械性工作分离
一旦输入变得明确,有些职责就可以变成普通的计算。模型可以识别相关的行项目,而由十进制算术内核计算它们的总和;或者模型引用支持性文本,而由 grounding 内核在源文中定位它。在供应商解析中,确定性操作可以构造候选配对、保留它们的 ID,并在不依据列表顺序猜测关系的情况下汇总匹配决策。模型解读证据;代码执行已声明的变换。这些操作还使中间结果可供检查与测试。
确定性并不能证明解读是正确的。一个被准确定位的引文可能带有错误标签,一个精确的名称匹配可能指向错误的法人实体,一个正确的求和可能使用了错误提取的操作数。失败策略也会改变结果:拒绝一个未接地的引文可能触发昂贵的回退,而丢弃它可能遗漏重要内容。对于脱敏而言,这种遗漏可能暴露敏感信息。要把这些选择作为替换方案的一部分来评估,包括完整性和下游错误;确定性操作消除的是特定的失败模式,而非语义评估的必要性。
评估完整的替换方案
在调优候选方案之前先定义验收标准。在发票匹配中,错误的自动匹配、不必要的复核和未解决的发票具有不同的后果。要把它们分开计数。更高的总体得分并不能决定用更少的复核换取额外错误匹配是否可以接受。
使用三层检查:
| 层级 | 它确立的内容 |
|---|---|
| 契约检查 | 输出具有必需字段,身份标识指向正确的目录,未解决的结果得到处理 |
| 成对函数评估 | 在相同输入上比较完整实现,考察正确性、后果性错误、未解决结果、成本和延迟 |
| 工作流执行 | 变更后的输出在后续状态转换、恢复和任务完成中正常工作 |
围绕失败机制构建示例,而不只是常见的成功发票。要包含被检索遗漏的正确供应商、相似的母公司与子公司名称、相互冲突的标识符、目录中不存在的供应商,以及证据不足的情况。重排候选顺序并变换等价措辞,以测试无关的呈现变化是否会改变答案。要包含试图指挥模型的不可信文档文本;schema 校验并不能确立对此类指令的抵抗能力。
使用开发数据来构造候选并调优提示词或阈值。在最终的留出评估之前冻结所选实现。必要时对相关发票或模板进行分组,以防止近似重复项跨越划分边界。如果意图主张的是对未见供应商的泛化能力,那么划分也必须测试这一点。重复运行衡量的是同一批示例上的变异性;它们并不会增加额外的任务覆盖。
历史答案可以支持分歧分析,但有意义的正确性主张需要合适的权威依据:经裁决的匹配、可信标识符或经过验证的结果。要报告标签的来源以及后果性错误估计中的不确定性,尤其是在重要失败较为罕见时。在小规模集合上观察到零错误,并不能确立零错误率。
重放并不覆盖每一条轨迹
文章标题:LLM call is doing more than you think
正文: 对于有界解析器,针对捕获的发票和商品目录快照进行回放是有用的。对于智能体控制器,回放现有轨迹所评估的是现有实现已经到达过的状态。改变后的动作可能导致不同的状态、参数和恢复路径,而这些可能永远不会出现在那些轨迹中。
第 1 部分的完整任务对比说明了为什么这很重要:组件速度或中位单集时间的改善并没有一致地保持成功率和尾部延迟。在受控环境中演练受影响的工作流,并限制外部影响。对于发票应用,将模糊结果引导至人工审核,将匹配失败引导至恢复流程;对于智能体,执行后续轨迹。衡量已完成的任务,并将失败的尝试保留在统计中。
示例工作流 · 非实际观测结果
回放止于新轨迹开始之处
共享状态:模糊发票
回放可以在此处比较两种实现的首次决策。
记录的现有路径
请求澄清
保持发票未解决
收到额外证据
在此示例轨迹中已捕获
使用新证据解决
记录的后续路径可用
替换路径
接受供应商 V42
一个不同的首次决策
不同的下游状态
未请求澄清。不能假定记录的响应会发生。
结果需要执行
在受控工作流中衡量完成率、恢复情况和错误。
接受、回退和权限是相互独立的决策
置信度阈值只能回答部署问题的一部分。区分三种决策:
- 适用性:此实现的假设是否满足,包括输入格式和商品目录范围?
- 接受:此特定结果是否满足自动使用的策略?
- 授权:应用是否可以执行由此产生的动作?
模型生成的关于客户已授予权限的断言不能替代受信任的授权状态。第 1 部分的不确定性和信任案例说明了为什么高置信度无法提供缺失的指令或保护证据通道。
评估接受策略时,应同时考虑覆盖率——即其接受的请求比例——以及被接受答案中的错误率。只接受极少数案例可能让专用模型看起来很准确,但实际上把几乎所有请求都送入了昂贵的回退流程。还应报告回退后的错误、未解决的结果、总成本和延迟。策略的完整行为决定了它的有用性。
回退无法修复系统已经接受的错误。它只在检测到失败或结果被拒绝、并将请求转到别处时才有帮助。回退模型仍可能共享最初的误解。在可行的情况下,让它检查原始证据;只发送不完整的候选列表可能会保留错误的根源。
示例失败路径
被接受的错误永远不会到达回退
模型选择了错误的供应商:V42
评估者已知;此运行时策略未检测到。
运行时检查
- 输出模式有效 通过
- V42 属于商品目录 通过
- 接受阈值 通过
已接受 · 此示例
错误匹配到达应用
回退从未运行
独立的应用检查
授权可能阻止某个动作。如果被允许,错误匹配可能导致下游错误。
已拒绝 · 替代路径
运行回退
仅在检测到失败或答案被拒绝之后
回退也可能返回错误或未解决的答案。它同样需要评估。
明确边界行为:分数恰好等于阈值、缺少字段、无效身份、超时以及回退预算耗尽。第 1 部分的 Fastbrowse 阈值问题提醒我们,一个小的分支错误就可能使原本细致的评估失效。这些案例值得独立于平均模型准确率进行直接测试。
计算保持结果有效所需的成本
在满足所需结果约束的实现之间比较经济性。对于已定义的工作负载和时段:
文章标题:LLM 调用做的事情比你想象的更多
正文:
该期间的净收益
= 执行节省
− 迁移与评估成本
− 维护与再验证成本
执行节省必须同时包含专家尝试与回退、重试、服务开销,以及任何发生变化的审核或恢复工作。要把单次尝试的成本与「总支出除以成功任务数」区分开;后者会把失败的尝试保留在分子中。一个高频且稳定的函数可能很快收回其前期投入成本。而一个偶发或快速变化的任务则可能无法收回。
要把一次经过测量的修订视为不止于一个模型名称。记录它的提示词、schema、候选构建器、目录或索引版本、接受策略、评估数据和评估器。更改检索方式可能改变候选难度和分数分布,而模型本身并未改动。早先的阈值证据可能已不再支持新的实现。检查哪些假设发生了变化,并在依赖旧结果之前重新运行相关评估。
要为实际执行的修订和分支埋点,包括回退及后续恢复。第 1 部分的集成路径报告说明了这一点为何重要:宿主变更可能绕过经测量的实现,而其模型并未改变。保留一个可用的先前修订版本和一条明确的回滚路径。新的测量结果可以为部署决策提供依据,但不会自动替换当前正在处理请求的实现。
从一次经过测量的替换,到一个被持续维护的函数
这些要求引出了 Seldon 对 Semantic Compute 的看法:一个应用应当定义一个语义函数,其实现可以在明确的契约和经过测量的权衡之下演进。如今,Seldon Functions 从开发者声明的请求或受支持的短工作流出发,搜索受支持的备选方案——包括模型调用与预定义确定性操作的组合——并托管开发者选择激活的那个修订版本。它的测量针对的就是这个有边界的函数;周边的应用仍然需要它自己的验证。
在下一篇文章中,我们将跟随一个 Function 走完这一过程:冻结其契约、构造可执行的候选、将搜索与留出评估分离,并以有界回退来服务一个选定的修订版本。我们将审视证据确立了哪些结论、在哪些地方证据仍不完整,以及何时保留原实现才是正确的结果。实际的检验标准是:这是否减少了达到并维持一个可接受替换所需的工作量。
让你的流量经由 Seldon 路由,并调查那些可能受益于专用程序的重复性工作。