Newshot

降低生成式 AI 成本:规则用代码,判断用模型

AI summary

生成式 AI 系统中最主要的成本杠杆,在于你是否真的需要调用模型。很多团队把输入校验、格式化和路由等所有任务都交给大语言模型(LLM)处理;单次调用看似便宜,但在生产规模下,这些小额开销会累积成架构中最大的支出项之一。凡是确定性规则能完成的工作,跳过模型就能省钱、降低延迟,并消除一个不确定性来源。本文介绍如何判断工作流中每一步是否真的需要模型,并把每个选项对应到 AWS:确定性代码、受限的决策调用,或 Amazon Bedrock 上规模合适的模型。

Translation(model translation, not the source's own text)

削减生成式 AI 成本:规则用代码,判断用模型

生成式 AI 系统中最大的成本杠杆,是你到底要不要调用模型。我们经常看到团队把每个任务都交给大语言模型(LLM)处理,包括输入校验、格式化和路由。单次调用看似便宜,但在生产规模下,这些小成本会成为架构中最大的成本项之一。只要确定性规则能完成工作,跳过模型就能省钱、降低延迟,并消除一个不确定性来源。在这篇文章中,你将学习如何判断工作流中的每一步是否真的需要模型。然后,你可以把每个选项映射到 AWS:确定性代码、受限决策调用,或 Amazon Bedrock 上规模合适的模型。

为什么不需要的模型调用会累积成本

这种模式通常从原型阶段开始。某个步骤用模型调用能跑通,于是它就成了下一步的默认做法。这些步骤包括校验输入、重新格式化请求体和选择路由。在原型流量下,没人会注意到成本。

在生产流量下,不必要的模型调用会以三种方式让你付出代价:

  • 支出会随请求数增长,即使是对低价值步骤也是如此。
  • 延迟会叠加,因为链条中的每次模型调用都会增加数百毫秒。
  • 输出可能变化,因为相同的输入可能返回不同的答案。这会让测试更难,审计更慢。

之后每次有新模型发布,都会重新引发该用哪个模型的争论。而更早的问题——这个步骤到底需不需要模型——却没人问。

成本指导,包括 AWS Well-Architected Generative AI Lens,通常从模型选择开始。这篇文章则提前一步:这个步骤到底需不需要模型?

如何判断一个步骤是否需要模型

图 1 用流程图展示了整个决策过程,包含三个带标签的泳道:以代码运行、问题、在模型上运行。让每个工作流步骤按顺序经过三个问题,并在第一个满足该步骤要求的选项处停止:

  • 规则能否检查成功,例如格式、schema、关键词或范围?如果规则只能解决该步骤的一部分,快速路径会先运行规则。
  • 模型能否一次性写出规则,例如正则表达式或 JSON schema?
  • 该步骤是否从固定列表中选择一个答案,例如路由、类别或是/否?

如果这三个问题的答案都是否,那么该步骤就是开放式的,应在规模合适的模型上运行。

Flowchart that sorts a workflow step into code, a constrained decision call, or a right-sized Amazon Bedrock model
Flowchart that sorts a workflow step into code, a constrained decision call, or a right-sized Amazon Bedrock model

图 1:判断一个工作流步骤是否需要模型,以及需要哪个模型

考虑一个客户支持助手。下表展示了它的五个步骤如何经过这张图。

#步骤经过图表的路径运行位置
1检查订单号格式规则可以检查成功。Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数
2按意图路由消息规则能解决一部分。快速路径上的关键词匹配可处理“退款”等消息,剩余部分进入第三个问题。使用 JSONata 的 AWS Step Functions Choice 状态。剩余部分进入受限决策调用。
3从承运商邮件中提取跟踪号模型可以一次性写出规则。它起草正则表达式,你审核并提交。代码,作为 AWS Lambda 中已提交的模式
4为工单选择四个支持队列之一答案来自固定列表。受限决策调用。不确定的答案升级到规模合适的模型。
5起草给客户的回复该任务是开放式的。规模合适的模型,即满足要求的最小 Amazon Bedrock 模型

文章标题:降低生成式 AI 成本:规则用代码,判断用模型

正文: 当任务开放、模糊或具有生成性时,你可以使用模型:总结文档、起草回复、从散文中提取含义。当任务有可校验的规则时,使用确定性代码:电子邮件格式、schema、精确关键词、数值范围。下表展示了当你把规则形态的任务交给模型时,你放弃了什么。

属性确定性代码模型调用
每次调用成本通常低几个数量级按 token 计费,规模化时不可忽视
延迟个位数毫秒或更低数百毫秒
在明确规定规则上的正确性对写下的规则完全精确高,但存在非零错误率
可审计性规则位于源代码管理中更难向审计人员解释
随时间推移的行为在你改动之前保持稳定当你迁移到新模型版本,或某个版本被退役时会发生变化

模型还可能产生幻觉,并对相同输入返回不同答案。温度为 0 会降低答案多变的可能性,但不能保证输出完全相同。Amazon Bedrock 模型评估和 Amazon Bedrock Guardrails 可帮助你衡量并控制这些风险。规则不存在这两个问题,这也是受监管工作负载青睐规则的原因之一。一个有用的测试:如果你能把验收测试写成规则,你通常也能把该步骤写成规则。更多信息,请参阅 AWS Prescriptive Guidance 中的 Orchestration models: From rule-based to AI-native。

做决定,而不是生成

大多数路由和分类步骤介于规则与开放式生成之间。规则无法判定所有情况,但这些步骤也不需要生成的文本。它们需要从你预先定义的固定选项列表中给出一个答案,就像前一个示例中的支持队列。使用一个将输出限制为允许答案的组件,并为你提供何时升级的信号。有把握的答案继续处理,不确定的答案升级处理。AWS Well-Architected Agentic AI Lens 描述了这种分层的、基于置信度的升级机制。在 AWS 上,你可以通过四种方式构建它:

  • 带结构化输出的小型 Amazon Bedrock 模型 – 答案被限制为选项枚举,外加一个触发升级的“unsure”选项。这是模型自身的判断,不是经过校准的分数,因此在用它决定是否升级之前,请用标注数据验证。
  • 嵌入相似度 – 使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最近的标注示例。将相似度分数用作升级信号,并在标注数据上设置其阈值。
  • Strands Decider,一个采用 Apache License 2.0 的实验性开源决策模型 – 它从选项中挑选或按评分标准打分,并为每个答案返回经过校准的置信度。其 README 报告称,在短分类任务上,置信度为 0.9 或更高的答案大约有 95% 是正确的。由于该模型是实验性的,在生产中使用之前,请在你自己的数据上验证该结果。你可以按照其仓库中的部署指南自行托管它,例如托管在 Amazon SageMaker AI 端点。
  • Amazon SageMaker AI 上的训练分类器 – 一旦你拥有标注训练数据,它就能以低延迟和低成本返回类别概率。

以下 JSON schema 将结构化输出答案限制为四个队列外加“unsure”。Amazon Bedrock 要求 schema 中的每个对象都将 additionalProperties 设置为 false。


        {
  "type": "object",
  "properties": {
    "queue": {
      "type": "string",
      "enum": ["billing", "technical", "account", "other", "unsure"]
    }
  },
  "required": ["queue"],
  "additionalProperties": false
}
      

无论你选择哪种方式,都要将它的升级信号与自己的标注数据核对,并在那里设置任何阈值。将你的授权决定(例如退款限额)保留在规则中。

确定性快速路径模式

文章标题:降低生成式 AI 成本:用代码处理规则,用模型处理判断

正文: 许多成本优化模式聚焦于模型之间的路由。更快的路径要早一步:先运行确定性检查,只把规则无法解决的部分交给模型。意图路由就是一个例子。许多消息带有明确的信号,例如 “refund” 或 “reset my password”,关键词匹配可在个位数毫秒甚至更短时间内解决。如果规则能解决 95% 的请求,那么在获得任何模型选择带来的节省之前,只有 1/20 的请求会到达模型。(示意性算术,并非基准测试。)

在 AWS 上,你可以用现有的构建块组合出这一方案:

  • AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。
  • AWS Lambda 承载需要比 Choice 状态更复杂逻辑的规则,例如验证和 schema 检查。
  • Amazon API Gateway(REST API)请求验证在任何计算运行之前拒绝格式错误的输入。
  • 受约束的决策调用或 Amazon Bedrock 模型只处理剩余部分。

下面的 Choice 状态是一个关键词快速路径。它使用 JSONata 将退款和 password 重置消息直接发送到代码,并将其他所有内容发送到受约束的决策调用。


        "KeywordFastPath": {
  "Type": "Choice",
  "QueryLanguage": "JSONata",
  "Choices": [
    {
      "Condition": "{% $contains($states.input.message, /refund/i) %}",
      "Next": "RefundFlow"
    },
    {
      "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
      "Next": "PasswordResetFlow"
    }
  ],
  "Default": "ConstrainedDecisionCall"
}
      

你也可以让模型只编写一次规则,而不是每次都运行模型。让模型起草一个正则表达式或 JSON schema,审查它,然后提交。运行时,规则以规则的速度和成本运行。审查模型编写的正则表达式,并用已知的良好和不良输入进行测试。避免嵌套量词,例如 (a+)+,因为它在某些输入上会使匹配变得非常慢(正则表达式拒绝服务,即 ReDoS)。

当你确实需要生成时,Amazon Bedrock 结构化输出会将响应约束到你定义的 JSON schema。响应随后会匹配该 schema,因此你的代码可以解析它,而无需自定义解析逻辑(检查内容的正确性)。将范围检查(例如数值边界和长度限制)保留在代码中。有关支持的模型和 schema 特性,请参阅 Get validated JSON results from models。

如果你的规则存放在配置中,只允许已知的原语,例如正则表达式、schema 检查、关键词列表和范围检查。永远不要运行来自配置文件的任意代码。

当你确实需要模型时,选择合适规模

选择满足你质量下限的最便宜、最快的模型。这通常不是最新或最大的模型。Generative AI Lens 在其关于合适规模模型选择的最佳实践中涵盖了这一点。Amazon Bedrock 的有效成本优化策略对此进行了深入讨论。在比较模型之前先定义需求:

  • 质量下限:可接受的最低输出质量,在黄金评估集(带有已知正确答案的任务标注示例)上衡量。
  • 成本上限:每次请求或每个成功结果你最多支付的费用。
  • 延迟目标:体验可以容忍的 p95 或 p99 响应时间。
  • 合规约束:例如数据驻留等可能排除候选模型的要求。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

降低生成式 AI 成本:规则用代码,判断用模型

Amazon Bedrock 通过一个 API 提供多种模型系列和规模,因此你可以为每个任务选择合适的规格,而无需更改集成方式。Amazon Bedrock Intelligent Prompt Routing 会在支持的模型系列内将每个请求路由到合适的模型。Amazon Bedrock Model Distillation 会针对你的用例,将知识从更大的模型迁移到更小、更便宜的模型。模型提供商会基于广泛的基准评估新的前沿模型,但你的工作负载只是一个任务,只有一个质量下限。更大的模型可能增加成本和延迟,却不会改善该任务。在切换之前,请根据你的需求评估每次发布,例如在你的黄金评估集上的质量和你的延迟目标。

将模型选择视为经过测试的配置

Generative AI Lens 建议基于你的真实基准数据测试候选模型,并具备快速更新模型的方式。更进一步,把这一决策视为经过测试的配置:

  • 为每个任务保留一个黄金评估集,其中包含带标签的基准真值,并在持续集成中运行它。
  • 以你的需求作为门禁。把低于质量下限的更便宜模型视为回归。
  • 将模型置于配置开关之后,以便你可以撤销切换。
  • 用正确的判定方式验证。对照基准真值检查规则。将 model-as-judge 评估保留给开放式输出。
  • 留意漂移。以影子模式将一些由规则解决的请求抽样通过模型,并在二者不一致时重新分类某个步骤。

付诸实践

把模型容量花在需要判断的地方,其他地方不要花。你可以通过四个步骤实现:

  • 埋点——将每次调用标记为确定性代码、受限决策调用或模型调用。跟踪每个成功结果的成本。
  • 将规则移到代码中——在 AWS Lambda 或 AWS Step Functions 上运行可规则检查的步骤。这通常是最大且最安全的收益。
  • 添加受限决策调用——将固定选项步骤通过一个在不确定时会升级的调用进行路由。
  • 在切换模型之前测试——让每个新模型在成为默认模型之前都通过你的黄金评估集。

结论

在这篇文章中,你了解了如何判断一个工作流步骤究竟是否需要模型。规则应放在确定性代码中,固定选项应放在受限决策调用中。开放式工作应交给规格合适的 Amazon Bedrock 模型。目标是以你的质量下限所允许的最低成本和延迟满足每项需求。先问一个步骤是否需要模型,再问该用哪个模型。

更多信息,请参阅 AWS Artificial Intelligence Blog 上的这些文章:

  • Use decision models with Amazon Bedrock AgentCore Evaluations.
  • Use Amazon Bedrock Intelligent Prompt Routing for cost and latency benefits.
  • Structured outputs on Amazon Bedrock: Schema-compliant AI responses.
  • Fix evaluation bias to unlock better models on Amazon Bedrock.

要尝试受限决策调用,请打开 Amazon Bedrock 控制台,或从其 GitHub 仓库部署 Strands Decider。

从一个高流量工作流开始,并衡量其中有多少部分从来不需要模型。

关于作者

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗