削减生成式 AI 成本:规则用代码,判断用模型
生成式 AI 系统中最大的成本杠杆,是你到底要不要调用模型。我们经常看到团队把每个任务都交给大语言模型(LLM)处理,包括输入校验、格式化和路由。单次调用看似便宜,但在生产规模下,这些小成本会成为架构中最大的成本项之一。只要确定性规则能完成工作,跳过模型就能省钱、降低延迟,并消除一个不确定性来源。在这篇文章中,你将学习如何判断工作流中的每一步是否真的需要模型。然后,你可以把每个选项映射到 AWS:确定性代码、受限决策调用,或 Amazon Bedrock 上规模合适的模型。
为什么不需要的模型调用会累积成本
这种模式通常从原型阶段开始。某个步骤用模型调用能跑通,于是它就成了下一步的默认做法。这些步骤包括校验输入、重新格式化请求体和选择路由。在原型流量下,没人会注意到成本。
在生产流量下,不必要的模型调用会以三种方式让你付出代价:
- 支出会随请求数增长,即使是对低价值步骤也是如此。
- 延迟会叠加,因为链条中的每次模型调用都会增加数百毫秒。
- 输出可能变化,因为相同的输入可能返回不同的答案。这会让测试更难,审计更慢。
之后每次有新模型发布,都会重新引发该用哪个模型的争论。而更早的问题——这个步骤到底需不需要模型——却没人问。
成本指导,包括 AWS Well-Architected Generative AI Lens,通常从模型选择开始。这篇文章则提前一步:这个步骤到底需不需要模型?
如何判断一个步骤是否需要模型
图 1 用流程图展示了整个决策过程,包含三个带标签的泳道:以代码运行、问题、在模型上运行。让每个工作流步骤按顺序经过三个问题,并在第一个满足该步骤要求的选项处停止:
- 规则能否检查成功,例如格式、schema、关键词或范围?如果规则只能解决该步骤的一部分,快速路径会先运行规则。
- 模型能否一次性写出规则,例如正则表达式或 JSON schema?
- 该步骤是否从固定列表中选择一个答案,例如路由、类别或是/否?
如果这三个问题的答案都是否,那么该步骤就是开放式的,应在规模合适的模型上运行。

图 1:判断一个工作流步骤是否需要模型,以及需要哪个模型
考虑一个客户支持助手。下表展示了它的五个步骤如何经过这张图。
| # | 步骤 | 经过图表的路径 | 运行位置 |
|---|---|---|---|
| 1 | 检查订单号格式 | 规则可以检查成功。 | Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数 |
| 2 | 按意图路由消息 | 规则能解决一部分。快速路径上的关键词匹配可处理“退款”等消息,剩余部分进入第三个问题。 | 使用 JSONata 的 AWS Step Functions Choice 状态。剩余部分进入受限决策调用。 |
| 3 | 从承运商邮件中提取跟踪号 | 模型可以一次性写出规则。它起草正则表达式,你审核并提交。 | 代码,作为 AWS Lambda 中已提交的模式 |
| 4 | 为工单选择四个支持队列之一 | 答案来自固定列表。 | 受限决策调用。不确定的答案升级到规模合适的模型。 |
| 5 | 起草给客户的回复 | 该任务是开放式的。 | 规模合适的模型,即满足要求的最小 Amazon Bedrock 模型 |
文章标题:降低生成式 AI 成本:规则用代码,判断用模型
正文: 当任务开放、模糊或具有生成性时,你可以使用模型:总结文档、起草回复、从散文中提取含义。当任务有可校验的规则时,使用确定性代码:电子邮件格式、schema、精确关键词、数值范围。下表展示了当你把规则形态的任务交给模型时,你放弃了什么。
| 属性 | 确定性代码 | 模型调用 |
|---|---|---|
| 每次调用成本 | 通常低几个数量级 | 按 token 计费,规模化时不可忽视 |
| 延迟 | 个位数毫秒或更低 | 数百毫秒 |
| 在明确规定规则上的正确性 | 对写下的规则完全精确 | 高,但存在非零错误率 |
| 可审计性 | 规则位于源代码管理中 | 更难向审计人员解释 |
| 随时间推移的行为 | 在你改动之前保持稳定 | 当你迁移到新模型版本,或某个版本被退役时会发生变化 |
模型还可能产生幻觉,并对相同输入返回不同答案。温度为 0 会降低答案多变的可能性,但不能保证输出完全相同。Amazon Bedrock 模型评估和 Amazon Bedrock Guardrails 可帮助你衡量并控制这些风险。规则不存在这两个问题,这也是受监管工作负载青睐规则的原因之一。一个有用的测试:如果你能把验收测试写成规则,你通常也能把该步骤写成规则。更多信息,请参阅 AWS Prescriptive Guidance 中的 Orchestration models: From rule-based to AI-native。
做决定,而不是生成
大多数路由和分类步骤介于规则与开放式生成之间。规则无法判定所有情况,但这些步骤也不需要生成的文本。它们需要从你预先定义的固定选项列表中给出一个答案,就像前一个示例中的支持队列。使用一个将输出限制为允许答案的组件,并为你提供何时升级的信号。有把握的答案继续处理,不确定的答案升级处理。AWS Well-Architected Agentic AI Lens 描述了这种分层的、基于置信度的升级机制。在 AWS 上,你可以通过四种方式构建它:
- 带结构化输出的小型 Amazon Bedrock 模型 – 答案被限制为选项枚举,外加一个触发升级的“unsure”选项。这是模型自身的判断,不是经过校准的分数,因此在用它决定是否升级之前,请用标注数据验证。
- 嵌入相似度 – 使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最近的标注示例。将相似度分数用作升级信号,并在标注数据上设置其阈值。
- Strands Decider,一个采用 Apache License 2.0 的实验性开源决策模型 – 它从选项中挑选或按评分标准打分,并为每个答案返回经过校准的置信度。其 README 报告称,在短分类任务上,置信度为 0.9 或更高的答案大约有 95% 是正确的。由于该模型是实验性的,在生产中使用之前,请在你自己的数据上验证该结果。你可以按照其仓库中的部署指南自行托管它,例如托管在 Amazon SageMaker AI 端点。
- Amazon SageMaker AI 上的训练分类器 – 一旦你拥有标注训练数据,它就能以低延迟和低成本返回类别概率。
以下 JSON schema 将结构化输出答案限制为四个队列外加“unsure”。Amazon Bedrock 要求 schema 中的每个对象都将 additionalProperties 设置为 false。
{
"type": "object",
"properties": {
"queue": {
"type": "string",
"enum": ["billing", "technical", "account", "other", "unsure"]
}
},
"required": ["queue"],
"additionalProperties": false
}
无论你选择哪种方式,都要将它的升级信号与自己的标注数据核对,并在那里设置任何阈值。将你的授权决定(例如退款限额)保留在规则中。
确定性快速路径模式
文章标题:降低生成式 AI 成本:用代码处理规则,用模型处理判断
正文: 许多成本优化模式聚焦于模型之间的路由。更快的路径要早一步:先运行确定性检查,只把规则无法解决的部分交给模型。意图路由就是一个例子。许多消息带有明确的信号,例如 “refund” 或 “reset my password”,关键词匹配可在个位数毫秒甚至更短时间内解决。如果规则能解决 95% 的请求,那么在获得任何模型选择带来的节省之前,只有 1/20 的请求会到达模型。(示意性算术,并非基准测试。)
在 AWS 上,你可以用现有的构建块组合出这一方案:
- AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。
- AWS Lambda 承载需要比 Choice 状态更复杂逻辑的规则,例如验证和 schema 检查。
- Amazon API Gateway(REST API)请求验证在任何计算运行之前拒绝格式错误的输入。
- 受约束的决策调用或 Amazon Bedrock 模型只处理剩余部分。
下面的 Choice 状态是一个关键词快速路径。它使用 JSONata 将退款和 password 重置消息直接发送到代码,并将其他所有内容发送到受约束的决策调用。
"KeywordFastPath": {
"Type": "Choice",
"QueryLanguage": "JSONata",
"Choices": [
{
"Condition": "{% $contains($states.input.message, /refund/i) %}",
"Next": "RefundFlow"
},
{
"Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
"Next": "PasswordResetFlow"
}
],
"Default": "ConstrainedDecisionCall"
}
你也可以让模型只编写一次规则,而不是每次都运行模型。让模型起草一个正则表达式或 JSON schema,审查它,然后提交。运行时,规则以规则的速度和成本运行。审查模型编写的正则表达式,并用已知的良好和不良输入进行测试。避免嵌套量词,例如 (a+)+,因为它在某些输入上会使匹配变得非常慢(正则表达式拒绝服务,即 ReDoS)。
当你确实需要生成时,Amazon Bedrock 结构化输出会将响应约束到你定义的 JSON schema。响应随后会匹配该 schema,因此你的代码可以解析它,而无需自定义解析逻辑(检查内容的正确性)。将范围检查(例如数值边界和长度限制)保留在代码中。有关支持的模型和 schema 特性,请参阅 Get validated JSON results from models。
如果你的规则存放在配置中,只允许已知的原语,例如正则表达式、schema 检查、关键词列表和范围检查。永远不要运行来自配置文件的任意代码。
当你确实需要模型时,选择合适规模
选择满足你质量下限的最便宜、最快的模型。这通常不是最新或最大的模型。Generative AI Lens 在其关于合适规模模型选择的最佳实践中涵盖了这一点。Amazon Bedrock 的有效成本优化策略对此进行了深入讨论。在比较模型之前先定义需求:
- 质量下限:可接受的最低输出质量,在黄金评估集(带有已知正确答案的任务标注示例)上衡量。
- 成本上限:每次请求或每个成功结果你最多支付的费用。
- 延迟目标:体验可以容忍的 p95 或 p99 响应时间。
- 合规约束:例如数据驻留等可能排除候选模型的要求。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
降低生成式 AI 成本:规则用代码,判断用模型
Amazon Bedrock 通过一个 API 提供多种模型系列和规模,因此你可以为每个任务选择合适的规格,而无需更改集成方式。Amazon Bedrock Intelligent Prompt Routing 会在支持的模型系列内将每个请求路由到合适的模型。Amazon Bedrock Model Distillation 会针对你的用例,将知识从更大的模型迁移到更小、更便宜的模型。模型提供商会基于广泛的基准评估新的前沿模型,但你的工作负载只是一个任务,只有一个质量下限。更大的模型可能增加成本和延迟,却不会改善该任务。在切换之前,请根据你的需求评估每次发布,例如在你的黄金评估集上的质量和你的延迟目标。
将模型选择视为经过测试的配置
Generative AI Lens 建议基于你的真实基准数据测试候选模型,并具备快速更新模型的方式。更进一步,把这一决策视为经过测试的配置:
- 为每个任务保留一个黄金评估集,其中包含带标签的基准真值,并在持续集成中运行它。
- 以你的需求作为门禁。把低于质量下限的更便宜模型视为回归。
- 将模型置于配置开关之后,以便你可以撤销切换。
- 用正确的判定方式验证。对照基准真值检查规则。将 model-as-judge 评估保留给开放式输出。
- 留意漂移。以影子模式将一些由规则解决的请求抽样通过模型,并在二者不一致时重新分类某个步骤。
付诸实践
把模型容量花在需要判断的地方,其他地方不要花。你可以通过四个步骤实现:
- 埋点——将每次调用标记为确定性代码、受限决策调用或模型调用。跟踪每个成功结果的成本。
- 将规则移到代码中——在 AWS Lambda 或 AWS Step Functions 上运行可规则检查的步骤。这通常是最大且最安全的收益。
- 添加受限决策调用——将固定选项步骤通过一个在不确定时会升级的调用进行路由。
- 在切换模型之前测试——让每个新模型在成为默认模型之前都通过你的黄金评估集。
结论
在这篇文章中,你了解了如何判断一个工作流步骤究竟是否需要模型。规则应放在确定性代码中,固定选项应放在受限决策调用中。开放式工作应交给规格合适的 Amazon Bedrock 模型。目标是以你的质量下限所允许的最低成本和延迟满足每项需求。先问一个步骤是否需要模型,再问该用哪个模型。
更多信息,请参阅 AWS Artificial Intelligence Blog 上的这些文章:
- Use decision models with Amazon Bedrock AgentCore Evaluations.
- Use Amazon Bedrock Intelligent Prompt Routing for cost and latency benefits.
- Structured outputs on Amazon Bedrock: Schema-compliant AI responses.
- Fix evaluation bias to unlock better models on Amazon Bedrock.
要尝试受限决策调用,请打开 Amazon Bedrock 控制台,或从其 GitHub 仓库部署 Strands Decider。
从一个高流量工作流开始,并衡量其中有多少部分从来不需要模型。