Newshot

借助埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 经济效益

AI summary

随着企业在 Amazon Bedrock 上扩大 AI 规模,即便单 token 价格下降,token 支出仍往往上升。埃森哲在电信、保险、矿业及一家大型企业的四个客户项目中应用了六项优化 token 支出的手段,本文介绍这些手段及如何在 Amazon Bedrock 上落地。

Translation(model translation, not the source's own text)

Artificial Intelligence

用 Accenture 的分阶段方法在 Amazon Bedrock 上优化 AI 经济学

随着企业在 Amazon Bedrock 上扩大 AI 规模,即便单 token 价格下降,token 支出往往仍会上涨。如果没有成本分配标签,你的云账单只会把 AI 支出显示为单独一行,而无法按团队、工作负载、agent 或模型拆分。更便宜的 token 扩大了采用范围,而 agentic 工作负载使调用次数成倍增加。随着成功的 AI 用例规模化,消费增长速度可能快于单价下降速度。经济学问题在于:所产生的业务价值,是否比产出这些价值所需的智能成本增长得更快。Linux Foundation 已成立 Tokenomics Foundation,以制定 AI 成本经济学的开放标准,这表明管理 AI 的经济性如今已成为一项行业学科。

在本文中,你将了解优化 token 支出的六个杠杆、Accenture 如何将它们应用于生产环境,以及如何使用 Amazon Bedrock 应用这些杠杆。

Accenture 在四个客户项目中应用了这些杠杆,涵盖电信、保险、采矿以及一个大型企业部署。如本文所述,这些相同的杠杆可在 Amazon Bedrock 上原生使用。在测量了节省效果的项目中,token 支出下降了约 40–85%。结果因各客户的工作负载而异,可能有所不同。为保护客户机密,Accenture 未披露客户名称。

归因优先:在业务层面衡量成本

在优化任何东西之前,你需要看清消费发生在哪里、由谁负责,以及它产生了什么业务价值。团队、工作负载和 agent 级别的成本分配标签,是将消费与可问责的负责人、并最终与业务成果关联起来的前提条件。你通过 Amazon Bedrock 应用程序推理配置文件(application inference profile)来应用它们,每个应用程序或工作负载一个配置文件,并按团队、成本中心和环境打上标签。在 AWS Billing and Cost Management 控制台中将这些标签激活为成本分配标签后,你就可以用这些标签追踪哪些团队、应用程序和 agent 在推动支出。它们还使衡量你所引入的每项改动的影响成为可能。

三个 AWS 服务提供底层遥测。通过 AWS Data Exports 交付的 AWS Cost and Usage Reports(CUR 2.0)负责财务归因,在你的成本分配标签激活后,按工作负载和团队分解计费的推理成本。Amazon CloudWatch 捕获调用次数和延迟等运营信号。Amazon Bedrock 模型调用日志记录请求级细节,包括所使用的模型以及每次调用的输入和输出 token 数量。

仅有遥测还不够。工程师可以在仪表盘上读取每次调用的成本,但产品负责人和项目领导者需要一个用业务语言表达的指标。Accenture 的每业务交易成本(Cost per Business Transaction,CpBT)框架弥合了这一差距。CpBT 将促成一次成功业务产出的所有模型调用、重试、工具调用和 agent 交接汇总为一个完全加载的成本数字。它揭示了产出一个结果的真实成本,包括原始 token 定价所隐藏的失败尝试。将 CpBT 与每个工作流交付的业务价值对照追踪,可以区分反映规模化成功的账单增长与反映浪费的账单增长。

六个优化杠杆

这六个杠杆的目标并不是不惜一切代价最小化 token。而是使用恰当数量和层级的智能,以合适的成本、质量和风险交付每一项业务成果。这些杠杆按变更的复杂度和所需投资分为三个阶段。AWS 和 Accenture 建议按顺序逐个阶段推进,你也可以将每个阶段独立应用于最能产生影响的那些工作负载。

阶段 1:仅配置,无基础设施变更

文章标题:借助 Accenture 的分阶段方法优化 Amazon Bedrock 上的 AI 经济效益

借助 Amazon Bedrock 的提示缓存(prompt caching),模型可以复用请求中重复出现的提示内容,例如系统指令、工具定义和参考文档,因此你无需再为处理相同内容支付全价。Amazon Bedrock 会存储先前计算过的提示前缀的键值状态,并设计为在后续请求中跳过重新计算。对于支持的模型,这一机制旨在将缓存输入 token 的成本降低最多 90%(参见 Amazon Bedrock Prompt Caching)。

Amazon Bedrock 批量推理(batch inference)以异步方式将非紧急工作负载作为一组进行处理,对于特定模型,其成本比按需定价低 50%(参见 Amazon Bedrock Pricing)。你以批处理作业的形式提交推理请求,处理完成后结果会写入 Amazon Simple Storage Service(Amazon S3)。批量推理适用于夜间报告、文档处理管道以及不需要立即响应的评估运行。

这两种手段都会为现有设置增加配置。提示缓存需要在提示中加入缓存检查点标记,批量推理则需要将符合条件的请求作为批处理作业提交,而不是调用按需 API。将缓存应用于交互式按需流量,将批量推理应用于异步工作。两者都不需要新的基础设施或架构变更。

阶段 2:架构变更

Amazon Bedrock 智能提示路由(intelligent prompt routing)将请求分发到同一模型系列内的多个模型,根据每项任务的业务价值、复杂度和风险所要求的智能水平进行匹配,而不是将每个请求都默认交给最强大的模型。智能提示路由可在不牺牲准确率的情况下将成本降低最多 30%(参见 Amazon Bedrock intelligent prompt routing)。路由相关费用请查阅 Amazon Bedrock Pricing。在以下项目中,Accenture 的模型分层与分流路由(model tiering and triage routing)应用了同样的路由手段。

检索增强生成(RAG)优化会调整 RAG 流程中的检索步骤,使更少的无关上下文 token 进入模型。分层分块、基于元数据的过滤和重排序等技术会将检索到的上下文收窄到最相关的分块,因此你主要为之付费的是能够改善答案的内容。

有两种互补的 Accenture 模式与这些 AWS 原生手段配合使用。上下文范围限定(context scoping)将每个 agent 接收的数据限制为与其工作流步骤相关的文档切片,而不是在每次交接时传递完整案例上下文。上下文压缩(context compression)在文档进入模型之前对其进行摘要或过滤。两者都能减少输入 token 量,尤其是在多 agent 链路中。

阶段 3:基础设施与训练投入

语义缓存(semantic caching)会存储响应,并在新请求与已应答过的请求语义相似时复用这些响应,即使措辞不同。这避免了重复的模型调用,同时降低成本和延迟。在 AWS 上,你可以在模型前面使用诸如 Amazon ElastiCache 之类的向量存储来实现它。在一项针对 63,796 条真实聊天机器人查询的 AWS 基准测试中,0.90 的相似度阈值带来了 74.5% 的缓存命中率、92.3% 的准确率和 72.5% 的成本节省(参见 ElastiCache semantic caching benchmarks)。在应用路由和语义缓存时,请在每条路由上保留 Amazon Bedrock Guardrails,并设置语义缓存过期时间,以免用户收到过时的答案。

模型蒸馏(model distillation)将知识从大型教师模型迁移到更小、更快的学生模型。Amazon Bedrock 中的蒸馏模型比原始模型快最多 500%、成本低最多 75%,对于 RAG 等用例准确率损失不到 2%。蒸馏最适合稳定、高吞吐量的工作负载,即交易量足以证明训练投入合理的工作负载。

生产环境:四个客户项目

文章标题:Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach

正文: Accenture 在四个客户项目中运用了这些杠杆。每个项目针对不同的成本模式。在其中两个项目中,Accenture 同时应用了多项变更,因此这些结果反映的是综合效果,而非任何单一杠杆的作用。

第一个项目是一个大型企业部署,其中每个请求都发送到前沿模型,没有缓存、模型分层或批处理。Accenture 同时应用了三项变更:模型分层,将每项任务匹配到能够很好处理它的最小模型;针对重复上下文的提示缓存;以及对夜间和非紧急任务进行批处理。三者合计将每月 token 成本降低了 85%,且节省额未按变更拆分。约 15% 的任务仍需要顶级模型来完成困难的开放式推理,其余任务则在较轻量模型上运行。你的分配比例将取决于你的工作负载构成。

第二个项目是一家电信运营商,年度 token 支出为 1200 万美元。其中大部分支出源于智能体无限制地分发请求,以及无论复杂度如何每个请求都发送到前沿模型。Accenture 同时应用了分诊路由、语义缓存和上下文压缩。输入 token 下降了 70%,年度 token 支出从 1200 万美元降至 380 万美元,降幅 68%。Accenture 依据该运营商变更前的性能基准验证了输出质量。

第三个和第四个项目各自应用了单一缓存层。一家保险公司使用了模型层前缀缓存,在多次调用之间复用其提示中的静态部分。一家矿业运营商使用了应用层语义缓存,在重复查询到达模型之前返回已存储的响应。在这两个项目中,token 支出合计下降了约 40%,且未进行模型路由变更或训练投资。

结果

结果范围从约 40% 到约 85%,反映了每个客户的起点。大型企业部署开始时未实施任何优化,达到了 85%。电信运营商在 1200 万美元年度 token 支出上达到了 68%,保险公司和矿业运营商各使用一个缓存杠杆,合计达到了约 40%。结果因每个客户的工作负载而异,可能会有所不同。

这些节省并非最终目标。它们创造了扩展 AI 工作负载、再投资于更高价值用例以及提高每美元 AI 消费所产生回报的能力。其中两个项目同时应用了多项变更。当你一次应用一个杠杆时,你可以将每个结果归因于特定变更。AWS 和 Accenture 建议对你自己的工作负载采用以下顺序:将消费与负责人和成果关联起来,一次应用一个杠杆,衡量成本、质量和业务价值,并在行之有效的做法上继续构建。

生产治理:四项运营原则

在生产环境中优化 AI 经济性需要一个持续的治理周期,涵盖成本、质量、风险和业务价值,而非一次性的技术变更。在应用任何杠杆之前,为成本和质量建立量化基线,以便你能够对照已知起点衡量每项变更的影响。在验证输出质量时,使用从你实际生产流量中抽取的留出评估集,而非合成基准。对每个工作负载一次应用一个杠杆,以便你可以将结果归因于特定变更,并在质量降至可接受阈值以下时干净地回滚。如果你在金融服务、保险或医疗等受监管行业运营,请将你的质量测试结果和回滚程序记录为标准变更管理记录的一部分。

文章标题:借助 Accenture 的分阶段方法在 Amazon Bedrock 上优化 AI 经济性

正文: 无论你正在使用哪些优化杠杆,或处于分阶段推进的哪个阶段,这四项原则都适用。Amazon Bedrock AgentCore 是一个环境,你可以使用任意框架或模型在其中大规模构建、连接和优化智能体。它包含 AgentCore Evaluations,这是 Amazon Bedrock AgentCore 的一项能力,提供批量评估,以支持你在推进更高级杠杆时的质量验证周期。

入门

你可以从三个步骤开始。第一,通过在团队和工作负载层面应用成本分配标签,为 Amazon Bedrock 开启成本归因,使你的支出从第一天起就可追溯。第二,在 AWS Billing and Cost Management 控制台中激活这些标签。然后使用 CUR 2.0 和模型调用日志来识别高消耗工作负载,并根据支出、业务价值、质量要求、风险、用量和优化潜力对每个工作负载进行评估。第三,将 Amazon Bedrock prompt caching 应用于该工作负载的交互式流量,并将 Amazon Bedrock 批量推理应用于其异步任务,这些都属于仅配置变更,在进入第 2 阶段的架构变更之前先衡量结果。

AWS Well-Architected Agentic AI Lens 包含模型调用与 token 成本优化(AGENTCOST02),这是智能体工作负载成本优化支柱下的一个重点关注领域。该重点关注领域提供了一个结构化框架,你可以用它在整个组织中大规模应用这些杠杆。

关于作者

资源

  • 入门

博客主题

  • Amazon Bedrock
  • Amazon Comprehend
  • Amazon Kendra
  • Amazon Polly
  • Amazon Rekognition
  • Amazon SageMaker
  • Amazon Textract

关注

  • 电子邮件更新

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗