Stretto 如何借助 Amazon Nova 2 Sonic 构建 AI 语音代理
本文与 Stretto 的 Danya Gordin 和 CI&T 的 Marcelo Wzorek 共同撰写。
在 Stretto 构建 AI 语音代理之前,在其 Bankruptcy.com 网站上考虑破产的消费者会填写一个包含几个字段的网页表单:债务金额、律师状态和联系信息。这些由表单生成的线索利润空间很薄。
网页表单线索与完全合格线索之间的差距很大。破产律师更看重包含详细财务数据的线索:债务、资产、车辆、房地产、就业经历和过往申请记录。网页表单本可以扩展以收集这些细节,但表单越长,中途放弃的访客就越多。电话访谈本可以自然而然地引出这些信息,因为人们在交谈中更愿意分享财务敏感细节,但组建并培训一支人工接洽团队来执行这些访谈,成本高得令人望而却步。
Stretto 看到了一个机会:用 AI 语音代理取代网页表单,由该代理通过电话进行接洽访谈。代理会以对话方式引导来电者完成完整的破产问卷,并实时提取结构化数据。然后,它会根据律师定义的规则对线索进行分类,以支持律师决策。
挑战在于找到一种语音 AI 解决方案,能够以低延迟、干净利落的打断处理和情绪感知,自然地处理敏感的财务对话,并且成本能让单位经济效益成立。
在本文中,我们介绍 Stretto 如何与 AWS Generative AI Innovation Center 和 CI&T(AWS Partner)合作,构建 Tara——一个由 Amazon Bedrock 中的语音到语音模型 Amazon Nova 2 Sonic 驱动的 AI 语音代理。Tara 进行多阶段的破产接洽访谈,并根据律师定义的规则对线索进行分类。我们介绍架构、从验证到生产部署的分阶段构建过程,以及团队如何测试敏感对话的语音质量。
解决方案概述
Tara 是一款 AI 语音代理,通过电话进行破产接洽访谈。当来电者拨打 Bankruptcy.com 的号码时,Tara 会接听,自我介绍,并引导来电者完成一段结构化对话。她会收集个人信息、财务细节、资产清单和就业经历,同时根据来电者的情绪状态调整语气。通话结束时,Stretto 的系统会应用律师定义的规则,将线索分类为合格、不合格或需要更多信息以供律师审核。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
该解决方案构建在 Amazon Nova 2 Sonic 之上,这是一种可通过 Amazon Bedrock 使用的语音到语音基础模型(FM)。它在单个模型中原生处理语音输入并生成语音输出,而不是串联独立的语音转文本、语言模型和文本转语音组件。该架构旨在降低延迟并产生听起来更自然的对话,这两点对于破产受理电话的敏感性都至关重要。基于 Amazon Bedrock 构建,使团队通过一个托管服务同时获得 Amazon Nova 2 Sonic 和 Anthropic 的 Claude,无需运行模型基础设施。它还将 AWS 安全与治理控制引入到处理敏感财务数据的工作负载中。对两个模型的访问由 AWS Identity and Access Management(IAM)管理。发往 Amazon Bedrock 的流量通过虚拟私有云(VPC)端点(AWS PrivateLink)保留在 AWS 网络上。Amazon Bedrock 不会使用提示或模型输出来训练模型(详情请参阅 Amazon Bedrock 中的数据保护)。由于这些模型与语音桥接、数据库和 Amazon CloudWatch 监控运行在同一个 AWS 环境中,团队可以用一套工具保护并运营整个解决方案。Amazon Nova 2 Sonic 和 Amazon Bedrock 并非在所有 AWS 区域都可用。有关当前的区域可用性,请参阅 Amazon Bedrock 支持的区域。
团队选择 Amazon Nova 2 Sonic 而非之前的语音解决方案,原因有三:
- 成本:Stretto 报告称,基于截至 2026 年 4 月 us-east-1 的 Amazon Bedrock 按需定价,与之前的解决方案相比,每分钟语音成本
文章标题:Stretto 如何用 Amazon Nova 2 Sonic 构建 AI 语音代理
正文:
- Amazon Nova 2 Sonic(通过 Amazon Bedrock):为 Tara 的语音对话提供支持的语音到语音基础模型。它在单次处理中同时完成语音识别和响应生成,支持工具调用,以便在访谈过程中进行结构化数据收集。
- AWS Fargate 上的 Amazon Elastic Container Service(Amazon ECS):一个无服务器计算引擎,运行连接电话层与 Amazon Nova 2 Sonic 的语音桥接容器。语音桥接任务跨三个可用区持续运行,以实现高可用性。
- Amazon Aurora Serverless v2:一个以 Multi-AZ 配置部署的、兼容 PostgreSQL 的无服务器关系数据库。存储来电者档案、信息采集响应、资格判定结果和会话元数据。Aurora 的无服务器扩缩容能力与可变的通话量模式相匹配。
- Amazon Bedrock(Anthropic 的 Claude 3 Haiku):负责从对话转录文本中进行结构化数据提取。在 Amazon Nova 2 Sonic 生成转录文本后,Claude 3 Haiku 将类型化字段(姓名、金额、地址、车辆详情)提取到关系模式中。
- 带死信队列的 Amazon Simple Queue Service(Amazon SQS):管理通话后事件的异步 webhook 处理,保留失败消息以便重试。
- AWS WAF、VPC Endpoints 和 Application Load Balancer:安全与网络层,帮助保护 API 端点、跨可用区路由流量,并提供到 AWS 服务的私有连接。
构建并验证语音代理
团队采取了分阶段的方法:先验证语音质量,再构建生产集成,然后在系统经过真实来电者验证后扩大问卷范围。
为敏感对话验证语音质量
破产相关的对话情绪浓烈。来电者往往压力大、犹豫或感到难堪。语音代理需要听起来有同理心且自然,而不是机械或公事公办的。在编写任何集成代码之前,团队专门花了一周时间,针对多种来电者场景测试 Amazon Nova 2 Sonic 的语音质量。
验证覆盖了:
- 来电者不同情绪状态(平静、紧张、犹豫、沮丧)下的语音质量。
- 与之前解决方案超过 500 ms 基线相比的首音频延迟基准。
- 打断与抢话处理:来电者能否在句子中间插话而不破坏对话?
- 情绪语调适应:当来电者听起来痛苦时,代理是否会调整语速和语调?
这一验证步骤产出了一份对比报告,记录了 Amazon Nova 2 Sonic 在每个维度上相对之前解决方案的表现。该报告成为是否进入集成阶段的 go/no-go 关卡。
与真实来电者一起部署到生产环境
语音质量验证完成后,团队用三周时间构建了端到端集成。通话流程如下:
- 来电者拨打 Bankruptcy.com 的号码。Twilio 的电话层接听来电,并打开一个 WebSocket 连接,连到运行在 AWS Fargate 上的 Amazon ECS 中的语音桥接。
- 语音桥接在来电者与 Amazon Nova 2 Sonic 之间双向流式传输音频。Tara 自我介绍、收集同意,并开始信息采集访谈。
- 通话结束后,完整转录文本流入由 Amazon Bedrock 上 Anthropic 的 Claude 3 Haiku 驱动的提取流水线。该流水线从对话中提取字段并将其存储到 Amazon Aurora 中。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
Stretto 如何借助 Amazon Nova 2 Sonic 构建 AI 语音代理
完整的由律师设计的接案流程需要 15–20 分钟,长于单次 Amazon Nova 2 Sonic 流式会话的最长时长(当前数值参见 Getting started with speech-to-speech)。团队将该会话时长视为设计参数,并实现了会话延续模式,这种模式可跨会话边界保留对话上下文。语音桥接会跟踪每个与 Amazon Nova 2 Sonic 的双向流已打开多长时间。在接近上限前不久,它会使用相同的系统提示和工具配置打开一个新流,并将此前的对话作为文本历史发送。当 Tara 完成其当前回复后,桥接会将呼叫者的音频切换到新流并关闭旧流,因此对呼叫者而言对话可以平滑继续。
初始部署覆盖了现有的 13 字段接案表单,收集与网页表单相同的数据点,但通过自然对话完成。这为团队在扩大范围之前提供了一个可衡量的生产基线。
扩展接案范围与潜在客户资格筛选
随着生产试点运行,团队在四周内将问卷扩展到完整的由律师设计的接案流程。这是范围上的显著增加:
- 超过 18 个接案类别,并带有条件分支,其中 Tara 所问的问题取决于呼叫者之前的回答。
- 复杂的关系型数据:车辆(每辆车的年份、品牌、型号、融资状态、月供)、房地产、个人债务明细项目、多个就业和收入来源,以及既往破产申请。
- 基于规则的潜在客户排序:Stretto 对每个潜在客户应用律师定义的规则,由律师做出最终决定。由于语音代理比静态网页表单收集更丰富、带条件的数据,这使 Stretto 在应用这些规则和准确判定潜在客户资格方面拥有更大灵活性。
- 潜在客户路由:合格的潜在客户被路由给破产法律从业者,而不符合资格标准的呼叫者则被引导至其他资源。
Amazon Aurora schema 扩展为完整的关系型数据模型,支持一对多关系。单个呼叫者记录可能包含四辆车、两处房产以及数十条个人债务明细项目。
衡量结果并优化
最后阶段的重点是收集生产数据,并根据真实呼叫者行为调整系统。团队跟踪了关键绩效指标,包括通话量、平均时长、接案完成率、资料完整度、转化率和流失点。
来自生产数据的洞察推动了多项优化:重新排序问题以减少早期流失,调整条件分支以便在对话更早阶段收集高价值字段,并根据律师反馈修改资格阈值。下表展示了两项关键生产指标。
| 平均通话时长(已完成的通话) | ~8 分钟 |
|---|---|
| 数据提取准确率 | ~96% |
测试质量与合规性
部署处理敏感财务数据的语音代理需要的不仅仅是功能测试。AWS Generative AI Innovation Center (GenAIIC) 顾问团队指导开发了一个全面的测试框架,涵盖四个类别:
- 正常路径测试:与配合的呼叫者完成完整的端到端接案访谈,覆盖整个问卷。这些通话确认超过 18 个类别能收集准确的结构化数据,并且资格规则产生正确结果。
- 对抗性测试:呼叫者提供矛盾信息、在对话中途更改答案、拒绝回答某些问题,或试图操纵资格结果。代理需要处理这种模糊性并保持对话连贯。
- 合规测试:同意收集、披露信息交付和数据处理工作流。团队验证了该代理能够准确交付披露信息,并在继续之前收集同意,因为破产申请受理涉及敏感财务信息。
- 插话场景测试:来电者在对话的不同节点打断,包括在披露期间、问题中途以及代理回答期间。Tara 应能在不丢失上下文的情况下恢复,且不要求来电者重复信息。
生产环境中的负责任 AI 控制
团队将负责任 AI 视为一项生产控制措施,而不仅是测试步骤。Amazon Nova 2 Sonic 包含内置安全保护,相关说明见 Amazon Nova 2 Sonic 的 AWS AI Service Card。在此基础上,该解决方案将重大决策排除在模型之外:潜在客户排序在通话后依据律师明确制定的规则运行,并由律师做出最终决定。同意和披露信息在受理开始前交付并记录,对抗性测试套件会检查试图操纵对话的行为不会改变潜在客户结果。除模型推理外,该解决方案使用 Amazon Bedrock 双向流式 API 处理实时音频,使用工具调用在访谈期间捕获结构化数据,并通过 VPC 端点建立到 Amazon Bedrock 的私有连接。
GenAIIC 顾问团队还就语音专用应用的提示工程最佳实践提供了指导,包括跨会话延续边界管理对话状态,以及构建在长时间访谈中保持代理个性一致的系统提示等技术。
结果
在生产环境中运行约三个月后,Stretto 报告了以下结果:
- 单条潜在客户价值:与仅采集少数基本字段的网页表单线索相比,拥有完整受理数据的完全合格潜在客户对破产律师的价值显著更高。
- 潜在客户转化:Stretto 的早期生产结果表明,即使该解决方案尚未在更多地区广泛推广,转化率相比网页表单也实现了 20% 的相对增长。
- 数据质量和通话时长:Stretto 报告,Tara 在其测试中以约 96% 的准确率提取结构化字段,完成的通话平均约 8 分钟。
- 语音解决方案成本:Stretto 报告,与之前的解决方案相比,每分钟语音成本降低了 95%。
“我非常感谢 AWS GenAI Innovation Center 团队。他们的专业知识帮助我们的语音代理 Tara 落地,推动我们的潜在客户转化率提升了 20%。” — Danya Gordin,Stretto 首席 AI 架构师
“我非常感谢 AWS GenAI Innovation Center 团队。他们的专业知识帮助我们的语音代理 Tara 落地,推动我们的潜在客户转化率提升了 20%。”
— Danya Gordin,Stretto 首席 AI 架构师
“作为 AWS Generative AI Partner Innovation Alliance 的合作伙伴之一,我们可以确认,GenAIIC 计划是真正的催化剂,将客户和合作伙伴聚集在一起,解决实际问题并带来业务影响。对 Stretto 而言,这意味着在数周内将语音代理投入生产,并改造破产申请受理流程” — Marcelo Wzorek,CI&T 执行经理
“作为 AWS Generative AI Partner Innovation Alliance 的合作伙伴之一,我们可以确认,GenAIIC 计划是真正的催化剂,将客户和合作伙伴聚集在一起,解决实际问题并带来业务影响。对 Stretto 而言,这意味着在数周内将语音代理投入生产,并改造破产申请受理流程”
— Marcelo Wzorek,CI&T 执行经理
结论
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
Stretto 从网络表单线索转向 AI 辅助的客户信息采集面谈,这一历程说明了当语音 AI 达到敏感用例所要求的质量水准时,哪些事情成为可能。通过把 Amazon Nova 2 Sonic 的语音到语音能力与 AWS 上精心设计的架构结合起来,团队构建了一个语音 agent,它足够自然,能让来电者谈论个人的财务困境,同时成本也足够低,可在规模化场景下带来可观的节省。
分阶段推进的方式——先验证语音质量,再把最小化的信息采集流程部署到生产环境,然后依据真实世界数据扩大范围——降低了每一步的风险。团队依据的是经过验证的假设,而非预测。
如果你正在为自己的用例探索 AI 语音 agent,这里有一些入门资源:
- 了解 Amazon Nova 2 Sonic 与语音到语音能力。
- 从 Amazon Bedrock 入手,访问包括 Amazon Nova 2 Sonic 在内的基础模型。
- 探索 AWS Fargate,用于容器的无服务器计算。
- 了解 AWS Generative AI Innovation Center,获取针对你的生成式 AI 项目的咨询支持。
如果你正在为一个敏感且高价值的信息采集流程权衡语音 AI,你的 AWS 客户团队和 AWS Generative AI Innovation Center 可以帮助你界定范围并构建它。