今天,我们很高兴宣布推出 ThunderPhone v3,其核心是 Zeus——一个首创的、面向语音 AI 的完全智能体化框架。
仅在美国,电话通话每年就影响超过 1 万亿美元的消费者支出,但企业处理电话通话的现有方式存在严重局限。
人工呼叫中心非常昂贵,导致许多用例无法负担,也让企业为通过电话处理日常事务付出数十亿美元的运营成本。
人工呼叫中心还有其他显著问题,包括:
- 任意时刻的人员编制都是固定的,当通话量上升时,会让客户经历极其难熬的等待时间。
- 质量和对规则的遵守不一致,这意味着同一家企业的两通电话可能得到非常不同的体验。
- 高摩擦和高惯性:招聘和培训人员耗时很长,因此要改变呼叫中心为特定企业所做的工作,需要付出巨大的成本和努力。
对许多用例来说,AI 提供了好得多的解决方案。其成本仅为呼叫中心人力成本的一小部分,可以随意扩缩容,每通电话都遵循相同规则,并且规则可在瞬息之间更改。
这些优势多年来推动了 AI 驱动通话的采用,但结果通常令客户不满意。电话 AI 系统经常听错来电者的话,以无帮助的方式回答,并以不自然、令人不适的方式进行对话。
这些问题在几年前甚至更严重,随着最新一代生成式 AI 驱动的系统已经有所改善,但由于当前语音 AI 技术栈的局限,仍有很大的改进空间。
很大一部分问题在于行业向“三步流水线”靠拢:电话 AI 通过转录模型将用户音频转成文本,用 LLM 生成对该文本的响应,最后用 TTS(文本转语音)模型将 LLM 的文本响应转成音频。
- 01 转录模型 输入通话者音频,输出文本 转录错误 音频变成单一最佳猜测转录文本
- 02 LLM 输入文本,输出响应 速度与准确性 快速 LLM 常犯错;慢速 LLM 要花很多秒
- 03 文本转语音模型 输入响应,输出音频
不幸的是,这种方法有一些非常大的问题,其中包括两个最大的问题:
- 转录模型不可避免地会犯一些错误。因为它们接收丰富的音频信号,并将其压缩成文本形式的单一最佳猜测转录文本,所以会剥离除单一最佳猜测转录文本之外的所有信息。如果转录文本有误,通常没有足够信息让 LLM 猜测正确的转录文本原本可能是什么。
- LLM 目前受困于速度与准确性之间的高风险权衡。快速 LLM 可以敏捷地处理语音对话,但经常犯错。慢速 LLM 错误更少,但响应要花很多秒,这对电话通话不可接受。
由于这些权衡,要为任何给定类型的、由三步流水线驱动的通话选择正确的转录模型和 LLM,是一项非常棘手的任务。有些转录模型更快但错误更多,有些难以处理特定语言或短语音片段;每个缺陷在某些通话中比在其他通话中更重要。而且任何基于三步流水线的技术栈都不可避免地存在一些问题:转录模型带来的音频理解错误,以及 LLM 的指令遵循错误和其他异常行为——即使为该任务选择了尽可能最好的转录模型和 LLM。
由于其基于轮次的特性,三步流水线也很难让对话对用户来说显得自然。
更新一代的语音到语音模型架构正越来越受欢迎,但它也带来了不同的取舍。语音到语音模型在对话中通常感觉自然得多,并且在音频理解上有时(尽管并非总是)比三步流水线更准确。然而,语音到语音模型在指令遵循和工具调用方面仍然表现非常不可靠,整体行为也不稳定,这使得它们在商业电话通话中风险较高。
在 ThunderPhone,我们采取了一种完全不同的方法,它在性能上优于三步流水线或语音到语音模型。
我们通过做两件事来实现这一点:运行一种复杂、可配置的架构,在任意给定通话中同时使用显著多于 3 个模型来提供支持;并通过 AI 动态优化该系统,从每通电话中榨取尽可能最佳的性能。
首先是架构。
首先,我们发现要让 AI 电话通话可靠地运行,需要的模型远比典型的三步流水线多得多。
为确保正确听清来电者所说内容,我们通常会同时运行多个、甚至许多个转写模型,并且还经常将音频直接传给一个或多个 LLM——以音频而非文本形式发送有其自身缺点,但可以成为基于文本的转写的有力补充。
在 LLM 侧,我们也组合多个模型,例如在同一对话中同时运行一个更快的 LLM 和一个更慢的 LLM,以结合速度与准确性;并根据对话当时的状态,动态切换由哪个模型处理每个对话轮次。
最后,我们还组合多个模型来优化对话处理性能,例如噪声消除与识别、说话人分离、轮次开始与结束检测等——在这些任务上也远超任何单一模型的表现。
我们也越来越多地将语音到语音模型与旁路的其他模型融合,以把语音到语音模型的自然度与基于文本的模型的可靠性结合起来。
我们还提供覆盖 62 种语言的广泛语音库,当来电者切换语言时,智能体也会在通话中切换语言。平台语音由 Inworld 提供,是最便宜的选项;来自 Cartesia 和 ElevenLabs v4 Turbo 的高级语音每分钟贵几美分。语音是在自然度与稳定性之间取舍:听起来更自然的语音更容易出现发音错误和幻觉,尤其是在数字和字母上。Zeus 帮助您为通话选择正确的取舍。
我们结合开源与商业模型,并在有帮助的地方对其进行微调。
借助这些方法,我们让 AI 语音智能体犯下的错误显著少于我们迄今为止见过的任何三步或语音到语音系统。
ThunderPhone 已经在 Big Bench Audio 上持有最高分 99.4%,并为企业的数千通真实客户电话提供服务。更多基准测试即将推出,包括我们内部评测的公开版本。
此外,借助这种复杂架构,我们能够在质量与可靠性、延迟(响应速度)和通话成本之间智能权衡,针对每个业务用例的需求进行优化。
当然,这一切的缺点是复杂性。优化所有这些部分工作量很大!在 Zeus 之前,我们通过两种方式来做这件事:
- 为自助服务客户提供 3 个预置技术栈——Spark 针对成本优化,Bolt 针对速度,Storm 针对智能。
- 为企业客户定制构建技术栈。
然而,我们意识到预置技术栈很少能恰好适合任何给定用例——就像 3 个尺码的成衣西装无法完美适合大多数客户一样。
另一方面,我们此前手工调优的企业级技术栈在其用例中性能极高。缺点是我们需要投入大量精力才能调对,但我们最终意识到,我们在为每个企业级技术栈做类似的优化流程。
随后我们意识到,可以训练一个 AI 来替我们完成这项工作。于是,Zeus 诞生了。
在 v3 中,Spark、Bolt 和 Storm 已退役。现在每个 agent 都运行在统一的 v3 架构上,并由 Zeus 针对你的用例进行调优。
Zeus 是面向语音 AI 的全自主 agentic harness:一个能为你构建、测试和调优语音 agent 的 AI agent——可以把它理解为面向你的电话通话的 Claude Code。
Zeus 能够将模块化的 ThunderPhone 架构配置到你的确切用例,针对你的具体业务需求和优先级最大化语音 agent 的性能,无论是最大化转化率、最小化挂断、降低每通电话的成本,还是上述多项的组合乃至更多。
Zeus 通过“全闭环”方式实现这一点,帮助你覆盖语音 agent 的完整生命周期:
- 从零创建它:与你讨论业务需求,并允许你编辑 prompt;和/或导入呼叫中心录音、脚本和 SOP;或者一键从 Vapi、Retell、Bland 或 ElevenLabs 导入现有语音 agent,由我们的 AI 端到端处理导入。
- 通过强大的 AI 连接到 VoIP 和软件集成,让即使最复杂的集成也能轻松设置。
- 通过手动方式以及基于文本和音频的模拟来测试语音 agent,帮助在问题于真实通话中出现之前就发现它们。
- 自动识别真实通话中的问题,并自动提出解决方案建议并提供 A/B 测试,随时间推移提升通话表现。
由你决定 Zeus 获得多少自主权:让它在每次更改前询问,或者让它放手去做。
我们作为软件工程师与 Claude Code 和 Codex 紧密合作,这对我们创建 Zeus 的方式产生了很大启发。遗憾的是,Claude Code 和 Codex 这类工具在配置和优化语音 agent 方面,明显不如它们在构建标准软件时那么出色,原因有几点:
- 它们大量基于文本数据(尤其是代码)训练,而在音频数据上的训练少得多。它们确实训练过的音频数据往往来自 YouTube 之类的地方,而较少来自真实呼叫中心对话,导致在给它们真实通话数据时出现性能差距。
- 关于如何让 AI 在电话通话中表现良好的知识,在互联网上只能零散获取。此外,互联网上不幸还存在大量关于语音 AI 系统性能的虚假或误导性营销宣传,而 AI 往往盲目相信这些说法,并在你要求它构建语音 agent 时遵循这些“知识”——导致表现不佳。
- 与代码不同——代码通常具有内在闭环,因为 agent 通常能直接在计算机上识别它是否有效——编码 agent 目前对语音 agent 并不具备闭环,因为它们无法开箱即用地运行真实(甚至模拟)通话,而且它们在发现真实通话中的问题方面非常糟糕。因此,Claude Code、Codex 等往往反复折腾,在解决 AI 语音 agent 的问题和提升其性能方面表现很差。
借助 Zeus,我们克服了这些问题,实现了类似 Claude Code 的体验,方法是让 Zeus 访问几个重要的信号来源:
我们不会盲目采信关于不同 AI 模型在语音 AI 应用中能力的营销宣传,而是基于真实通话数据进行大量内部评测,衡量技术栈各部分(转录、LLM 等)的模型在任何给定时间在真实通话上的最佳表现,以及它们彼此之间的权衡。(例如模型 A 更快,模型 B 更聪明)
Show HN: Zeus – 面向 AI 语音代理的 Claude Code
过去两年构建语音 AI 系统的过程中,我们积累了关于如何最好地优化这些系统的大量实践经验,也通过提示词、防护规则、工具等形式,把这些知识对 Zeus 进行了大量“训练”。
我们为 Zeus 配备了一系列通话专用工具,包括识别生产通话中真实问题的能力,以及在各种具有挑战性的情境中模拟通话的能力。二者结合,使 Zeus 能够“闭环”:配置语音代理并确认它们确实有效,就像编码代理在宣布代码完成前先运行测试一样。
你自己的通话。Zeus 会从你的真实对话如何进行中学习,并在提出新配置之前,用你过去的通话对新配置进行回测。
通过这种方法,我们发现 Zeus 已经成为一种更简单、更灵活的方式,可在多种用例中让电话通话取得出色表现。
除了其他优势外,让 Zeus 优化电话通话还能带来成本效率。Zeus 会同时考虑在每个用例上达到所需性能所必需的最便宜技术栈,以及每个用例的单位经济效益和业务需求,这意味着不再需要为让简单通话良好运行而用过强的技术栈多付钱。
Zeus 会自动使用以下三种策略之一来优化通话成本:
- “不惜一切代价让通话顺利进行”——无论是 2c/min、8c/min,还是复杂困难用例的 15c/min。Zeus 会先根据模拟通话估算你的每分钟成本和每次通话成本,并与你一起调整,直到配置合理,然后在你最初的几次真实通话中微调到位。你可以随时添加硬性上限。
- 对每分钟价格、每次通话价格等设置硬性上限。
- 单位经济效益优化,例如以最大化转化价值减去通话成本为目标进行优化。
ThunderPhone 采用成本加成定价:你为每次通话所使用的内容支付我们供应商的价格,加上我们的托管成本,再加上我们的利润。对于成本为每分钟 1¢ 或更低的通话,我们的利润为你支付金额的 17%;对于成本为每分钟 15¢ 或更高的通话,这一比例逐步升至 25%。我们是自力更生且已盈利的,没有接受风险投资,因此与许多竞争对手不同,薄利润是我们能够做出的选择,而不用看 VC 的脸色。
我们的每分钟价格不包括电话通信。我们鼓励你自带运营商,这不会增加 ThunderPhone 费用。我们也可以提供美国电话号码,每个每月 $1,Telnyx 的运营商分钟数按标价转售(呼入 0.35¢/分钟,呼出 0.5¢/分钟),适用同样的成本加成条款。
Zeus 目前暂时免费,但最终会收费。我们打算最终发布一个保持免费的轻量版 Zeus,对完整版 Zeus 采用按用量和/或订阅定价,并提供自带 OpenAI 或 Anthropic 密钥的选项。Zeus 运行的模拟通话会像任何其他测试通话一样计费。
凭借我们系统能够做出的优化,以及会自动反映到你通话中的供应商降价,我们相信,即使你从头自建技术栈,与 ThunderPhone 的价格相比,你也很难在通话上省下钱。
我们还能够为企业用例提供更低价格,并进行更广泛的优化,包括针对特定高通话量场景微调模型——价格可以低至 1c/min 甚至更低。我们还为企业客户提供其他选项,包括定制实现和集成、定制合规和数据驻留需求等。请联系 [email protected] 了解更多企业方案。
ThunderPhone 现在可通过多种界面使用:
我们的 Web 应用,完整 Zeus 体验所在之处。
Claude Code 和 Codex 插件,或任何连接到我们 MCP server 的编码代理;它们会给你自己的代理提供 ThunderPhone 的工具,其中许多工具与 Zeus 使用的是同一批。
LiveKit Agents 和 Pipecat,它们可以将 ThunderPhone 作为其语音到语音模型来运行。
我们的 API,让你可以广泛地自定义使用 ThunderPhone 的方式。
ThunderPhone 同时支持电话和网页/应用通话。
在电话方面,ThunderPhone 处理真实部署所需的电话通信细节:暖转接、冷转接和耳语转接;语音信箱和来电筛选检测;DTMF;带有可送达性工具的外呼活动,例如主叫号码注册和垃圾标记监控;以及更多。
而在网页/应用使用方面,你可以使用 ThunderPhone 内置的小组件功能,把你的语音 agent 集成到任何你想使用它们的地方。
ThunderPhone 支持 HIPAA 和 GDPR 合规,Zeus 可以帮你入门这两者。
我们相信语音 AI 的未来与 Zeus 非常相似——试一试,告诉我们你的想法。Zeus 仍是一个早期产品;如果你遇到任何问题,或希望某些体验以不同方式运作,请告诉我们,我们会尽快修复。