文章标题:Google Duplex 如何演进到在 Gemini 中也能为你致电商家
正文: 完成诸如预订晚餐或预约理发之类的任务很耗时。实时电话对话节奏很快,很少按脚本进行。电话那头的人几乎什么话都可能说出口,常常话说到一半又改变想法——而且人们往往依赖细微的语气变化来表明该轮到谁说话。停顿多出半秒,听起来就像通话断了;开口太早,最后就会互相抢话。借助 AI 在电话中得体地完成这些任务,要求我们把高质量的语音理解、上下文推理和语音合成整合到一个单一的低延迟系统中协同工作。
近十年前,我们推出了 Google Duplex 来帮助应对这一挑战。在基础模型进步的推动下,Duplex 架构不断演进,为 Google Search 和 Maps 等许多核心产品中的自主任务完成提供支持。本周,我们在 Gemini App 的 Tasks 中推出了 Duplex——一个个人 AI 协作助手,可以帮忙协调现实世界中的琐事,比如替你致电商家,代表用户处理现实世界中的请求。在本文中,我们回顾促成这一切的十年架构演进——从早期的封闭域模型,走向完全用 Gemini 构建的统一技术栈。
从封闭域通话到 Gemini 中的 Tasks
最初只是一个狭窄的、任务特定的系统,很快便扩展为共享的对话基础设施,由 Google 各团队协作构建。
在 COVID-19 疫情期间,当营业时间和服务快速变化时,Duplex 加大力度自动核实商家信息,以保持商家列表准确。它至今仍是重要的数据来源;例如,正如我们在 2023 年分享的,来自 Duplex 电话通话的商家信息在 Search 和 Maps 中已展示超过一万亿次。
同时,我们与 Android 和硬件团队合作,将这些对话模型直接带到设备端。从 2019 年开始,我们在连续五代 Pixel 上推出了新的 Pixel Call Assist 功能。这些模型持续为 Call Screen 和 Hold for Me 等功能提供支持,帮助用户过滤未知来电,并在排队等待结束后、用户重新加入之前与人工客服通话。在 2025 年和 2026 年,基础模型在 Google Search 和 Ask Maps 中开启了更广泛的智能体致电能力,从宠物美容到汽车维修,核实报价、产品供应情况和服务空档。
三代对话架构
在过去十年里,这些通话背后的技术栈经历了三个不同时代的演进,从定制的神经网络流水线走向使用 Gemini 的统一架构。
1. 大语言模型之前的封闭域模型
我们开始 Google Duplex 的工作时,现代语言模型尚未出现,甚至 transformer 本身也还未被发明。在这些早期阶段,为确保商家和用户获得良好体验,我们把 Duplex 限制在狭窄的领域内,并在匿名化的、任务特定的电话对话上训练定制的循环神经网络模型。由于没有预训练的世界知识,我们教会模型如何高效处理每一种特定类型的任务。在实践中,这意味着每种任务类型都要依赖大量训练数据——比如理解餐厅预订与查询节假日营业时间这两种截然不同的固定流程——以确保系统能够可靠地应对领域特定的逻辑。
2. 早期生成模型与混合技术栈
随着开放域基础模型的出现,Google Duplex 开始在生产中使用它们。例如,2022 年 Duplex 在实时通话中使用了 LaMDA。这些预训练模型简化了理解和常识推理,使系统能够处理意外的对话转折和跑题,同时仍以标准餐厅预订之类的上下文为依据。
不过,这些早期的生成模型不如今天可预测,有时也更慢,因此我们构建了混合堆栈,将用于灵活措辞的生成模型与确定性的状态跟踪和严格的策略护栏配对使用。这有助于确保用户和商家都能获得良好的体验。
3. 无界任务与 Gemini 集成
随着基础模型的进步,我们通过让系统以自由文本任务描述作为提示,彻底移除了固定垂直领域的限制。这使模型能够仅通过一个提示来定义任务,让系统能够泛化到新的任务类型和细微差别(例如要求靠窗座位或为婴儿车留出额外空间)以及新的商家类别,而无需从头构建单独的对话模型。
我们的通话堆栈使用 Gemini 来统一多模态理解、规划和对话生成,使系统能够处理多约束请求——例如围绕日历冲突安排汽车保养——并在接待员建议另一个时间段时进行调整。
实时电话通话中的技术障碍
即使拥有前沿模型,实时电话通话仍然存在仅靠标准数据集(如网络数据)预训练无法解决的障碍:
- 通话前和对话上下文的语用 grounding,以及真实世界的意图理解:网络并不拥有捕捉与繁忙商家通话如何展开所需的全部数据。近十年的目标导向通话经验帮助我们的堆栈掌握语用规范,甚至从通话开始之前就已启动。在实践中,这意味着根据过往对话的历史上下文将自由文本任务与商家匹配(例如,知道某个特定供应商周末不接受大型团体预订),以预测任务是否可行。在通话过程中,这帮助模型判断在特定时刻询问什么是合理的、如何解读礼貌的间接拒绝,以及如何保持通话简短有效。
- 嘈杂声学环境下的亚秒级延迟:通话通过压缩电话线路传输,背景中充满厨房餐具碰撞声、浓缩咖啡机声、街道噪音和旁人交谈等响亮声音。我们的堆栈针对低延迟流式推理进行了调优,使回复以自然的节奏落地。定制的声学和对话节奏模型协助核心 AI 系统处理背景噪音和停顿、在预期时停止说话等。
为通话两端设计
Duplex 必须对接听电话的商家和用户同样有效。这一原则塑造了若干设计选择:
- 明确披露。每通电话开始时都会明确披露这是 AI agent——具体来说,是来自 Google 的自动化系统在通话。
- 商家保持控制权。商家可以在其 Google Business Profile 设置中选择退出自动通话,或在通话中直接说“请停止致电我的商家”。
- 无需设置、零适配。Duplex 通过商家已经在接听的电话工作:无需安装软件、无需维护预订系统、无需培训员工。接听者可以像对待任何客户一样处理通话,即使是在柜台排队的繁忙时段。
- 一次对话,多重洞察。一次通话中收集的细节可以回答之后的许多问题,因此商家不会被反复询问同样的事情。例如,Google Maps 可以展示 Duplex 收集到的商家详情,如欢乐时光特惠、露台座位、宠物友好、停车提示,甚至每周问答之夜。
结论
文章标题:Google Duplex 如何演进,在 Gemini 中也能替你致电商家
正文: 许多日常事务、本地服务和紧急任务仍然需要直接与另一个人交谈,才能可靠地协调细节。通过将 Duplex 的能力集成到 Gemini App 中的 Tasks,我们朝着打通这一闭环又迈出了一步。自然语音交互成为一种无缝集成的模态,当在线 API 或预订表单等结构化数字渠道不存在时,智能体便可随时启用它。借助我们最新的 Gemini 4 模型——包括 Gemini 4 Hydrogen 和 Gemini 4 Neon——Gemini 中的 Tasks 现在可以支持更全面的工作流,例如分析水电费账单、通过 Agent Payments Protocol 安全处理交易,以及通过电子邮件和富通信服务(RCS)与用户协调。通过这些能力,我们正将这项研究带入下一代 AI 助手。
致谢
我们感谢 Duplex 团队,以及 Google 上下所有在这段长达十年的旅程中领导并参与其中的人。对于推动向 Gemini 驱动的通话转型、并使 Gemini 中的 Tasks 得以实现此次发布,我们尤其感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster 以及团队中的许多其他人。