PolyAI Dialog-RSN-1 现已上线 Amazon SageMaker JumpStart
Dialog-RSN-1 是一款为实时复杂对话打造的推理模型,现已在 AWS Marketplace 和 Amazon SageMaker JumpStart 上提供。它为前沿对话提供动力:能够聆听实时通话、对其推理并实时采取行动的智能体。
作为 AWS 客户,你可以通过 AWS Marketplace 订阅 Dialog-RSN-1,并将其作为 SageMaker 端点部署在你自己的 AWS 环境中。你也可以按照《使用 Amazon SageMaker JumpStart 部署和评估模型》中的步骤,直接从 Amazon SageMaker Studio 部署。这意味着,这款专为处理客户对话而设计的模型,可以像其他 Amazon SageMaker 模型一样,通过 AWS Marketplace 订阅进行部署。
在 AWS 内部署 Dialog-RSN-1
Dialog-RSN-1 是首个通过 AWS Marketplace 提供的 PolyAI 模型。它运行在你自己的 AWS 环境中,与支撑 PolyAI 计算及模型训练和服务的 AWS 云相同。
Dialog-RSN-1 在单次处理中直接感知来电者的音频、推理其需求并实时响应。在 SageMaker 上,它会像你在那里运行的其他模型一样部署为端点。它可从你自己的架构访问,通过你的 AWS 账户计费,并受你已有的虚拟私有云(VPC)、AWS Identity and Access Management(IAM)角色和监控覆盖。
编排、电话集成和业务逻辑的所有权仍归你所有。Dialog-RSN-1 为你分担了最难自行构建的部分:理解实时通话并实时响应。该端点使用 OpenAI Realtime 协议,因此现有的 Realtime 客户端只需更改其 base URL,即可通过 PolyAI 的桥接进行连接。输入音频为 16 位 PCM 单声道,采样率 16 或 24 kHz(需先转码 G.711 或 Opus)。连接最长持续 30 分钟,且该模型目前仅支持英语。
要开始使用,请在 AWS Marketplace 上找到 Dialog-RSN-1,然后将其直接部署到你账户中的 Amazon SageMaker 端点。或者,你也可以直接从 Amazon SageMaker JumpStart 部署。
随着 Dialog-RSN-1 现已接入 SageMaker JumpStart,部署 Dialog-RSN-1 只需一次点击。在 Amazon SageMaker AI 控制台中,打开 Model Hub,从 JumpStart 目录中选择 Dialog-RSN-1,然后选择 Deploy。SageMaker JumpStart 随后会在已为你调优好的服务栈上启动实时推理端点。无需打理容器,无需纠结实例类型,也无需手动基准测试。对于自动化工作流,同样的单击部署也可以通过几行 SageMaker Python SDK 代码运行。
Dialog-RSN-1 端点完全运行在你自己的 AWS 账户内。它部署在你的 VPC 中,通过你的 IAM 角色访问,并使用你用于其他所有工作负载的相同 Amazon CloudWatch 日志和指标进行监控。由于推理发生在你的账户内,来电者的音频和转录文本都留在一个你控制的边界之内。对于处理实时客户对话的模型而言,这有助于满足你的数据驻留和可审计性要求。
为速度与准确度而构建
为实时通话构建的模型可能会让你在速度和理解之间做取舍。为速度构建的模型可能错过含义,而为推理构建的模型可能让来电者等待。Dialog-RSN-1 避免了这种取舍。
借助 PolyAI,你可以构建像你的人工坐席那样聆听和处理通话的对话智能体。这些智能体能够捕捉犹豫、在沮丧升级之前听出沮丧,并知道何时开口。
实时客户对话正是 PolyAI 的 Dialog-RSN-1 所擅长的任务,它如今已在生产环境中处理实时通话。由于该模型直接对来电者的音频进行推理,它能捕捉语气、犹豫和时机——这些是纯转录文本会丢失的信号——并自行决定正确的响应时机。
一款像人类一样聆听通话的模型
文章标题:PolyAI Dialog-RSN-1 现已上线 Amazon SageMaker JumpStart
正文: Dialog-RSN-1 是一个专注于实时对话的模型。它没有独立的语音转文本步骤,也没有在合适时机说话的推理模型,因此不存在多次交接。
实际上,这意味着呼叫者能更快得到响应:
- 即使呼叫量激增,打断功能仍能正常工作,而不是为了保护性能而被关闭。
- 响应保持同步,因此模型不会在推理该说什么时落后于对话。
- 转录直接由音频本身生成,因为 Dialog-RSN-1 读取的是真实音频,而不是其他人对音频的最佳猜测。
Amazon SageMaker JumpStart 上的 Dialog-RSN-1
Amazon SageMaker JumpStart 是 Amazon SageMaker AI 内部的机器学习中心,它的存在是为了缩短从选择模型到在生产环境中运行模型之间的距离。对于 Dialog-RSN-1 来说,这意味着实时对话的前沿只需点击几下即可触及。你可以在一个地方发现它、用自己的数据验证它,并将其部署到安全端点。以下是你将获得的内容。

图 1:SageMaker JumpStart 中的 Dialog-RSN-1 模型卡片
使用 SageMaker Python SDK 的代码路径在我们的 GitHub 仓库中有说明:Deploy PolyAI Dialog-RSN-1 on Amazon SageMaker AI。
在投入之前先发现和评估
Dialog-RSN-1 出现在 SageMaker JumpStart 目录中,概述和示例 notebook 集中在一处,因此你的团队可以在花一分钱基础设施费用之前先了解这个模型。要使用你自己的通话录音试用该模型,请部署端点并运行 PolyAI 的示例 notebook,它会流式传输录制的呼叫者音频,并打印模型的轮次决策、回复和转录。
一键部署与针对你工作负载的优化
在同一张模型卡片上选择 Deploy,Amazon SageMaker JumpStart 就会用预配置的服务栈启动一个实时推理端点。无需手动选择容器,也无需猜测实例类型。真正的便利在于命名优化配置文件:无需手动调优基础设施,你只需选择与 Dialog-RSN-1 运行方式相匹配的目标。延迟优化可最小化交互式实时通话的首 token 时间(Time to First Token)。吞吐量优化可最大化高呼叫量下的每秒 token 数。成本优化可最小化每请求的基础设施成本。均衡型则是通用场景下的折中选择。
由于 Dialog-RSN-1 是为实时响应而构建的,你可以使用延迟优化配置文件将这种响应能力直接带到你自己的端点。在部署之前,SageMaker JumpStart 会展示关键性能指标:P50 延迟、首 token 时间和吞吐量。这让你能够根据流量为 ml.* 实例选择合适的规格,而不是手动基准测试数十种组合。你可以从控制台运行整个流程,或通过 SageMaker Python SDK 编写脚本,将部署接入持续集成和持续交付(CI/CD)。

图 2:SageMaker JumpStart 中 Dialog-RSN-1 的 Deploy 工作流

图 3:在 SageMaker JumpStart 中为 Dialog-RSN-1 选择优化配置文件
部署在你的账户中,由你的控制措施治理
文章标题:PolyAI Dialog-RSN-1 现已上线 Amazon SageMaker JumpStart
正文: 端点运行在您自己的账户边界内:位于您的 VPC 中,使用您的 IAM 角色,并沿用您现有的 CloudWatch 日志和指标。对于处理实时客户对话的模型来说,这意味着您的通话音频和转录内容都留在您掌控的环境中,从而使数据驻留和可审计性保持简单明了。
最终得到的是一个前沿语音模型,它的部署方式与您的机器学习团队已经运行的其他工作负载一样,使用同一个 hub、同一套发现和评估工具,以及同样的安全态势。困难的部分在于 Dialog-RSN-1 所处理的对话,而非其背后的基础设施。
如需进一步了解我们前沿对话模型背后的架构,以及我们基准测试背后的评估结果,请阅读我们的 Dialog-RSN-1 发布文章。
立即通过 AWS Marketplace 开始使用 Dialog-RSN-1,或直接从 Amazon SageMaker JumpStart 部署。此外,还可探索 SageMaker JumpStart 预训练模型。