Newshot

Amazon Polly 推出声音克隆:为你的品牌打造专属声音

AI summary

Amazon Polly 的声音克隆功能现已全面可用,采用受限发布形式。只需提供说话者几分钟的录音,Amazon Polly 即可构建该说话者声音的克隆版本,并运行在生成式引擎上,自然度和准确性与其它生成式声音相近。该功能首批支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语,每种克隆声音仅能说其录制时所用的语言。克隆声音会自动加密并受访问控制,仅本人可访问。该功能已在 Amazon Polly 生成式引擎支持的所有 AWS 区域(包括 AWS GovCloud(美国)区域)推出,目前已向部分客户开放,其他客户可联系 AWS 账户团队或申请获取访问权限。

Translation(model translation, not the source's own text)

Amazon Polly 推出语音克隆:为你的品牌打造独一无二的声音

Amazon Polly 中的语音克隆现已作为受限发布正式可用。只需向 Amazon Polly 提供某位说话人几分钟的录音——且该说话人已同意其声音被克隆——Amazon Polly 就会以该说话人的声音构建你自己的克隆声音。克隆声音运行在 Amazon Polly 生成式引擎上,其自然度和准确度与其他生成式声音相当。Amazon Polly 语音克隆发布时支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。每个克隆声音只能说出其录制时所用的语言。克隆声音会自动加密并受访问控制:只有你才能访问你的克隆声音。

Amazon Polly 语音克隆已在 Amazon Polly 生成式引擎支持的所有 AWS 区域提供,包括 AWS GovCloud (US) 区域。部分 Amazon Polly 客户已开通访问权限。其他客户可以联系其 AWS 账户团队或申请访问权限以获取访问资格。

借助这一新增功能,你可以将克隆生命周期构建到 AWS 应用程序中。为 Amazon Polly 客户构建克隆声音是免费的,Amazon Polly 按使用量对克隆声音的使用计费,详情请参阅 Amazon Polly 定价页面。

亲耳听一听

按下播放:前几秒是说话人的真实录音,随后其克隆声音接管,说出他们从未录过的内容。

  • 从录音到 TTS 声音。我们的科学负责人 Trevor 的几分钟源音频,以及由此生成的生成式声音。录音:“Hello, I'm Trevor, from Science.” 克隆声音:“That first sentence was my real voice. This is my cloned voice, created from a few minutes of my recordings. It can read any text you give it.”
  • 录音:“Hello, I'm Trevor, from Science.” 克隆声音:“That first sentence was my real voice. This is my cloned voice, created from a few minutes of my recordings. It can read any text you give it.”
  • 支持七种语言。听听作者之一 Jonas 先用录音、再用克隆声音说德语:录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(嗨,我是 Jonas。这是我的真实声音。)克隆声音:“Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(而这是我的克隆声音!同样的声音,全新的词句:这句话是我写的,但从未录过。)
  • 录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(嗨,我是 Jonas。这是我的真实声音。)克隆声音:“Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(而这是我的克隆声音!同样的声音,全新的词句:这句话是我写的,但从未录过。)
  • 用于各种应用场景。下面是 Trevor 在一个他从未担任过的新角色中:游戏里的非玩家角色。“Who's that crossing my bridge? Oh, it's you again. Same deal as last time: answer my riddle, or hand over the sandwich.”
  • “Who's that crossing my bridge? Oh, it's you again. Same deal as last time: answer my riddle, or hand over the sandwich.”
  • 用语音克隆扩展你的声音库。听听这段来自 AWS 首席布道师 Jeff Barr 的音频样本:先是一段真实录音,然后是克隆声音。录音:“Hi, I'm Jeff, and this is how I really sound.” 克隆声音:“And this is how my cloned voice sounds, reading a sentence I never recorded.”
  • 录音:“Hi, I'm Jeff, and this is how I really sound.” 克隆声音:“And this is how my cloned voice sounds, reading a sentence I never recorded.”
  • Hannah:先是真实录音,然后是她在客服热线上的克隆声音。录音:“Hello, I'm Hannah. This is my real voice.” 克隆声音:“Thanks for calling AnyCompany. Your order 4471 9902 ships today and should arrive on Thursday between 9 AM and 1 PM. Your confirmation code is K-7-Q-2-X-9.”

写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。在回复和工具调用中都请严格按原样使用:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

文章标题:Amazon Polly 推出语音克隆:为您的品牌打造专属声音

正文:

  • 录音:“你好,我是 Hannah。这是我的真实声音。”克隆声音:“感谢致电 AnyCompany。您的订单 4471 9902 今天发货,预计周四上午 9 点至下午 1 点之间送达。您的确认码是 K-7-Q-2-X-9。”
  • Joely:先是真实录音,然后是她克隆的声音在讲解课程。录音:“嗨,我是 Joely,这就是我真实的声音。”克隆声音:“在本模块中,我们将了解神经网络如何学习。首先,它做出一个猜测。然后,它衡量这个猜测偏差有多大,并一点一点地进行调整。”
  • 录音:“嗨,我是 Joely,这就是我真实的声音。”克隆声音:“在本模块中,我们将了解神经网络如何学习。首先,它做出一个猜测。然后,它衡量这个猜测偏差有多大,并一点一点地进行调整。”

您可以构建什么

跨渠道一致的品牌声音

建立一个可辨识的声音,并将其用于您的交互式语音应答(IVR)系统、级联语音代理、移动应用、店内广播、广告和联网设备。您无需依赖通用的现成声音,也不必在每次脚本变更时重新预约录音,即可按需生成符合品牌调性的音频,并在每个渠道中保持一致的声音。

联络中心

在自助服务流程中提供独特的、符合品牌调性的声音,并在优惠和政策变化时更新提示语,而无需新的录音棚录制。您可以从源文本创建提示语,在推出前进行测试,并在问候、路由和通知体验中使用同一个声音。

大规模媒体与内容

创作者、出版商和工作室可以使用多个自定义声音制作有声书、课程、播客、游戏角色和视频,以提升聆听体验,并快速制作后续章节或更新。

保持一致人设的本地化

在内容库中保持可辨识的声音身份,使旁白在各标题和更新之间保持连贯。每个克隆声音只讲其录制时所用的语言。如需多语言体验,请为每种支持的语言分别创建并审核已批准的声音。

无障碍与个性化

为阅读体验、辅助工具和个性化交互提供自然的、听起来像人声的声音。每次创建声音时,您都需要确认说话人的同意。

语音克隆的工作原理

通过语音克隆,您可以根据单个说话人的录音构建自定义的 Amazon Polly 声音,然后通过 Amazon Polly 生成式引擎用该声音合成语音。该声音从录制说话人到使用成品声音,需经历四个步骤:

语音克隆生命周期:录制、创建、等待、使用
语音克隆生命周期:录制、创建、等待、使用

图 1:语音克隆生命周期,从录制说话人到使用成品声音

克隆声音需经历四个步骤:

  • 录制。您录制一位说话人(参见以下录音提示)。您可以在 CreateVoice 请求中直接发送录音,或在控制台上传。您也可以将录音存储在所需声音所在 AWS 区域的 Amazon Simple Storage Service(Amazon S3)存储桶中,并将 Amazon Polly 指向这些录音。
  • 创建。您调用 CreateVoice,提供 1-10 个录音、录音所说语言以及 TermsAccepted=True(即您确认已获得说话人同意)。Amazon Polly 会立即返回一个声音 ID(vc-…),并在后台构建该声音。
  • 等待。创建是异步的,通常需要 5-10 分钟。在此期间,Amazon Polly 还会检查您的文本转语音(TTS)声音在说话人相似度方面的质量。您调用 GetVoice,直到状态从 pending 变为 active 或 failed。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

  • 使用方式。将 voice ID 传给 SynthesizeSpeech 以生成实时音频,或传给 StartSpeechSynthesisTask 以生成写入 S3 的长音频,并设置 Engine="generative",调用方式与 Amazon Polly 中其他生成式声音相同。当不再需要该声音时,调用 DeleteVoice。

同意与控制

克隆声音基于一个人的录音制作。你需要确认已获得说话人对所有录音的同意,并确认你控制谁可以使用该声音以及何时删除它。

  • 你为创建的每个声音确认同意。在控制台创建声音,或在 API 中设置 TermsAccepted=True 时,你确认已获得创建和使用克隆声音所需的所有权利和同意。你对声音克隆的使用受 AWS Service Terms、Biometric Notice and Consent Terms、AWS Responsible AI Policy 和 AWS Acceptable Use Policy 约束。
  • 生成的语音带有水印。Amazon Polly 会为使用克隆声音生成的文本转语音音频添加水印。
  • 只有你的账户可以使用它。克隆声音的作用域限定为创建它的 AWS 账户,你通过 AWS Identity and Access Management (IAM) 控制访问。你可以使用自己的 AWS Key Management Service (AWS KMS) 密钥加密声音并为其添加标签。
  • 由你决定何时删除。声音处于活跃状态或创建失败后,可通过一次 DeleteVoice 调用或在控制台上删除。
  • Amazon Polly 在声音创建后不会保留你的声音录音副本,也不会用它们训练 Amazon Polly 模型。它只保留合成语音所需的声音数据,并以加密方式存储。你可以使用自己的 AWS KMS 密钥进行该加密,DeleteVoice 会立即删除数据。

我们建议你:

  • 保留每位说话人的同意记录。
  • 如果说话人撤回同意,请删除该声音。
  • 在适当的时候告知听众他们听到的是合成声音。
  • 只向需要的人和系统授予声音权限。

有关预期用途和限制的详细信息,请参阅 Amazon Polly AI Service Card 和 AWS Responsible Use of AI guidance。

录音最佳实践

你的克隆声音会从录音中学习,包括那些你宁愿它不要学到的部分:笔记本电脑风扇声、房间回声、会议应用的噪声滤波器。

  • 录制两到十分钟的自然语音,分成每段最长一分钟的片段。每个声音最多可发送 10 段录音,音频总时长最多 15 分钟。质量比长度更重要:更多音频可能不会改变声音的听感。
  • 一位说话人、安静的房间、与麦克风保持相同距离。使用 USB 麦克风,或能录制 WAV 的手机应用。从一开始就以单声道 WAV、16 位、24 kHz 录制,这样之后无需转换。Amazon Polly 接受其他音频格式,但我们推荐 WAV。支持的格式和限制请参阅 Amazon Polly Developer Guide。
  • 避免使用会议应用和浏览器录音器。它们的回声消除和噪声抑制会改变声音,克隆也会学习这些改变。
  • 以你希望声音具备的风格录制每一段。克隆声音从录音中获取风格,无法混合多种风格,因此欢快、悲伤和愤怒的片段不会给你一个能同时表现这三种风格的声音。
  • 用该声音应说的语言录制。声音克隆已使用美国英语、德语、美国西班牙语、法语、意大利语、巴西葡萄牙语和印地语的录音进行测试。这些语言的其他口音录音(如英国英语或加拿大法语)也可用,但测试较少,因此请用你自己的内容检查该声音。

入门

在控制台上:为你的账户启用声音克隆后(参见 Availability),展开左侧面板并选择 Voice cloning,上传最多 10 段录音或从 Amazon S3 中选择它们,确认条款,然后选择 Create。每次上传最大可达 5 MB。声音准备就绪后,可在其详情页上试用。

文章标题:Amazon Polly 推出语音克隆:为你的品牌打造专属声音

正文: 在代码中,你需要:

  • 最新版本的 boto3(pip install --upgrade boto3)。
  • polly:CreateVoice、polly:GetVoice、polly:DescribeVoices、polly:SynthesizeSpeech 和 polly:DeleteVoice 的 IAM 权限。对于长音频,还需要 polly:StartSpeechSynthesisTask、polly:GetSpeechSynthesisTask,以及输出桶上的 s3:PutObject。
  • 对于下面的 Amazon S3 示例:你的录音需位于创建语音所在区域的桶中,并且调用 CreateVoice 的 IAM 角色或用户需具备 s3:GetObject 权限。

        import time

import boto3

# Use the Region of your S3 recordings.
polly = boto3.client("polly", region_name="us-east-1")

# 1. Create a voice from recordings of a speaker who has given consent.
#    Use 1-10 clean WAV takes of up to a minute each.
takes = [
    "s3://amzn-s3-demo-bucket/brand-voice/take-1.wav",
    "s3://amzn-s3-demo-bucket/brand-voice/take-2.wav",
    "s3://amzn-s3-demo-bucket/brand-voice/take-3.wav",
]
voice = polly.create_voice(
    Name="MyBrandVoice",    # letters, digits, - and _, up to 64 characters
    LanguageCode="en-US",   # the language spoken in the recordings
    TermsAccepted=True,     # you confirm the speaker's consent and the terms of use
    VoiceCreationData={
        "Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes],
    },
    Tags={"consent-record": "speaker-0042"},  # optional: the ID of your own consent record, e.g. a signed release
    # Optional: encrypt the voice with your own KMS key (symmetric, same Region).
    # Callers who create or use the voice need kms:DescribeKey,
    # kms:GenerateDataKey and kms:Decrypt on the key.
    # CustomerManagedEncryption={
    #     "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333:key/EXAMPLE"
    # },
)["Voice"]
voice_id = voice["Id"]      # for example "vc-0123456789"

# 2. Check the status every 30 seconds until the voice is active or failed
#    (usually a few minutes). Stop with an error after 20 minutes.
deadline = time.monotonic() + 20 * 60
while voice["Status"] not in ("active", "failed"):
    if time.monotonic() > deadline:
        raise TimeoutError(f"{voice_id} is still {voice['Status']}")
    time.sleep(30)
    voice = polly.get_voice(VoiceId=voice_id)["Voice"]
if voice["Status"] == "failed":
    # Check the recordings, delete this voice and create a new one.
    raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}")

# 3. Synthesize speech with your new voice.
speech = polly.synthesize_speech(
    VoiceId=voice_id,
    Engine="generative",
    LanguageCode="en-US",
    OutputFormat="mp3",
    Text="Hello! This is my very own Amazon Polly voice.",
)
with open("my-voice.mp3", "wb") as f:
    f.write(speech["AudioStream"].read())

# When you no longer need the voice:
# polly.delete_voice(VoiceId=voice_id)
      

如果 Python 报告 Polly 对象没有 create_voice 属性,请升级 boto3。

对于有声书章节或课程模块这类长文本,请使用将音频写入 S3 的异步合成任务:


        from pathlib import Path

task = polly.start_speech_synthesis_task(
    VoiceId=voice_id,
    Engine="generative",
    LanguageCode="en-US",
    OutputFormat="mp3",
    OutputS3BucketName="amzn-s3-demo-bucket",
    OutputS3KeyPrefix="narration/chapter-01",
    Text=Path("chapter-01.txt").read_text(encoding="utf-8"),
    # SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks",  # notify instead of polling
)["SynthesisTask"]
print(task["TaskId"], task["OutputUri"])  # poll get_speech_synthesis_task until "completed" or "failed"
      

如需了解你可以借助 Amazon Polly 构建的更多端到端语音 AI 应用(包括语音克隆功能),例如级联式语音智能体和实时语音翻译器,请前往 Amazon Polly GitHub 仓库。

生产环境注意事项

提前创建语音

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

Amazon Polly 推出语音克隆:为你的品牌打造独一无二的声音

语音创建只需几分钟,因此应将其视为一项预置步骤,而不是用户请求的一部分。一个小的编排流程(例如 AWS Step Functions 或作业队列)可以调用 CreateVoice,每 30 秒检查一次 GetVoice 直到语音处于活跃状态,然后将语音 ID 存入你的配置。CreateVoice 和 DeleteVoice 共享每秒 1 次请求的限制,因此请对批量创建和删除进行排队。

维护一份清单

DescribeVoices 会列出你克隆的语音以及 Amazon Polly 内置的语音。克隆语音的 Origin 被设置为 customer。请为每个语音存储语音 ID、Region、语言、同意书参考和所有者,并为每个语音指定唯一的 Name。如果 CreateVoice 调用超时或返回服务器错误,该语音可能已经存在,而 SDK 的自动重试可能会再创建一个。重试之前,请先用 DescribeVoices 检查该名称。

为错误做好准备

当你超过与 DeleteVoice 共享的每秒 1 次请求限制时,CreateVoice 会返回 ThrottlingException;当账户在该 Region 已达到克隆语音配额时,会返回 ServiceQuotaExceededException。对仍在创建中的语音进行合成或删除,会返回 ConflictException。如果语音使用你自己的 KMS 密钥,无权访问该密钥的调用方会收到访问被拒绝的错误。创建失败时,StatusReason 只会给出笼统的消息,因此请按照前面的录音最佳实践检查录音,然后删除失败的语音并重新创建一个。

将权限限定到语音

克隆语音是 IAM 资源,因此你可以授予处理流量所用的角色仅使用某一个指定语音进行合成的权限。如果语音使用你自己的 KMS 密钥,该角色还需要拥有对该密钥的访问权限。请将 polly:CreateVoice 和 polly:DeleteVoice 保留给单独的预置角色。以下是服务角色的示例策略:


        {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "polly:SynthesizeSpeech",
      "Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789"
    }
  ]
}
      

借助标签,你可以使用 aws:ResourceTag 条件为一整组语音只编写一次相同的规则。同时请检查你现有的策略:一条允许对所有资源执行 polly:SynthesizeSpeech 的语句("Resource": "*")也会覆盖账户中的每一个克隆语音。

为配额和 Region 做好规划

每个账户在每个 Region 的初始配额为 10 个克隆语音。如需申请提高配额,请联系你的客户团队或 AWS Support。语音只存在于你创建它的账户和 Region 中。要在另一个 Region 或账户中使用,请用相同的录音在该 Region 重新创建该语音,并确保说话人的同意书覆盖每一份副本。

用你的真实脚本进行测试

在语音上线之前,请听它朗读你自己的内容:产品名称、数字、地址以及你手头最长的句子。同一段文本在每次请求中可能会略有不同。对于固定提示语(例如电话线路问候语),请只生成一次音频,由说话人和你的品牌团队审核批准,然后提供存储的文件。如果某个名称或术语读错了,请在文本中以不同方式拼写,或使用 Speech Synthesis Markup Language (SSML) 的 <phoneme> 标签。Phoneme 标签适用于英语、法语、意大利语、德语和西班牙语的克隆语音。参见 Supported SSML tags。

须知

写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

可用性访问权限按 AWS 账户启用。如果你在 Amazon Polly 控制台中看到 Voice cloning(展开左侧面板,查看是否列出 Voice cloning),则说明你的账户已启用该功能。如果没有,你可以联系你的 AWS 账户团队或申请访问权限来请求访问。支持的 AWS 区域与生成式引擎相同:US East (N. Virginia)、US West (Oregon)、Europe (Frankfurt)、Europe (Zurich)、Europe (London)、Asia Pacific (Sydney)、Asia Pacific (Seoul)、Asia Pacific (Singapore)、Asia Pacific (Tokyo)、Canada (Central) 和 AWS GovCloud (US-West)。克隆音色存放于你创建它所在的 AWS 区域。
语言英语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。已测试的录音地区:US English ( en-US )、German ( de-DE )、US Spanish ( es-US )、French ( fr-FR )、Italian ( it-IT )、Brazilian Portuguese ( pt-BR ) 和 Hindi ( hi-IN )。这些语言的其他口音也可使用,但测试较少。每个音色只讲其录制时所用的语言。
录音每个音色 1-10 段录音,总计最长 15 分钟。推荐使用 WAV:单声道、16 位、24 kHz 或 44.1/48 kHz。Amazon Polly 也接受其他音频格式。控制台上传每个文件限制为 5 MB。对于更大的文件,请使用 Amazon S3。
数据处理音色创建完成后,Amazon Polly 会删除其保存的录音副本,并且不会将其用于训练 Amazon Polly 模型。它只保留合成所需的音色数据,以加密方式存储(你可以使用自己的 AWS KMS 密钥),直到你调用 DeleteVoice 。
创建时间构建 TTS 音色通常需要 5-10 分钟,异步进行。
合成延迟与 Amazon Polly 中的生成式音色相同。
配额初始情况下,每个账户在每个 AWS 区域可拥有 10 个克隆音色。如需申请增加,请联系 AWS Support。CreateVoice 和 DeleteVoice 共享每秒 1 次请求的限制。
合成克隆音色遵循 Amazon Polly 对生成式音色的配额,包括每次请求和每个合成任务的文本限制。请参阅 Amazon Polly quotas 。
定价创建克隆音色免费。Amazon Polly 按使用量对克隆音色的使用计费,采用按需付费方式。请参阅 Amazon Polly pricing 。
API使用 CreateVoice 、 GetVoice 、 DeleteVoice 和 DescribeVoices 管理音色。使用 SynthesizeSpeech 和 StartSpeechSynthesisTask 并设置 Engine="generative" 来使用这些音色。请参阅 Amazon Polly API reference 。

Conclusion

Amazon Polly 中的语音克隆为你的应用提供人们能辨认的声音:只需录制一次,经说话人同意,即可通过 Amazon Polly API 使用。要在控制台上开始使用,请确保你的账户已启用 Voice cloning,准备一段录音和所需的同意书,打开 Amazon Polly 控制台,创建你的第一个克隆音色。如果你是新客户并希望启用语音克隆,请联系你的 AWS 账户团队或申请访问权限以获取访问。

有关开发人员指南,请参阅 Amazon Polly documentation。有关定价,请参阅 Amazon Polly Pricing Page。有关你可以使用 Amazon Polly 构建的其他语音 AI 用例(包括语音克隆),请查看 GitHub repo。

我们迫不及待想听到你构建的作品。

感谢 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 献声。

About the authors

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按所写内容使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by AWS Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗