Newshot

Gemini Decision 1 无法区分 2024 年之后生成的 AI 声音

Translation(model translation, not the source's own text)

文章标题:Gemini Decision 1 无法区分 2024 年之后生成的 AI 语音

正文: Gemini Decision 1 是 Google 于 2026 年 11 月 11 日发布的多模态决策模型。它类似于 TypeSafe AI 的 System One 模型 Jev。

在浏览 Hacker News 时,我偶然看到了 Liam Warfield 写的《Gemini Decision 1 喜欢什么音乐?》。他在文章结尾提出了几个扩展自己项目的想法。这些建议中的最后一条——“它(Gemini Decision 1)喜欢还是讨厌 AI 生成的音乐?”——引起了我的注意,因为它暗示该决策模型或许能够识别 AI 生成的音频。事实证明,Gemini Decision 1 区分 AI 语音与人类语音的能力显著高于随机水平,但前提是 AI 语音生成器发布于 2025 年之前。

先做个简短的澄清:我说的是“区分”,而不是“分类”,因为该模型强烈倾向于将所有测试音频都标记为人类制作。在 1,020 段 AI 音频中,只有 20 段被判定为 AI 生成的概率达到或超过 50%。然而,ROC-AUC——即随机一段 AI 音频被赋予的 P(AI) 高于随机一段人类音频的概率——在 2025 年之前的模型中显著更高,这表明较新的 AI 语音比以往更难区分。

结果

每个数据点代表一个 AI 语音生成器,衡量标准是 Gemini Decision 1 将其 30 段音频与 200 段人类有声书音频区分开来的效果。

合并统计时,2023 年和 2024 年的生成器被区分的 AUC 为 0.67。六个较早的生成器(2017 年至 2022 年)得分相同(0.67)。然而,2025 年和 2026 年发布的生成器 AUC 仅为 0.52,实际上等同于随机。2025–2026 年的生成器中,除一个以外,其余生成器的 95% 置信区间都包含 0.5;唯一的例外是 Inworld TTS-2,其置信区间为 0.51-0.75。

每段音频都用以下方式评分:Simple Noul(二选一问题,输出介于 0 和 1 之间)、Criteria Noul(Simple Noul 附带上下文标准),以及 5-Pt Rubric(从“绝对是真人录音”到“绝对是 AI 生成或合成”的重新缩放评分)。

问题格式2017–20242025–2026
Simple Noul0.590.46
Criteria Noul0.670.52
5-Pt Rubric0.660.47

值得注意的是,我们观察到的并非平缓下降,而是 AUC 在 2024 年末、也就是 2025 年初出现急剧下降。

非人类的表现?

MLAAD 背后的研究团队在 2026 年进行了一项聆听研究,收集了来自 1,768 人的 35,532 次真假判断。能骗过人类的生成器往往也能骗过 Gemini Decision 1(r = +0.57),但两者并不总是一致。Griffin-Lim 是 1984 年提出的一种参考信号处理方法,它被区分的 AUC 仅为 0.53(接近随机),尽管人类有 72% 的时间能识别出它。Cartesia Sonic-3 对人类来说最难识别(正确率 32%),而对 Gemini Decision 1 来说则恰好处于随机水平(AUC 0.51)。

有趣的是,Gemini Decision 1 对 Gemini 3.1 Flash TTS 的 AUC 仅为 0.58,这表明它在识别“自己的”声音方面只比随机略好一点。在这一点上,无论是人还是机器,都无法可靠地区分近期的 AI 语音。

数据集与归一化

很容易想象出几种场景,其中泄露的元数据可能导致这些结果。就像 AI 领域的所有事情一样,我想确保我测量的是我打算测量的东西。

AI 语音片段来自 MLAAD,这是一个包含 143 个英语生成器的数据集,它们朗读同一组有声书句子。测试时,我从 34 个生成器中各取了 30 段时长 2.5-10 秒的片段。每个生成器的片段都与来自 LibriTTS(一个 LibriVox 有声书录音数据集)中 30 位说话人的相同 200 段人类片段进行对比测试。所有片段都是干净的有声书旁白。

在将音频片段发送到决策 API 之前,每个片段都用 ffmpeg(-map_metadata -1 -vn -ac 1 -ar 24000 -t 15 -c:a libmp3lame -b:a 128k)重新编码,以防止元数据影响结果。此外,每个片段都被限带至 8 kHz(aresample=16000,aresample=24000),并进行了响度归一化(loudnorm=I=-20:TP=-2:LRA=11)。

写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。请完全按照原样使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。

全部 34 个生成器

生成器发布时间类型AUC95% CI人类正确率†
Griffin-Lim—参考0.530.40–0.6672%
Tacotron 2Dec 2017开源0.640.52–0.7568%
Glow-TTSMay 2020开源0.800.70–0.8886%
FastPitchJun 2020开源0.620.50–0.7475%
VITSJun 2021开源0.690.58–0.7954%
SpeechT5Oct 2021开源0.720.60–0.8279%
TortoiseApr 2022开源0.550.43–0.6771%
BarkApr 2023开源0.660.54–0.7771%
MMS-TTSMay 2023开源0.690.57–0.7968%
Matcha-TTSSep 2023开源0.580.46–0.7175%
XTTS v2Nov 2023开源0.640.52–0.7568%
OpenAI TTS-1 HDNov 2023商业0.630.50–0.7557%
MetaVoice-1BFeb 2024开源0.790.68–0.8773%
OpenVoice V2Apr 2024开源0.760.66–0.8578%
Parler-TTS LargeAug 2024开源0.690.56–0.7958%
F5-TTSOct 2024开源0.690.58–0.7983%
KokoroDec 2024开源0.570.45–0.6857%
Llasa-3BJan 2025开源0.530.41–0.6556%
ZonosFeb 2025开源0.460.34–0.5861%
Spark-TTSFeb 2025开源0.500.37–0.6264%
Sesame CSMMar 2025开源0.500.38–0.6157%
DiaApr 2025开源0.460.34–0.5954%
Resemble AIApr 2025商业0.540.41–0.6779%
ChatterboxMay 2025开源0.490.36–0.6158%
ElevenLabs v3Jun 2025商业0.570.44–0.69—
IndexTTS-2Jun 2025开源0.550.43–0.6766%
VibeVoiceAug 2025开源0.530.40–0.6657%
Cartesia Sonic-3Oct 2025商业0.510.38–0.6332%
MiniMax Speech 2.8Jan 2026商业0.510.39–0.63—
Qwen3-TTSJan 2026开源0.510.39–0.6352%

AUC 为 Criteria Noul,每个生成器 30 个片段,对比 200 个 LibriTTS 片段;该区间对片段和 LibriTTS 说话人进行重采样。†2026 年听测研究中该生成器的正确猜测占比(全部片段)。

数据

AI 片段:MLAAD(CC BY-NC 4.0)。人类片段:LibriTTS(CC BY 4.0)。人类听测结果:Human Audio Deepfake Perception 2026(CC BY-NC 4.0)。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗