文章标题:Gemini Decision 1 无法区分 2024 年之后生成的 AI 语音
正文: Gemini Decision 1 是 Google 于 2026 年 11 月 11 日发布的多模态决策模型。它类似于 TypeSafe AI 的 System One 模型 Jev。
在浏览 Hacker News 时,我偶然看到了 Liam Warfield 写的《Gemini Decision 1 喜欢什么音乐?》。他在文章结尾提出了几个扩展自己项目的想法。这些建议中的最后一条——“它(Gemini Decision 1)喜欢还是讨厌 AI 生成的音乐?”——引起了我的注意,因为它暗示该决策模型或许能够识别 AI 生成的音频。事实证明,Gemini Decision 1 区分 AI 语音与人类语音的能力显著高于随机水平,但前提是 AI 语音生成器发布于 2025 年之前。
先做个简短的澄清:我说的是“区分”,而不是“分类”,因为该模型强烈倾向于将所有测试音频都标记为人类制作。在 1,020 段 AI 音频中,只有 20 段被判定为 AI 生成的概率达到或超过 50%。然而,ROC-AUC——即随机一段 AI 音频被赋予的 P(AI) 高于随机一段人类音频的概率——在 2025 年之前的模型中显著更高,这表明较新的 AI 语音比以往更难区分。
结果
每个数据点代表一个 AI 语音生成器,衡量标准是 Gemini Decision 1 将其 30 段音频与 200 段人类有声书音频区分开来的效果。
合并统计时,2023 年和 2024 年的生成器被区分的 AUC 为 0.67。六个较早的生成器(2017 年至 2022 年)得分相同(0.67)。然而,2025 年和 2026 年发布的生成器 AUC 仅为 0.52,实际上等同于随机。2025–2026 年的生成器中,除一个以外,其余生成器的 95% 置信区间都包含 0.5;唯一的例外是 Inworld TTS-2,其置信区间为 0.51-0.75。
每段音频都用以下方式评分:Simple Noul(二选一问题,输出介于 0 和 1 之间)、Criteria Noul(Simple Noul 附带上下文标准),以及 5-Pt Rubric(从“绝对是真人录音”到“绝对是 AI 生成或合成”的重新缩放评分)。
| 问题格式 | 2017–2024 | 2025–2026 |
|---|---|---|
| Simple Noul | 0.59 | 0.46 |
| Criteria Noul | 0.67 | 0.52 |
| 5-Pt Rubric | 0.66 | 0.47 |
值得注意的是,我们观察到的并非平缓下降,而是 AUC 在 2024 年末、也就是 2025 年初出现急剧下降。
非人类的表现?
MLAAD 背后的研究团队在 2026 年进行了一项聆听研究,收集了来自 1,768 人的 35,532 次真假判断。能骗过人类的生成器往往也能骗过 Gemini Decision 1(r = +0.57),但两者并不总是一致。Griffin-Lim 是 1984 年提出的一种参考信号处理方法,它被区分的 AUC 仅为 0.53(接近随机),尽管人类有 72% 的时间能识别出它。Cartesia Sonic-3 对人类来说最难识别(正确率 32%),而对 Gemini Decision 1 来说则恰好处于随机水平(AUC 0.51)。
有趣的是,Gemini Decision 1 对 Gemini 3.1 Flash TTS 的 AUC 仅为 0.58,这表明它在识别“自己的”声音方面只比随机略好一点。在这一点上,无论是人还是机器,都无法可靠地区分近期的 AI 语音。
数据集与归一化
很容易想象出几种场景,其中泄露的元数据可能导致这些结果。就像 AI 领域的所有事情一样,我想确保我测量的是我打算测量的东西。
AI 语音片段来自 MLAAD,这是一个包含 143 个英语生成器的数据集,它们朗读同一组有声书句子。测试时,我从 34 个生成器中各取了 30 段时长 2.5-10 秒的片段。每个生成器的片段都与来自 LibriTTS(一个 LibriVox 有声书录音数据集)中 30 位说话人的相同 200 段人类片段进行对比测试。所有片段都是干净的有声书旁白。
在将音频片段发送到决策 API 之前,每个片段都用 ffmpeg(-map_metadata -1 -vn -ac 1 -ar 24000 -t 15 -c:a libmp3lame -b:a 128k)重新编码,以防止元数据影响结果。此外,每个片段都被限带至 8 kHz(aresample=16000,aresample=24000),并进行了响度归一化(loudnorm=I=-20:TP=-2:LRA=11)。
写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。请完全按照原样使用它们,无论是在回复中还是在工具调用中:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。
全部 34 个生成器
| 生成器 | 发布时间 | 类型 | AUC | 95% CI | 人类正确率† |
|---|---|---|---|---|---|
| Griffin-Lim | — | 参考 | 0.53 | 0.40–0.66 | 72% |
| Tacotron 2 | Dec 2017 | 开源 | 0.64 | 0.52–0.75 | 68% |
| Glow-TTS | May 2020 | 开源 | 0.80 | 0.70–0.88 | 86% |
| FastPitch | Jun 2020 | 开源 | 0.62 | 0.50–0.74 | 75% |
| VITS | Jun 2021 | 开源 | 0.69 | 0.58–0.79 | 54% |
| SpeechT5 | Oct 2021 | 开源 | 0.72 | 0.60–0.82 | 79% |
| Tortoise | Apr 2022 | 开源 | 0.55 | 0.43–0.67 | 71% |
| Bark | Apr 2023 | 开源 | 0.66 | 0.54–0.77 | 71% |
| MMS-TTS | May 2023 | 开源 | 0.69 | 0.57–0.79 | 68% |
| Matcha-TTS | Sep 2023 | 开源 | 0.58 | 0.46–0.71 | 75% |
| XTTS v2 | Nov 2023 | 开源 | 0.64 | 0.52–0.75 | 68% |
| OpenAI TTS-1 HD | Nov 2023 | 商业 | 0.63 | 0.50–0.75 | 57% |
| MetaVoice-1B | Feb 2024 | 开源 | 0.79 | 0.68–0.87 | 73% |
| OpenVoice V2 | Apr 2024 | 开源 | 0.76 | 0.66–0.85 | 78% |
| Parler-TTS Large | Aug 2024 | 开源 | 0.69 | 0.56–0.79 | 58% |
| F5-TTS | Oct 2024 | 开源 | 0.69 | 0.58–0.79 | 83% |
| Kokoro | Dec 2024 | 开源 | 0.57 | 0.45–0.68 | 57% |
| Llasa-3B | Jan 2025 | 开源 | 0.53 | 0.41–0.65 | 56% |
| Zonos | Feb 2025 | 开源 | 0.46 | 0.34–0.58 | 61% |
| Spark-TTS | Feb 2025 | 开源 | 0.50 | 0.37–0.62 | 64% |
| Sesame CSM | Mar 2025 | 开源 | 0.50 | 0.38–0.61 | 57% |
| Dia | Apr 2025 | 开源 | 0.46 | 0.34–0.59 | 54% |
| Resemble AI | Apr 2025 | 商业 | 0.54 | 0.41–0.67 | 79% |
| Chatterbox | May 2025 | 开源 | 0.49 | 0.36–0.61 | 58% |
| ElevenLabs v3 | Jun 2025 | 商业 | 0.57 | 0.44–0.69 | — |
| IndexTTS-2 | Jun 2025 | 开源 | 0.55 | 0.43–0.67 | 66% |
| VibeVoice | Aug 2025 | 开源 | 0.53 | 0.40–0.66 | 57% |
| Cartesia Sonic-3 | Oct 2025 | 商业 | 0.51 | 0.38–0.63 | 32% |
| MiniMax Speech 2.8 | Jan 2026 | 商业 | 0.51 | 0.39–0.63 | — |
| Qwen3-TTS | Jan 2026 | 开源 | 0.51 | 0.39–0.63 | 52% |
AUC 为 Criteria Noul,每个生成器 30 个片段,对比 200 个 LibriTTS 片段;该区间对片段和 LibriTTS 说话人进行重采样。†2026 年听测研究中该生成器的正确猜测占比(全部片段)。
数据
AI 片段:MLAAD(CC BY-NC 4.0)。人类片段:LibriTTS(CC BY 4.0)。人类听测结果:Human Audio Deepfake Perception 2026(CC BY-NC 4.0)。