
今年三月,来自世界各地六名记者的一连串电子邮件和短信打乱了我安静的周六早晨。一家伊朗新闻机构播出了一段一周前的视频,视频中看似是一枚美国制造的 Tomahawk 导弹击中了一所学校。新闻报道称,这次打击造成 175 多人死亡,其中大多数是儿童。美国总统和军方否认对此负责。在生成式 AI 和深度伪造相关一切的时代,所有人——包括我——都怀疑这段视频的真实性。
我经常收到这类请求。过去三十年来,我一直在开发数学和计算技术,用于分析和检测数字媒体中的操纵。在这段时间里,我认为可以公平地说,我和大多数人一样,以一种“真实性推定”来看待视觉记录:如果怀疑者声称某段记录是假的,举证责任在他们身上。
然而,在当今生成式 AI 的世界里,我认为我们需要将这种立场转变为“虚假推定”。也就是说,现在举证责任在创作者身上,要证明其内容是真实的。虽然这种新立场对合法创作者来说可能显得不公平,但我认为它既反映了现实,也指向一个未来:我们将再次能够相信大多数在线媒体就是它看起来的样子。
深度伪造检测的取证方法
甚至在去年三月,我已经倾向于“虚假推定”。我对记者们的初步回应大致是:“我怀疑这段视频,因为画质很低,它在轰炸发生数周后才出现,而且只由一家准确报道记录不太出色的伊朗新闻机构发布。”
考虑到潜在影响——不过,如果视频确实是真的,我还是只好花周六上午来分析它。
我首先推理,如果 Tomahawk 导弹被数字化添加到视频的每一帧中,而没有考虑相机运动,我们可能会看到物理上不合理的导弹路径。因此,我使用一个静止的背景地标作为参考来对齐视频帧。在更新后的视频中,导弹实际上确实以近乎直线的轨迹移动。(见下方合成图中的黄点。)
接着,我追问视频中导弹的大小(以像素计)是否合理。在一些合理假设下,我估计视频中的导弹相当于一枚 6 米长的 Tomahawk 在约 100 米距离处。从场景来看,这个距离似乎合理,而且考虑到声音以每秒 343 米传播,这也与从可见撞击到听到撞击声之间 0.3 秒的延迟一致。
由 Tomahawk 打击视频中的帧组成的合成照片显示了导弹的轨迹。Hany Farid;来源:Mehr News
尽管证据越来越多,我仍难以给记者们一个更精确的答案。
我的怀疑源于我最近与 University of California, Berkeley 的同事合作的一项研究,该研究表明区分真实视频和虚假视频有多么困难。观察者现在对视频普遍如此怀疑,以至于他们很难说服自己某段视频是真的。
但在又花了几个小时、对导弹视频又做了几次分析之后,我终于判定它是真实的,并把更新后的看法告诉了记者们。
这次分析对我来说是一个转折点。我意识到自己就像我们研究中的参与者一样:缺少伪影不足以轻易说服我某段视频是真的。我已经从“真实推定”翻转为“虚假推定”。
标示视频的来源
当视觉记录不再可靠时,我们能做什么?
我不再信任视觉记录。但总有一天我会再次信任。
我日常执行的法医分析类型目前还无法以互联网的规模和速度运行。但来源信号可以。这些信号包括在创作或录制时插入或嵌入的内容凭证和水印。
例如,遵循 C2PA 标准的内容凭证会在拍摄瞬间为照片或视频附加一份经加密签名的清单;这些元数据记录设备、录制的时间和地点,以及之后的任何编辑。由于清单经过签名,之后任何对内容或其历史的篡改都可以被机器检测到。水印,例如 Google 的 SynthID,会将一种难以察觉的信号直接嵌入像素或音频采样中,用来标识内容的来源。
Apple 最近将这些想法推进了一步。在其一些最新款 iPhone 上,相机传感器可以在捕获原始像素数据时对其进行加密签名。然后,这些已签名的数据会被处理成一张参考图像,与正常的、可编辑的照片一起保存。之后任何人都可以比较两者,准确看到发生了什么改动——如果有改动的话。
这些来源信号经常被批评为只是部分解决方案,或者容易受到攻击。如果我们把它们视为抓住恶意行为者的机制,这确实如此。但这不是它们应有的作用。它们的目的是让善意行为者证明其视听录制确实如其所声称的那样。
因此,来源信号不必防住对手。相反,这些信号属于一种新现实的一部分:消费者、记者和法院必须适应虚假推定。如果有足够多的善意行为者采用这些机制,他们就能开始压过恶意行为者。换句话说,我们必须从“抓住恶意行为者”的模式转向“赋能善意行为者”的模式。
实时验证
这种从信任数字媒体到不信任数字媒体的转变,已经扩展到日常视频通话。
例如,2024 年 9 月,时任外交关系委员会主席、参议员 Ben Cardin(D-Md.)收到了 Dmytro Kuleba 的视频会议请求;几周前,Kuleba 还是乌克兰外交部长。通话期间,Kuleba 一反常态地追问 Cardin,美国是否应允许乌克兰向俄罗斯发射远程导弹,这让 Cardin 起了疑心。Cardin 结束了通话。后来,国务院确认 Kuleba 从未请求过这次会议,参议院安全办公室警告工作人员,外国对手——可能是俄罗斯——很可能再次尝试类似的伪造会议。
实施这类冒充所需的一切,只是换脸或虚拟形象深度伪造,再加上语音转换;这两者都会实时用深度伪造版本替换说话者的脸和声音。这些技术 readily available in commercial products and open-source libraries,并且运行它们所需的设备不过是一台现代笔记本电脑。
这段视频展示了换脸深度伪造的当前状态。
Farid 的公司 GetReal 展示当今深度伪造视频的真实样子
验证来源的公司必须迅速行动,以检测实时深度伪造。Hany Farid,GetReal
与 Tomahawk 视频不同——我可以坐下来花一上午逐帧分析它——实时视频通话没有时间进行人工分析。另一方面,实时深度伪造也给其创作者带来了新挑战:伪造的视频通话必须以大约每秒 24 帧生成,才能骗过人眼,让人感知到逼真的运动。因此,深度伪造视频通话软件必须走捷径,例如简化人脸及其与周围环境的交互方式,并允许音频与视频之间或视频帧之间存在一些漂移。人眼不会注意到这些捷径,但我们可以通过取证手段将其揭示出来。
来源信号最终应该在这里发挥作用。视频通话软件可以对实时视频流的每一帧应用与 Apple 目前对静态照片应用的相同的加密签名。换脸必然发生在发言者的摄像头和视频会议软件之间,因此软件可以实时验证它接收到的帧是由物理摄像头传感器签名的,还是在传输过程中被篡改的。和以前一样,负担从抓住冒充者转移到让真实参与者证明他们就是自己声称的人。
在数字革命的头二十年,取证分析——寻找操纵的蛛丝马迹——足以裁决大多数真实性问题。然而,AI 革命已经改变了操纵的规模和速度,超出了仅靠取证所能处理的范围。现在要相信一段录音是真实的,它还必须携带来自录制地点的来源信号。这两种方法协同工作,来源信号让好行为者得到信任,而取证分析则根除坏行为者。
- Deepfake Detection Dataset 旨在跟上生成式 AI 的步伐 ›
- NYU 研究人员开发新的实时 Deepfake 检测方法 ›
- 检测目前仍领先 Deepfake 一步 ›
- 阻止音频 Deepfake 的新技术出现 ›
- Deepfake 无处不在。数字取证教父正在反击 | Science | AAAS ›