在观看了数小时前总统奥巴马每周发表讲话的视频片段后，Shruti Agarwal开始注意到一些关于奥巴马说话方式的怪癖。
加州大学伯克利分校（UC Berkeley）计算机科学研究生Agarwal说：“每次他说‘嗨，大家好’，他都会把头向左或向右移动，然后卷起嘴唇。”
Agarwal和她的论文导师Hany Farid，即电子工程和计算机科学系以及加州大学伯克利分校（UC Berkeley）信息学院的教授，目前正在努力开发数字取证工具，以揭示“深度伪造”，即人工智能生成的超现实视频，视频中人们做着或说着他们从未做过或说过的事情。
在奥巴马的真实演讲中看到这些方式给了Agarwal一个想法。
Agarwal说：“我意识到在所有这些深度伪造中有一个共同点，那就是它们往往会改变一个人说话的方式。”
Agarwal的洞察使她和Farid创造了对抗深度伪造的最新武器：一种新的法医方法，可以利用一个人说话方式的微妙特征，比如奥巴马明显的点头和卷起的嘴唇，来识别这个人的新闻视频是真实的还是虚假的。
Agarwal本周在位于加利福尼亚州长滩举行的计算机视觉和模式识别会议上展示了他们的技术,该技术可用于帮助记者、决策者和公众在政治或经济领导人的虚假视频出现之前领先一步, 这些视频可能被用来推动选举、破坏金融市场稳定，甚至煽动内乱和暴力。
“想象一下现在的世界,你读到的新闻可能是真实的,也可能是不真实的——这就是我们自2016年选举以来，过去两年一直生活的世界——你看到的图像和视频可能是真实的,也可能不是真实的，”在7月1日开始在加州大学伯克利分校任职的Farid说。这不仅仅是伪造图像和视频方面的最新进展。正是这些技术注入了一个已经在宣传假新闻、耸人听闻的新闻和阴谋论的生态系统。
这项新技术之所以有效,是因为所有三种最常见的深度伪造——被称为“嘴唇同步”、“换脸”和“木偶大师”都涉及将一个来源的音频和视频与另一个来源的图像相结合,从而创造一个可以被敏锐的观察者或复杂的计算机模型发现的断开连接。
例如,使用“换脸”技术,通过将特朗普的脸叠加到亚历克.鲍德温模仿特朗普的视频中,从而制造一个唐纳德.特朗普的深度伪造,这样,鲍德温几乎就像戴着贴身的特朗普面具一样。但是鲍德温的面部表情仍然会通过面具表现出来，阿加瓦尔说。
Agarwal说:“新塑造的形象将具有亚历克.鲍德温的表情和面部行为,但却是特朗普的脸。”
同样,在“嘴唇同步”的深度伪造中，人工智能算法提取一个人讲话的现有视频,并更改视频中的唇部运动以匹配新音频的语音,其中音频可能是断章取义的旧语音、模拟者说话或合成的语音。去年,演员兼导演Jordan Peele利用这种技术制作了一段病毒视频，视频中奥巴马说了一些特朗普总统的煽动性言论。
但是在这些视频中,只有嘴唇运动被改变,所以面部其他部位的表情可能不再与所说的话相匹配。
为了验证这个想法, Agarwal和Farid收集了五位主要政治人物的视频片段——希拉里.克林顿、巴拉克.奥巴马、伯尼.桑德斯、唐纳德.特朗普和伊丽莎白.沃伦——并通过开源面部行为分析工具包OpenFace2进行分析，该工具包可以识别出面部抽搐，比如眉毛凸起、鼻子皱纹、下巴下垂和嘴唇紧闭。
然后,他们利用这些输出来创建团队所称的"软生物识别"模型,该模型将每个政治领导人的面部表情和头部运动联系起来。他们发现每个领导者都有一种独特的说话方式,当他们使用这些模型分析他们在南加州大学合作者制作的真实视频和深度伪造时,依据领导者和视频的长度，他们发现这些模型能够准确地分辨出92% 到 96% 之间的真假。
“基本的想法是,我们可以为各种世界领导人，如 2020 年的总统候选人，建立这些软生物识别模型, 然后，当视频开始播放时，我们可以分析这些模型，并试图确定它们是否是真实的。” Farid说。
与一些数字取证技术不同,这种新技术通过识别制造过程中留下的图像伪影来识别假制品,新技术仍然可以识别通过简单的数字处理(如调整大小或压缩)而更改的假制品。
但这并非是万无一失的。这项技术在政治人物发表演讲和正式讲话时效果很好, 因为他们倾向于在这些环境中坚持精心排练的行为。但在其他场景下，这些人的视频可能效果不佳：例如,奥巴马在问候他的朋友们时可能不会点头而表示同样的特征。
研究人员说,深度伪造的创始者也可以对这些语言模式更为精通,并学会将它们融入到他们为世界领导人制作的视频中。
Agarwal说,她希望新技术将有助于在不断进化的发现深度伪造的竞争中争取一些时间。
Agarwal说: “我们只是想在这个发现和创造新的深度伪造的猫和老鼠游戏中取得一点优势。”
原文作者：Kara Manke
原文链接: https://news.berkeley.edu/2019/06/18/researchers-use-facial-quirks-to-unmask-deepfakes/
