案例摘要:
当前AI换脸是高科技诈骗的新方向,诈骗分子通过AIGC合成人脸,伪装成熟人通过视频通话软件进行诈骗的案例时有发生,给人民群众造成了巨大的经济损失。
在防止电信网络诈骗领域,荣耀一直积极接受国家监管机构指导,并持续投入,探索电信网络诈骗一体化技防新手段。针对此种新出现的诈骗方式,我司针对此类诈骗的特殊形式,结合荣耀端侧AI能力,为用户提供实时检测能力,即在消费者使用视频通话功能时,对视频中的人脸进行检测,判断其是否为通过AI伪装合成,并通过弹框向用户实时提示风险。该解决方案能帮助消费者有效的防范新形态的诈骗风险,保护消费者利益。
实施背景:
随着科技的发展和技术的进步,人工智能作为一项重要的新技术,正在不断地推动产业的发展与革命,而与此同时也带来了诸多新的风险与挑战,如数据偏见与歧视、用户隐私保护与数据安全等。为了应对这些隐私安全的挑战,荣耀自创立之初就提出“科技有道,隐私至上”的理念,始终坚持隐私是用户的基本权利,并构建自身完备的全球隐私保护管理体系,形成总体政策、规则要求以及基线,并将这些要求贯穿于业务的始终。
近年来AI换脸等技术已被广泛利用于诈骗和诽谤,导致社会信任度下降,成为一项亟需解决的社会性问题,基于此,荣耀通过对用户需求及产业趋势的洞察,推出智能终端AIGC人脸合成反诈检测系统来保护用户财产及名誉不受损失,为消费者构建可信赖的数字生活。
实施目标:
随着AI技术的发展,AI技术在给人们的工作生活带来便利的同时,也带来了一些滥用AI技术导致的负面事件,其中,利用AI技术实施诈骗的案例也日益增多。
从2023年至今,多家权威媒体分别报道了多起不法分子利用AI技术融合他人面孔和声音,制造非常逼真的合成图像来实施新型网络诈骗的案例。诈骗金额从几千到几百万元不等,公安部数据显示,近两年来,全国共发生“AI换脸”类诈骗案近百起,累计给人民群众造成经济损失高达2亿元。
“AI换脸”类诈骗案件逐渐增多,如何保护广大人民群众免于遭受此类诈骗风险,财产安全不被侵犯,是近几年监管一直高度重视的问题。工信部、公安部、反诈专班等多次组织各运营商、设备厂商和互联网厂商召开会议,讨论和部署反诈工作。其中就专门提到:对于已经运营的即时通讯、视频会议、视频通信等业务要规范业务流程、堵塞安全漏洞;持续加强设备安全防护,强化反诈功能。
荣耀希望通过“智能终端AIGC人脸合成反诈检测系统”的推出,来作为监管、行业、用户所关心的“AI换脸”诈骗问题的专项解决方案,并通过该技术在一定程度上降低这一新型诈骗方式对于人民群众带来的风险和损害。同时,我们也希望该项技术的推出,为整个行业寻求一条反诈新思路。
建设内容:
根据调研和分析,我们首先针对目前发生率较高的典型AI换脸诈骗场景进行了总结,并对其主要诈骗的触发手段和监测特征进行归纳。当前利用AI换脸诈骗的典型的诈骗旅程如下:
1)诈骗分子通过各种app获取用户的个人信息,如用户的人脸(如社交软件头像、朋友圈、社交媒体发布的个人照片),电商出行app暴露的个人电话、地址或消费习惯等;
2)诈骗分子通过黑产大数据锁定诈骗对象,如是否是“有钱人“,好友/亲属关系(社交软件联系人列表、通信录);
3)通过冒充熟人添加好友,或盗号冒充好友,与受诈人建立联系;
4)在联系过程中,在视频通话中通过AI预先合成视频或者实时换脸的方式确认朋友身份,取得受诈人信任;
5)建立信任后,再以各种理由,采取不同的剧本实施诈骗。
针对于目前需要解决的实时视频通话场景中的人脸仿冒这一特殊场景,我们对其实施AI人脸诈骗的流程进行了分析,并针对其诈骗流程的特点展开针对性的检测和反诈提醒。
在此流程中,诈骗分子主要是通过AI深度合成技术将其人脸和声音进行伪造,再通过侵入到三方/运营商的视频通话应用中进行滥用,从而冒充熟人实施诈骗。而此流程的薄弱点则在于被诈骗用户端的视频流的分析和检测,可以作为整个流程的切入点。
本功能是针对用户可能涉及到诈骗时整个诈骗旅程,进行特征分析和提取,形成有效的专家库,从而提升诈骗检测的检出率,具体包括:
a.感知:通过特征采集和检测,识别出诈骗旅程的关键特征(如疑似诈骗电话/短信/网址,下载疑似诈骗应用、设置屏幕共享、拉起支付App等),以及易受诈用户的画像;
b.识别:通过静态和动态模型,识别用户受诈风险(并识别高中低等级);
c.根据风险,采取不同的处置方式(如提示用户、阻断支付、通知紧急联系人等)。
而针对以上反诈检测流程,核心点在于对受害者手机中的视频通话进行合成伪造检测。荣耀在功能设计时首先针对当前主流的AIGC换脸算法(VAE/GAN),提供检测功能,再依赖荣耀丰富的端侧AI能力构建经验,在兼顾隐私和性能的同时,将AIGC换脸检测能力部署在手机端侧。
VAE(变分自动编码器,通过学习数据的概率分布生成新的数据样本)和GAN(生成对抗网络,由生成器和判别器两部分组成,生成器用于生成类似真实图片的假数据,而判别器用于区分生成器生成的数据真假;GAN通过生成器和判别器之间的对抗训练,生成高质量的图像)都是基于深度学习的两种常见的生成模型,当前被广泛用于图像生成领域。针对这两种深度合成的人脸伪造方式,荣耀从其生成结果入手,进行了大量的研究和试验,使用大量生成图片进行检测模型训练,并针对VAE和GAN生成图片提出了空间检测、频域检测、生物信号检测三种检测方案。最终经过大量的论证和测试,才得以形成目前的成果并投入使用。
此外,AIGC人脸合成反诈检测技术还利用端侧AI模型进行识别,可确保数据在端侧生成和推理,不上云,从而保护用户数据隐私;而荣耀在手机终端算力资源受限、检测时长要求苛刻的条件下,通过构建AI检测模型,进行了大量的样本训练,最终实现了能有效检测VAE/GAN人脸伪造的算法能力,能在不影响用户体验(性能、功耗和检测时延都可控)的情况下及时完成对视频中人脸的检测,并结合全链路反诈识别能力,为消费者防止AIGC视频诈骗提供有效的技术手段。
同时,我们也设计了详细的隐私方案,确保用户对于本技术的可知可控。在用户使用AI换脸检测功能前,通过通知胶囊等方式对用户进行告知明示,引导用户了解功能介绍,同时设置单独的功能开关,由用户主动控制是否开启;在检测时,仅对触发特定涉诈条件的视频通话进行检测,确保数据收集最小化,并同时在检测时通过通知胶囊等方式实时提示用户;在检测完成后,若触发高风险,通过弹窗对用户进行告知,告知用户可能涉及AI换脸诈骗,并由用户决定是否录屏保存证据等。
实施效果:
荣耀智能终端AIGC人脸合成反诈检测系统是荣耀端侧AI能力建设的重要一环,也是荣耀持续创新安全工程能力的又一重大突破。在前期咨询访谈和用户调研阶段,我司了解到AI人脸合成识别、AI反诈类需求是近年来用户和监管机构均关注的重点,在解决方案构建完成后,第一时间便向公众公布了这一好消息,得到了业界的一致好评。
2024年6月26日,在上海世界移动通信大会(2024MWC上海)上,荣耀向全球用户展示了这一手机行业首个端侧AI反诈检测技术,这一解决方案的发布,引起了全球媒体的广泛关注,在MWC上发布之后,有近百家媒体对荣耀AIGC人脸合成反诈检测技术进行了报道,并颇具好评;随后,在9月举行的柏林国际电子消费品展览会(IFA)上,荣耀AI安全及AI反诈检测技术的亮相再次引发全球热议。