AI 换脸诈骗频发,如何辨别真假?陕西西安案例解析

2024-09-17
来源:网络整理

近年来,随着人工智能技术的进步,一些不法分子开始利用AI技术将他人的脸部、声音融合,制作出十分逼真的合成图像,进行新型网络诈骗。此类骗局往往在短时间内给受害者造成巨大损失。我们该如何看待这种AI“”?又有没有什么好的办法来识别“AI换脸”呢?我们先来看看近期发生在陕西西安的一起“AI换脸”诈骗案件。

陕西西安某财务人员张女士与老板视频通话,老板要求她将186万元转入指定账户。

受害人张女士:老板让我赶紧把钱转走,很急,因为对方的声音和视频画面跟其他人一模一样,我就更加确定是他打来的钱,就直接把钱转走了。

转账完成后,张女士按照规定将电子凭证发送给了公司内部财务群,可不料群里老板看到信息后却问她,这笔资金的来源是什么?

受害人张女士:然后我们打电话跟老板核实,老板说根本就没有发过视频给我,也没有提过转账的事情。

张女士意识到自己被骗了,赶紧报警求助,警方随即联系反诈骗中心并联系相关银行进行紧急止付,最终挽回了被骗资金156万元的大部分损失。

AI“多人换脸”诈骗案 骗取2亿港币

百万以上的现金,对大多数人来说都是一笔巨款,幸好警方处理及时,挽回了大部分损失。再来看另一起案件,此案中的“换脸”技术难度更大,涉案金额也更大。近日,香港警方还披露了一起AI“多人换脸”诈骗案,涉案金额高达2亿港币。

该案中,某跨国公司香港分公司员工被邀请参加总部CFO发起的多人视频会议,并按照要求多次向5个本地银行账户转账2亿港元,后向总部查询,发现被骗。警方调查发现,该案中所谓的视频会议中,只有一名受害人是“真人”,其余所谓参会人员均为被AI换脸的骗子。

看完这两个案例,你一定很好奇AI换脸背后的技术原理。技术层面,它是如何实现精准的人脸识别与替换,从而创造出逼真的效果的呢?让我们来听听专家的讲解。

技术上如何实现精准人脸识别与替换

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:AI换脸流程主要包括人脸识别跟踪、人脸特征提取、人脸变换融合、背景环境渲染、图像音频合成等几个关键步骤。背后的核心包括三部分。首先,利用深度学习算法精准识别视频中的人脸图像,提取眼睛、鼻子、嘴巴等关键面部特征。其次,将这些特征与目标人脸图像进行匹配、替换、融合。最后,通过渲染背景环境、添加合成声音,生成高逼真度的假换脸视频。

一张照片就能完成快速AI换脸

为了了解AI换脸到底有多逼真,记者与专业技术人员一起,对AI换脸技术进行了深入体验。

技术人员先用手机拍下了记者的面部照片,导入AI人工智能软件后,让记者惊讶的是,虽然电脑摄像头前的人是技术人员,但输出的确实是记者的照片。几乎可以说是“一键换脸”,不需要复杂的环境和减压操作。

更让人吃惊的是,随着技术人员表情的变化,照片中记者的脸色也随之变化。

记者:为什么技术人员的脸一动,我的照片也会动呢?

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:首先通过视频采集,可以对图片中的人脸进行跟踪定位。定位到之后,第二步就是对人脸的特征点进行采集和提取,主要包括嘴、鼻、眼等比较明显的面部特征。采集到之后,第三步就是对原照片进行变换、融合、重塑。

记者:这张照片还可以做什么呢?

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:目前技术人员已经把这张照片活起来了,而且如果我们能够把这张照片保存下来,存储大量的照片,我们可以把这张照片合成一个短视频,以后再发布。

人工智能人脸检测技术主要通过深度学习算法实现,能够识别面部特征并进行精准分析,能够从照片或视频中提取出一个人的面部表情,并与另一个人的面部特征进行匹配。专家告诉记者,如果要在实时视频通话中使用人工智能AI换脸技术,一张照片是远远不够的,需要收集近千张不同角度的照片。

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:如果要做到实时的点对点沟通,需要采集更多的照片,然后训练深度学习算法模型,把训练好的模型加载到我们的视频里面之后,就可以实时的进行换脸转换,这样的话就可以实现实时换脸。语音沟通也是可以的,我们需要提前采集一些我们目标群体的声音,然后训练模型,把目标群体的声音还原出来。

人工智能生成高度逼真的视频,这很困难,需要大量投资

专家表示,点对点视频诈骗需要AI生成高度逼真的视频,想要达到以假乱真的诈骗效果并不容易。

中国计算机学会安全专业委员会数字经济与安全工作组委员 方宇:诈骗其实主要通过点对点的视频通话来进行,这时候如果利用换脸技术、语音合成来进行实时换脸诈骗,需要强大的技术支持才能完成这些技术操作。

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:“它需要很大的资金投​​入,包括图像的采集、专业的算法人员等等,需要很长的时间周期,包括一些算力的算法,各方面的投入都需要长期的不断迭代和运行,才能达到比较现实的效果,才有可能达到造假的实际效果。”

目前AI“换脸”更多运用在娱乐视频录制上

除了部分不法分子企图利用AI技术实施诈骗,其实近年来,AI技术更多被运用在短视频的二次创作中,娱乐性质十足。网络上出现越来越多明星AI换脸视频,不少网友感叹此类视频“唇形、手势一模一样,太自然了,差点以为是真的”。

比如这款软件可以在拍下记者的脸部照片后,在几秒内录制并生成记者变身赛车手的视频。

△网友晒出的女士系丝巾的原视频

△需要改造的脸部照片

△生成视频

中国计算机学会安全专业委员会数字经济与安全工作组委员 方宇:目前我们经常看到的AI技术主要体现在短视频换脸中,通过做一些特定的动作,跳舞等,这些视频其实看起来有些不自然,换脸本身纯粹是为了娱乐目的。

记者发现,手机应用商店中已有数十款换脸软件,可以达到换脸的目的。

中国网络空间安全协会人工智能安全治理委员会专家薛志辉:如果要娱乐大众,市面上有很多软件、工具可以实现AI换脸的效果,但是仿真度大概只有六七成,大众是能直接看出来的。但是如果要生成一个造假视频来说话,就得生成一个点对点的视频,仿真度非常高。

“换脸换声音”人工智能技术或带来法律风险

但AI技术也是一把“双刃剑”,即便将AI换脸或变声用于娱乐目的,也存在法律风险。法律专家表示,利用AI技术为某人换脸或变声,甚至翻译成其他语言并发布视频,都有可能涉嫌侵权,主要体现在三个方面:

第一,涉嫌侵犯版权。比如相声、小品都是受《中华人民共和国著作权法》保护的“作品”。如果网友利用AI软件将相声、小品“翻译”成其他语言,就必须取得版权方的授权,否则就会存在侵权问题。

第二,涉嫌侵犯肖像权。根据《中华人民共和国民法典》,任何组织或者个人不得以丑化、毁损、利用信息技术手段伪造等方式侵犯他人肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人肖像,但法律另有规定的除外。

第三,涉嫌侵犯声音权。根据《中华人民共和国民法典》,对自然人声音的保护,应当参照肖像权保护的有关规定。也就是说,使用他人声音,需要征得声音权利人的同意。

学会几招轻松识别AI“换脸变声”

AI换脸技术的出现,导致听到的未必是真的,看到的也未必是真的。那么该如何防范呢?专家表示,无论AI换脸技术有多逼真,还是有一些方法可以辨别视频是真是假的。

中国计算机学会安全专业委员会数字经济与安全工作组委员 方宇:其实从我目前看到的实时视频来看,还是有一些方法可以验证的。

比如说,我们可以在视频对话的时候让对方在脸前挥动双手,来实时识别和伪造视频,因为它需要实时生成和处理视频,用AI来代替人脸。

那么在挥动的过程中,就会对人脸数据造成干扰,最后的效果就是我们看到的。在挥动的过程中,伪造的人脸会有一些抖动或者是闪烁,或者是一些不正常的情况。

二是在点对点的交流中,可以问一些只有对方知道的问题,以验证对方的真实性。

提高防范个人生物特征信息泄露的意识

专家表示,除了一些识别AI换脸诈骗的小技巧外,我们每个人都应该提高防范意识,在日常生活中做好相关预防措施,养成良好的上网习惯。首先,要做好日常信息安全保护,加强人脸、声纹、指纹等生物特征数据的安全保护:另外,要做好个人手机、电脑等终端设备软硬件的安全管理;其次,不要登录不明网站,避免被病毒入侵;第三,对于可能收集声音、图像甚至视频、定位的应用,做好授权管理。不给别人收集你信息的机会,也能在一定程度上让AI换脸诈骗远离你。

人工智能技术发展需要多层次监管规范

除了提高自我防范意识外,如何加强对人工智能技术的监管也成为越来越多人关心的问题。人工智能技术本身没有问题,关键在于我们如何利用它?如何形成有效的监管?专家表示,人工智能技术的发展需要多层次的监督和规范。

第一,在源头上,需要进一步加强公民个人信息保护,特别是加强生物识别等隐私信息的技术和司法保护。第二,可以在技术层面加强管理。比如,视频发布网站或社交软件,可以利用专业的识别软件,对AI生成的视频进行识别,并在上面打上不可磨灭的“AI生成”水印。目前,这种数字水印认证技术有待进一步普及。第三,在法制层面,人工智能等领域的相关法律法规要进一步完善。2023年8月15日,我国正式实施《生成性人工智能服务管理暂行办法》。《办法》从多个方面“划红线”,旨在促进生成性人工智能健康发展和规范应用。

分享