在一次偶然的际遇中,胡先生察觉到母亲轻信了AI换脸技术的虚假广告,购买了并无效果的保健品,耗资万元。经过一番观察,他终于发现了视频中存在的诸多问题,如颈部扭曲、声画不一致等明显瑕疵。现在,只需上传一张图片或一段录音,便能轻易制作成动态影像,而“AI换脸”和“拟声”技术则成为了侵权违法行为的高风险领域。在今年全国两会期间,众多全国人大代表和政协委员纷纷发声,强烈建议通过立法手段对AI的“换脸拟声”功能进行规范和整治。
至今年五月,众多手机品牌陆续推出了AI换脸及拟声识别技术,宣称具备“5秒内辨伪”及“识别准确率高达96%”的能力。然而,这些技术对于AI生成内容的识别效果究竟如何?5月6日,南都记者对荣耀、小米、OPPO三款内置AI检测功能的手机进行了实际测试,发现均未能有效识别。国家互联网应急中心的技术专家们提出,在推广AI反诈检测能力时,应强调其安全辅助作用,并确保用户能够正确理解这一功能,切勿因此降低自身的安全意识。
多款手机上线AI换脸、拟声检测功能
公安部的统计资料显示,从2022年至2024年初,我国遭遇了将近百起“AI换脸”诈骗案件,这些案件给民众带来了总计超过2亿元的经济损失。在去年8月,工信部反诈领域的专家们透露,他们已经联合了众多终端设备制造商,共同推出了针对AI换脸诈骗的风险预警功能。
南都记者经过整理发现,自去年10月份起,众多手机品牌纷纷推出了AI人脸识别技术。荣耀在9.0系统内融入了AI检测技术,这一技术为手机端的微信、QQ视频通话等应用场景提供了AI换脸检测服务;小米在其最新操作系统.0版本中加入了AI反诈功能,宣称当系统发现潜在的AI换脸及声音伪造等风险时,会迅速向用户发出预警;OPPO在今年3月份推出了“AI合成语音识别”技术,旨在辅助识别AI模拟熟人声音的新型电信诈骗手段,从而有效识别通话中的潜在风险;联想则计划推出“深度伪造技术检测器”,将检测功能整合到在线会议和社交媒体平台中,据悉,该功能能在5秒内识别AI换脸伪造,准确率高达96%,并支持笔记本电脑、台式机、平板电脑和手机等多种设备,但截至目前,这一功能尚未在终端产品中得到应用。
厂商与骗子之间的“猫鼠追逐”背后,究竟运用了哪些隐蔽的技术手段?一份来自某手机制造商发布的技术分析报告透露,其中的AI换脸检测技术主要针对的是在实时视频通话过程中的人脸欺骗行为。在这一过程中,骗子利用AI深度合成技术来伪造人脸与声音,接着他们非法侵入第三方或运营商的视频通话软件,滥用这些功能进行诈骗活动。该流程的弱点主要体现在对受骗用户端视频流的解析与鉴别上,这一点亦是反欺诈检测流程中的关键所在。检测技术借助AI检测模型的构建,经过海量的样本训练,以评估VAE/GAN人脸伪造算法的效能。
实测荣耀、小米、OPPO手机AI检测功能
均未成功识别AI
这些功能在实际应用中的表现究竟如何?在5月6日,南都的记者对荣耀V3、小米15以及OPPO三款手机的AI换脸和语音合成检测功能进行了详尽的测试。
在测试阶段,南都记者选取了数种诈骗情境下的“人工智能合成视频及语音”,分别与三款手机进行了通话测试。在功能开启的情况下,荣耀和小米手机均能弹出防护检测的提示窗口,而OPPO手机则没有任何提示信息出现。然而,在测试过程中,这三款手机均未能准确识别所测试的AI视频或音频。
具体分析这三款手机的表现,我们发现:在进行视频通话并添加新朋友时,遇到AI换脸的视频内容,荣耀手机会弹出提示,要求用户进行“AI换脸检测”。南都记者按照提示进行了操作,然而检测结果显示,荣耀手机并未发现任何AI换脸的痕迹。
在相同的通话情境中,小米和OPPO的手机只是向用户告知了防护功能已开启,然而在通话的全过程中,并未接收到任何形式的提醒信息。
南都记者向客服了解相关测评情况,荣耀客服回应称,现阶段AI换脸检测技术尚未确立明确的检测能力规范,也就是说,尚不能明确指出在哪些具体情境下、何种程度的AI换脸技术可以被识别出来,检测技术仍在不断接受训练和优化。OPPO客服指出,在功能识别不准确的情况下,目前语音合成识别的响应速度较慢,需对具体原因进行细致分析;而截至稿件完成时,小米客服尚未提供任何相关解释或说明。
专家建议:
应充分提醒用户合理认知功能
不应放松警惕
国家互联网应急中心的技术专家向记者透露,人脸识别技术已相对成熟,各大手机制造商在设备上推出AI换脸检测功能,这确实有助于帮助用户抵御换脸换声的诈骗行为。然而,在宣传反诈骗功能时,仍需保持谨慎态度。此问题涉及三个层面,首先,手机制造商是否拥有反欺诈功能尚存争议;其次,在执行反欺诈措施的过程中,需明确用户财产和隐私安全的界限,比如在收集人脸信息时是否充分告知并取得用户同意,以及如何防止人脸信息的过度收集;再者,若将AI反欺诈作为宣传卖点,却缺乏相应性能支持,导致用户面临风险,终端制造商也应承担相应责任。
专家提出,首先,AI反诈检测能力的宣传应侧重于安全辅助,确保用户能正确理解这一功能,避免因功能存在而降低警觉性;再者,需引导公众准确把握AI的职能,增强AI素养;此外,AI换脸鉴伪并非单方面责任,内容传播平台有责任对平台内的视频和语音通话进行AI鉴伪。