在人工智能技术辅助下生成虚假音视频正变得越来越容易。这种行为通常被称为“深度伪造DeepFake”。AI 深度伪造可能被不法分子用作诈骗也可被用于编造谣言、制造社会舆论等带来严重的安全与信用风险。2022 年新华网报道了一起“AI 换脸”诈骗案受害人陈先生前往派出所报案称自己被“好友”骗走近五万元。警方调查后发现犯罪分子利用陈先生好友在社交媒体上发布的视频截取其人脸画面进行“换脸”从而实施了诈骗。2023 年 8 月浙江省杭州市萧山区也通报了类似案件。嫌疑人通过互联网掌握“AI 换脸”软件的使用方法后于 2021 年至 2022 年 8 月间将多位被害人的人脸嫁接到不雅视频上涉及上百名女性给被害人造出极大伤害。2024 年 2 月香港媒体曝出一起高达 2 亿港元的“AI 换脸”诈骗案。报案人为某跨国公司香港分行的员工他称接到“英国总部”信息要求在视频会议上讨论转账事宜。会议邀请了公司多名财务职员参加每个人看上去都与现实容貌一致令当事人毫无戒心遂先后转账 15 次共计 2 亿港元。事后才发现这场视频会议中的所有人物皆为“AI 换脸”所生成。为应对伪造音视频愈发泛滥的现象各国都在加强立法监管。例如2023 年 7 月 4 日法国参议院在“数字空间安全与监管法案”框架下通过了两项与“深度伪造”相关的修正案1“未经某人同意发布通过算法处理、生成或复制其形象或话语的音视频内容”可处一年监禁并罚款 1.5 万欧元若通过社交网络传播则将加重处罚。2若利用“AI 换脸”用于色情目的则可处两年监禁并罚款 6 万欧元。在我国《互联网信息服务深度合成管理规定》已于 2023 年 1 月施行明确要求“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息”“可能导致公众混淆或者误认的应当在生成或者编辑的信息内容的合理位置、区域进行显著标识”。 
