作者 |徐沁然 上海交通大学本科生
         郭依贝 华东政法大学本科生
         张   越 浙江大学本科生
         刘子彤 华东政法大学本科生
编辑 | 仲飞宇 西安外国语大学本科生
         于   杰 上海对外经贸大学本科生
责编 |扎恩哈尔·阿黑哈提 新疆农业大学本科生
一、事件简介
（一）AI“深度伪造”技术
引发的造假案例涌现
近日以来，利用AI“深度伪造”技术生成虚假广告、进而实施欺诈行为的案例不断涌现，人工智能带来的新型焦虑正受到人们热议。据香港文汇报报道，有诈骗集团利用AI“深度伪造”技术向一家跨国公司的香港分公司实施诈骗，并成功骗走2亿港元，这成为香港迄今为止损失最大的“换脸”案例。
在美国，根据BBC News报道，皮尔斯·摩根（Piers Morgan）、尼格拉·劳森（Nigella Lawson）和奥普拉·温弗瑞（Oprah Winfrey）等名人对AI“深度伪造”技术所生成的在线广告进行了强烈抗议，因为这些广告制造了他们为美国网红的相关课程代言的假象。一则广告使用了这样一个镜头：尼杰拉·劳森在谈论她的食谱和作为电视厨师的工作。“我去度假，在一个非常私密的聚会上遇到了这个人。他的名字叫韦斯利，他递给我一页藏在别人房间里的圣经，”那个声音说。然而，这并不是劳森的声音，而是来自人工智能语音发生器的模仿，但几乎无法区分真伪。这个真实的镜头覆盖着一个美食作家声音的深度伪装，听起来就像劳森把自己的成功直接归功于韦斯利的指导。另一个广告对皮尔斯摩根电视节目进行了模仿，并采用了类似的技术。其中的声音描述了“一部失传的古老经文，国王们用它来吸引巨额财富、神奇的治疗和无与伦比的爱”，而且看起来他们的口吻被篡改过，以符合演讲内容。皮尔斯·摩根告诉BBC，这则广告是又一个“公众人物被人工智能操纵者深度造假以获取经济利益”的例子。
（图片来源于网络）
（二）AI“深度伪造”技术介绍
AI“深度伪造”技术（Deepfake）是指利用深度学习技术生成合成图像、音频或视频的技术。该技术主要基于生成对抗网络（Generative Adversarial Network, GAN），这是一种人工智能深度学习模型，其工作原理是由两个神经网络相互对抗：第一个用于生成图像，第二个用于判别该输出是否真实。该模型经过交替优化训练后，能够学习面部特征之间的潜在关系，并生成与真实面部特征高度相似的虚假面部特征。
当前，AI深度伪造技术作为一种人工智能人像生成技术，主要包含以下内容：
（1）面部替换：将人像覆盖至既有图片或视频上，实现面部合成以假乱真。
（2）面部重演：操纵视频中人像的面部特征，扭曲一个人的表情，包括口型、眉毛、眼睛的运动和头部的倾斜。
（3）人脸生成：基于训练数据生成全新的人脸图像。
二、法律分析
（一）“深度伪造”技术带来的法律风险
“深度伪造”可在各种场景中落地，文本、图像、音频、视频等领域，均可能被该技术影响，从而引发相应的法律风险。
以图像为例，TikTok的老化滤镜可以推引出几十年后人老年时的面部特征，其余部分软件则可以替换照片中的人脸，从而拼接出原先并不存在的照片。深度伪造技术借由深度神经网络（Deep Neural Network）技术，能够对上传照片中的图像进行编码与解码，进而替换或融合画面中的面部或身体。
（图片来源于网络）
1
被伪造者
深度伪造的进行并不需要经过被伪造者的同意，这一行为极大侵犯了被伪造者的肖像权。2022年8月，成都铁路运输第一法院就审理了一批使用“AI换脸”软件侵害他人肖像权的案件。同时，大量造假案例都指向公众人物，无节制的“深度伪造”也会造成公众人物的媒体信誉受损。
即便此类经过深度伪造的照片和视频中有水印用以表示这是经过AI处理过的作品、照片和视频中的主体并非本人，公众仍不可避免地受到其影响和误导。因此，被伪造者的形象也会受到负面的影响。尤其是经过深度伪造的色情制品会侵犯被伪造者的声誉和名誉，对被伪造者的正常生活、心理和精神造成困扰，导致诸如焦虑、抑郁、愤怒等情绪。
在知识产权领域，基于深度伪造技术多会在已发布的作品上进行数据的修改，这样的行为有侵犯著作权的风险与争议，对画手、作曲家的权利造成了侵害。“AI孙燕姿”等歌手的蹿红，也面临着侵犯相关歌手著作权的风险。
2
社会公众
井喷的虚假信息可能触及语言、视觉、听觉等各个层面，与真实世界具有高度的重合性，对一般公众有巨大的迷惑性。
针对社会公众的诈骗，尤其是电信网络诈骗，在深度伪造技术之后数目日益飙升。深度伪造技术的使用门槛较低，使得任何人都可能利用此项技术虚构信息实施诈骗。缅北诈骗集团就曾利用深度伪装技术构建虚假身份，拐骗人员前往缅甸进行“电诈”活动。
（图片来源于网络）
利用AI换脸制作不雅视频或图片，还能便利部分人对特定对象实施敲诈和勒索。
除此以外，深度造假还可能促进新型犯罪方式的产生。比如，不法分子曾利用深度伪造技术对高清头像进行处理，使得图片动起来，进而突破人脸识别系统。2021年，上海市虹口区人民检察院就公诉国一起特大虚开增值税普通发票案。该案中，被告人通过破解人脸识别技术的方式注册“皮包公司”用于虚开增值税普通发票，价税合计超过5亿元。
（二）国内外法律监管现状
1
美国法律对深度伪造技术的法律监管现状
针对deepfake所涵盖的各种行为，在美国可能涉及侵害他人的“个人形象权”。
2019 年 6 月 28 日， 美国国会提出了《2019 年深度伪造报告法案》（Deepfake Report Act of 2019），要求美国国土安全部（DHS）定期发布关于深度伪造技术的评估报告。
2019 年 7 月 1 日生效的美国弗吉尼亚州的《反色情复仇修正法案》，将“制作、传播虚假的裸体或性视频或图像” 以胁迫、骚扰或恐吓他人的行为也认定为刑事犯罪，即，深度伪造如若作为色情报复的手段，极有可能被认定为犯罪行为。
深度伪造在美国还会侵害了公民的个人形象权，该权利是指个人有权控制代表其个体特征且具有商业价值的形象要素，并由此获得报酬的权利。这一权益的侵害主要表现，深度伪造的制造者在未经授权的许可下为对具有巨大商业价值的公民的个人形象的侵害，并以此获利。《加利福尼亚州民法》第3344章及第3344.1章节（California Civil Code Section 3344 and Section 3344.1，也被称为“加利福尼亚州个人形象权法（California Rights of Publicity Statute）”）将个人形象权视为一种财产权利，即将当事人的个人特征形象（包括肖像、姓名、声音、签名及相似特征）进行商业性使用并由此获得报酬的权利。由于未经同意的换脸色情视频泛滥，许多名人的形象出现于深度伪造视频中，被用于牟利目的。
2
中国法律对于深度伪造技术的法律监管现状
中国对于深度伪造的法律监管，主要体现在当涉及到侵犯肖像权和在《生成式人工智能服务管理办法（征求意见稿）》第13条中，服务提供者应当建立用户投诉接收处理机制；在发现知悉生成的内容侵害他人肖像权时，应当采取措施，停止生成。
（图片来源于网络）
2022年12月发布的《互联网信息服务深度合成管理规定》对深度伪造提出较有针对性的规制。因deepfake涉及人脸等生物识别信息的显著编辑功能，《管理规定》第14条第2款规定，deepfake服务提供者和技术支持者应当提示服务使用者依法告知人脸被编辑的个人（即肖像权人），并取得其单独同意。
三、事件反思
随着Deepfake技术日益普及及其市场的持续扩展，我们亟须深思如何有效防范该技术领域内的潜在风险，如何有效监管Deepfake技术的合理使用，并在现有解决方案的基础上不断推陈出新。
（一）用AI打败AI：
提升对“深度伪造”技术的鉴别能力
除了前述法律规制进路之外，采用AI技术检测抑制Deepfake已成为近年不容忽视的发展趋势。以中国为例，从中国电信等央企到拥有强大科研实力的科技公司及专注于AI的企业，均已研发出成熟的Deepfake检测技术并形成了全面的市场布局。AI甄别伪造人脸图像的技术等已经在金融安全、媒体信息安全、公共安全等领域得到广泛应用。
（图片来源于网络）
业内人士表示，随着新型Deepfake技术的持续涌现以及网络传播环境日益复杂化，以及深度神经网络检测算法的局限性，反伪造检测领域的挑战日益严峻，要求Deepfake检测技术不断更新、迭代。深度合成技术与检测算法通过持续的相互进化来避免被对方的新技术识别，为了在这场攻防战中维持主动权，反伪造技术的未来发展必须集成包括多模态内容分析在内的广泛能力，旨在精确识别伪造内容，从而构筑可靠的内容验证体系。
（二）加快完善人工智能相关的法律法规
当然，以技术手段对数字成品进行检测属于事后型规制，尽管在一定程度上能够起到止损效果，却无法从源头上抑制Deepfake的恶意使用以及所带来的各类损害。若要从根本上进行监管，则需要不间断地进行技术动态跟踪，从而更及时有效地完善、更新现有的法律法规。
我国对深度伪造的法律规制存在的缺陷和弊病主要表现在披露义务规定不具体、网络服务提供者责任不明确、损害认定与救济难度大、缺乏有效的事前预防和事中控制措施等多个方面。对此，我们提出如下建议供立法者参考：
1. 明确制作者的披露义务：参照美国《深度伪造责任法案》，详细规定深度伪造记录的披露义务，包括披露的内容、方式和程度，以及不履行披露义务的法律后果，确保公众能够明确识别深度伪造内容。
2. 强化网络服务提供者的责任和义务：明确网络服务提供者在防止和处理深度伪造换脸记录中的责任，包括但不限于提高监测和识别技术能力、执行“通知—删除”义务，以及在技术可行的情况下主动识别和处理深度伪造内容。
3. 简化损害赔偿的证明责任：对于深度伪造换脸引起的侵权案件，应考虑降低受害人的证明责任，通过法律预设的赔偿标准和分类赔偿方式简化损害赔偿过程，确保受害人能够得到及时有效的救济。
4. 建立全方位的监管模式：形成“事前—事中—事后”全面管理模式，事前通过明确披露义务和加强技术监管预防侵权行为的发生，事中通过加强网络服务提供者的责任和义务控制侵权行为的传播，事后通过简化救济程序和明确赔偿标准保护受害人权益。
参考文献
1. 青记独家丨深度伪造技术的传播风险及其治理， https://mp.weixin.qq.com/s/KqxA3d1BSm5VcpteWKED9g
2. 关于“深度伪造（Deepfake）”技术的刑事风险, https://mp.weixin.qq.com/s/IXfap-YyK-XCZf06HIJI8g
3. Christian Mammen, Seiko Okada, Right of Publicity Bill Would Federally Regulate AI-Generated Fakes, Womble Bond Dickinson, October 24, 2023 https://www.jdsupra.com/legalnews/right-of-publicity-bill-would-federally-4108699/
4. 石东秀：《论深度伪造换脸的法律规制》，载《上海法学研究》2021年第5卷（2021世界人工智能大会法治论坛文集）。
5. 肖飒：《如何避免Deepfake成为“法外狂徒”？》，载微信公众号“肖飒lawyer”，2024年1月30日。
6. 《泰勒·斯威夫特AI“不雅照”惊动白宫……Sora一夜爆火，容易上手的“深度伪造”技术，会让诈骗失控吗？》，载微信公众号“每经头条”，2024年2月19日。
7. 微信公众号：金杜研究院，相由AI生：浅谈深度伪造（Deepfake）与个人形象权
8. 《生成式人工智能服务管理办法（征求意见稿）》
继续阅读
阅读原文