作者| 车诗睿 中南财经政法大学本科
        吴海瑜 暨南大学本科
        陈可欣 武汉大学本科
        邵元宁 上海师范大学硕士
        郑知仪 LSE LL.M.
        曹哲远 华东政法大学本科
        曹炜嘉 圣路易斯华盛顿大学 J.S.D.

排版 |
陈远航 美国西北大学LL.M.

责编 | 王有蓉 西安外国语大学本科
导言
CHINA AMERICA LAW REVIEW

为促进生成式人工智能技术健康发展和规范应用，2023年4月11日，根据《中华人民共和国网络安全法》等法律法规，国家互联网信息办公室起草了《生成式人工智能服务管理办法（征求意见稿）》，并向社会公开征求意见。无独有偶，据报道，4月11日，美国商务部就chatGPT等人工智能工具相关问责措施正式公开征求意见。可见，生成式人工智能的法律规制问题，已经引起了多国监管部门的广泛关注。
目录
一、何为“生成式人工智能”？

二、为何要对“生成式人工智能”颁布专门规定？
三、《办法》从哪些方面对生成式人工智能进行了规范？
四、《办法》或对人工智能产生的影响
一、何为“生成式人工智能”？
近年来，生成式人工智能（AIGC）获得广泛关注。Stability AI推出地致力于图像生成的Stable Diffusion、微软推出的“小冰”和OpenAI推出的ChatGPT，皆属于生成式人工智能。生成式人工智能是在海量数据集上进行训练时，使用机器学习算法生成全新的、原创的、真实的工件，这些工件与训练数据保持相似，但并非复制，体现为文本、图像、音频、视频等形式，可广泛应用于艺术创建、聊天机器人生成文本等各种程序中。而《生成式人工智能服务管理办法（征求意见稿）》所称生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。[1]
二、为何要对“生成式人工智能”颁布专门规定？
从生成式人工智能运行方式和运用场景来看，生成式人工智能可能诱发隐私和数据泄露风险、错误信息问题、知识产权问题和侵权问题。
（一）隐私和数据泄露问题
生成式人工智能依托海量训练数据而存在，其中包括大量互联网用户自行输入的信息和在工作、社会生活中生成的信息，这些信息中极有可能包含用户的个人隐私或商业秘密。当生成式人工智能将这些信息纳入自身的数据库转化、使用时，就可能产生因处理不当而泄露隐私或数据的风险。
据有关报道称，今年3月20日，多名ChatGPT用户表示看到其他人与ChatGPT的对话记录、电子邮件。OpenAI首席执行官Sam Altman发文称，系开源库出现错误导致部分聊天记录标题泄露。3月31日，意大利数据保护机构（Garante per la protezione dei dati personali，GPDP）宣布，即日起禁止使用ChatGPT，并开始立案调查。
由于生成式人工智能需要在运作过程中对承载个人隐私的数据进行采集和整合，再生成模仿人类语言模式的回应文本。故当ChatGPT回答用户问题时，会从受训练的数据库中进行数据分析甚至将原有数据分散后进入个体用户手中，而当这些数据经多次转手甚至滥用时，这些数据的原所有权和保护就会被架空[2]，这是生成式人工智能产生隐私和数据泄露风险的关键原因所在。
(图片来源于网络)
（二）错误信息问题
Chat GPT的开发者OpenAI在官网里说明，会进行审核，过滤掉包括人身伤害、色情、虐待等的内容，且它回答道自己的立场会尽量保持客观及中立。但在德国科学家近日在《科学报告》发布的相关研究表明，机器人陈述对人们道德判断的影响被低估了。[3]令人担忧的是，人们往往难以辨别人工智能生成内容的真伪，且易于受其影响。生成式人工智能的价值、立场也往往难以保持中立。
人工智能提供的信息不具备当然的准确性，需要有一定的专业知识才能查明真伪、分辨对错。这就带来了生成式人工智能的错误信息问题，许多用户在向人工智能提出问题时并不具备相关领域的专业知识，无法分辨出回答的真实性，接收到错误信息的用户就会在相关内容或观点上被误导。更严重的是，如果生成式人工智能发布传播种族歧视等反民主言论，或教唆犯罪、自杀，此类内容将对用户产生极其负面的引导作用，危害社会公正秩序和公序良俗。因此有必要对生成式人工智能输出的内容进行规制，明确与生成式人工智能相关的各主体责任，避免错误信息的不良影响。
（三）在知识产权范畴，
“达摩克利斯之剑”仍在徘徊
1、人工智能能否拥有知识产权？
ChatGPT生成式人工智能的出现，使得过去热议的“人工智能是否为作者”等问题成为现实的讨论。生成式人工智能通过学习海量的训练数据，再根据指令的要求整合生成对应的内容。那么由人工智能“生成”的内容，能否受到知识产权法的保护？从本质上说，版权保护的是作品的独创性表达，意在保护智力成果与思维创新，生成式人工智能具有“生成”内容的功能，但其内容均来源于现有作品的整合和加工。
目前我国《著作权法》没有规定人工智能能够成为作者，然而在司法实践中已经出现了不同的观点。在菲林律师事务所诉北京百度案中，菲林利用法律统计数据分析软件生成文章，一审法院认为其不能构成文字作品，但也提出了需要对此类作品提供一定的保护[4]。法院而在腾讯诉网贷之家案中，法院认可了通过Dreamwriter生成的文章具有个性化选择，部分文字构成作品，著作权归于法人[5]。可见，关于该问题的争议仍有讨论之处。目前，百度公司已经逐步推出文心一言、文心AI作画等功能，对于该问题的界定将极大影响生成式人工智能技术乃至于数据、信息产业的发展。

2、知识产权侵权问题
生成式人工智能还可能在内容生成过程中导致的侵犯知识产权问题。生成式人工智能的训练数据中可能包含受知识产权保护的内容，例如小说、电影剧本等。如果人工智能模型在生成的文本中包含了这些受保护的内容，就有可能侵犯知识产权。
现实中已经出现了这样的案例，2023年1月，全球知名图片提供商华盖创意（Getty Images）起诉热门人工智能（AI）绘画工具Stable Diffusion的开发者Stability AI，称其侵犯了版权。华盖创意表示，Stability AI“非法”从网站上窃取了数百万张图片。可见，在绘画、摄影等作品独创性极强的版权领域，生成式人工智能有可能因使用了其中部分的内容而构成侵犯知识产权。
（四）侵犯人格权问题
生成式人工智能在大量搜集数据时，对于个人信息并没有识别和阻止作用，因此生成式人工智能可能在学习过程中获取大量个人信息，通过技术整合后，可能生成侵犯他人个人信息权、肖像权，甚至名誉权的内容。我国以《民法典》《数据安全法》《个人信息保护法》形成的个人信息保护体系，对“可识别性”个人信息的规定仍然较为模糊，在个人信息不断流入公共领域时，人工智能搜集和识别的边界也难以明确，进而产生较大的侵权风险。
(图片来源于网络)
三、《办法》从哪些方面对生成式人工智能进行了规范？
就《生成式人工智能服务管理办法（征求意见稿）》的内容为分析范本，其结构框架是：首先明确了该办法的制定目的、根据规范、规范对象、效力适用地域以及国家对其的态度和立场；其次对责任主体“生成式人工智能的产品或者服务的提供者”（第五条）做出了基础合规的要求；再者就责任主体提供产品服务前、提供产品服务过程中、提供产品服务后应当遵守的规则和义务做出规定，并设置第二性法律义务即法律责任。
（一）基本合规要求
首先，《管理办法（征求意见稿）》第四条明确“提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗。”“遵守法律法规”和“尊重社会公德、公序良俗”是两个提纲挈领的要求，体现了在科技发展的进程中，监管者包容审慎的监管态度——新科技的使用不违反法律法规的情况下，被设定“公序良俗”这一底线。这体现了国家以及政府审慎的视野和包容的态度。
1、生成内容合法义务
第四条第一款“利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容”。对比《网络安全法》仅倡导“推动传播社会主义核心价值观”，本办法则要求人工智能生成的内容应当“体现社会主义核心价值观”，说明审查标准更为严格[6]，这也为生成式人工智能赋予更高的义务要求。
2、反歧视义务
第四条第二款“在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视”。从技术的初始设计到具体提供服务的过程中，管理办法要求研发者和提供者全周期地采取措施，防范歧视。同时在第十二条也规定“提供者不得根据用户的种族、国别、性别等进行带有歧视性的内容生成”，足见歧视问题对生成式人工智能的重要性。
3、反不正当竞争义务
第四条第三款“尊重知识产权、商业道德，不得利用算法、数据、平台等优势实施不公平竞争”，办法中对知识产权及商业道德的保护进行强调，不正当行为例如“大数据杀熟”“滥用市场优势地位进行垄断等”不正当行为在人工智能的技术及应用层面均应受到禁止。
4、内容真实性义务
第四条第四款“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。”信息的真实准确性得到强调。实际上第七条对预训练数据和优化训练数据的真实性、准确性、客观性、多样性的要求，也是在暗示由数据生成的内容应当真实准确，原因在于人工智能的生成模式注定其只能通过大量数据的不断优化才能愈发真实、准确、客观。
5、禁止侵害他人权益义务
第四条第五款“尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。”禁止权利滥用原则是民法中的基本原则，个人私权利同样不容侵害。
(图片来源于网络)
（二）提供产品或服务前
      应当履行的义务
1、安全评估以及备案义务
第六条明确利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。这体现了监管机制的准入前提。
2、数据来源负责义务
第七条所提到的提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。主要就“符合《中华人民共和国网络安全法》等法律法规的要求”“不含有侵犯知识产权的内容”“数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形”“能够保证数据的真实性、准确性、客观性、多样性”等四条提出要求，以及设置兜底性条款“国家网信部门关于生成式人工智能服务的其他监管要求”，是为未来监管规则以及义务设置做出铺垫。
以及第八条“生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。”是在规避生成式人工智能产品研发过程中的人为参与风险。
3、要求用户实名制义务
第九条要求提供生成式人工智能服务应当按照《中华人民共和国网络安全法》规定，要求用户提供真实身份信息。
4、防沉迷措施设置义务
第十条要求提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。
（三）提供产品或服务过程中
应当履行的义务
1、用户隐私数据保护义务
第十一条明确指出：提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。法律法规另有规定的，从其规定。这也是对大数据时代下所存在的普遍法律问题——个人信息数据安全作出回应，顺应《个人信息保护法》的立法精神和立法目的。
2、用户权益保障义务
第十三条所言的提供者应当建立用户投诉接收处理机制以及出现侵害权益情况应当采取措施，停止生成，防止危害持续的要求和第十四条的健康周期提供安全、稳健、持续的服务以及第十五条的用户举报提供者后续做法的具体说明都体现了提供者对用户权益保护的义务。
3、提供者的指导、审查、纠偏义务
《管理办法》第十八条“提供者应当指导用户科学认识和理性使用生成式人工智能生成的内容，不利用生成内容损害他人形象、名誉以及其他合法权益，不进行商业炒作、不正当营销。
用户发现生成内容不符合本办法要求时，有权向网信部门或者有关主管部门举报”和第十九条“提供者发现用户利用生成式人工智能产品过程中违反法律法规，违背商业道德、社会公德行为时，包括从事网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件，实施不正当的商业营销等，应当暂停或者终止服务。”赋予了提供者应当对用户有指导、审查以及纠偏的义务。
（四）提供产品或者服务后
   应当履行的义务
1、合成内容的标识义务
第十六条要求提供者应当按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识。
2、算法、数据接受审查义务
第十七条所规定，“提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。”实际是对“算法黑箱”这一难题提供实际规制路径。
3、提供者违反义务时的法律责任
第二十条明确规定了违反义务时处罚依据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规以及当法律、行政法规没有规定的，由网信部门和有关主管部门有权作出行政处罚。
总体而言，监管机制相关义务、算法数据相关义务、内容管理义务以及用户相关义务贯穿提供者提供产品和服务的事前、事中和事后，《管理办法》在《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规下细化了对生成式人工智能的规制。
(图片来源于网络)
四、《办法》或对人工智能产生的影响
（一）有利于推动AIGC
       产业的规范发展
《办法》对生成式人工智能提出了全方位的监管要求。针对生成式人工智能技术面临的一些挑战，如知识产权、安全、伦理和数据等问题，《办法》从算法设计、内容合规、数据来源合法性审查、用户信息留存及画像建立、训练数据治理、算法备案、知识产权合规、商业秘密保护、虚假信息防范、人格权保护等对人工智能生成内容、主体责任、训练数据和数据处理等角度做出了全方位的规定[7]，旨在保障生成式人工智能技术的合规性和安全性。同时，《办法》的出台将提高企业的责任意识。《办法》要求生成式人工智能服务提供者履行安全评估、算法备案、内容标识等义务。相应的违规处罚和责任追究机制将提高企业对用户隐私和信息安全的保护力度，减少企业违规行为。
AIGC已然成为全球人工智能产业的“兵家必争之地”。随着AIGC的热潮来临，各企业纷纷加码。《办法》的出台可能会对一些不符合规定的企业造成影响，导致市场格局的调整。市场或许会迎来短暂洗牌，一些规范、合规的企业将在市场上获得更多的机会。
（二）有利于推动AIGC
       行业的发展创新
技术的蓬勃发展与监管合规相辅相成[8]。《办法》的及时出台体现了国家对新业态加强监管、支持技术创新的理念。《办法》对人工智能的技术标准、数据安全、知识产权等问题作出了规定，这将使得企业更加重视在技术创新、知识产权保护等方面，从而进一步推动人工智能技术的创新发展。《办法》对各主体的行为划清红线，各主体得以在符合合规要求的基础上，规避风险，在这条规则清晰又充满无限发展想象力的赛道上跑得更远。
（三）可能产生的消极影响[9]
除了以上积极影响之外，一些有关人士也对《办法》的出台表达了担忧。中国国家创新与发展战略研究会副会长吕本富认为，“真实”“准确”缺乏明晰的衡量标准，网络上的新闻、认知存在刷新、反转等情况，且数据来源于网络，需要发挥各个网站主体意识，从源头上保障“真实准确客观”。综合来看，对提供者和使用者、传播者的违法行为进行规制，或许更符合实际情况。清华大学中国发展规划研究院执行副院长董煜则指出，数据训练的规模会决定人工智能生成内容的质量，数据的数量和质量比算法和模型更重要。从欧盟、美国、韩国、日本等国家针对预训练数据合法性的要求来看，为了支持大模型的发展，他们允许使用各种出版物对生成式人工智能训练数据进行分析。因此，如果由于真实性、版权等问题无法使用相关训练数据，将对人工智能技术发展带来很大的负面影响。
《办法》不是一剂一劳永逸的良药，在引导和规制行业的路上，立法也将随着行业发展而更加明晰。
结语
总而言之，《办法》的立法意旨是“促进生成式人工智能健康发展和规范应用”。其出台绝不是意图束缚行业，而是在鼓励与支持行业发展的同时，以包容审慎、坚持底线的态度为行业发展保驾护航。有人说，对于人工智能的发展，我们“不要温和地走入那良夜”。诚然，在新浪潮来临之际，我们既要有“弄潮儿向涛头立”的决心与勇敢，也要有“鸟三顾而飞”的审慎与警醒，坚信道路越走越宽阔。
(图片来源于网络)
【参考文献】
[1]国家互联网信息办公室关于《生成式人工智能服务管理办法(征求意见稿)》公开征求意见的通知。

[2] 参见上海检察：《人工智能时代的“光与暗”——ChatGPT的法律风险及法治应对》，2023年4月20日访问。
[3] 冯维维. ChatGPT影响用户道德判断[N]. 中国科学报,2023-04-11(002).
[4] 参见京0491民初239号北京菲林律师事务所与北京百度网讯科技有限公司一审民事判决书。
[5] 参见粤0305民初14010号深圳市腾讯计算机系统有限公司与上海盈讯科技有限公司著作权权属、侵权纠纷、商业贿赂不正当竞争纠纷一审民事判决书。
[6] 大成研究｜ AI行业合规 •《生成式人工智能服务管理办法（征求意见稿）》重要规定及合规要点解读，最后访问2023年4月21日。
[7] 威科先行. 六问六答：《生成式人工智能服务管理办法（征求意见稿）》解读丨威科先行. （2023-04-12）。
[8] 邢萌,田鹏. 生成式人工智能服务管理办法出台在即  有望推动AIGC产业规范发展[N]. 证券日报,2023-04-12(A03)。

[9]观察者网. 生成式AI监管新规征求意见，专家：应为市场留足发展空间. （2023-04-19）。
继续阅读
阅读原文
关键词
内容
生成式人工智能
信息
个人信息
技术