本文字数：3867，阅读时长大约10分钟
算法存在哪些风险？该如何治理？才让其趋利避害。
文 | 财经E法 张剑 姚佳莹  实习生 陈子轩
编辑 | 朱弢
1月初，中央网信办等四部门联合发布《互联网信息服务算法推荐管理规定》（以下简称《规定》），自2022年3月1日起施行。不管是否接受，算法几乎已经影响到每一个人，对于算法的忧虑也普遍存在。
1月14日，洪范法律与经济研究所、《财经》商业治理研究院联合举办“人工智能时代算法的法律规制”研讨会，此次研讨会以“被算法操纵的生活”为主题。
与会专家分析了算法如何影响公众，以及算法对公众权益侵害的表现。在对算法的法律规制已经是共识的背景下，如何进行有效规制成为必然，但法律规制也面临一些难题。
参与制定《规定》的专家表示，2021年成为算法治理元年，《规定》对于算法治理有里程碑意义。
01
对于算法，人们在担忧什么？
《规定》将算法推荐技术分为生成合成、个性化推送、排序精选、检索过滤、调度决策等五类。
长期关注与研究算法治理的法律专家、北京科技大学文法学院副教授张凌寒举了三个例子，对算法作了形象的阐述。
比如，每年冬季是毕业生应聘的的关键时刻，每一名毕业生所投的简历基本是被软件首先过滤一遍，一些企业明确列出了必须是211、985高校毕业，如果不是，简历会直接被刷掉。软件如何对简历进行筛选，设置了什么条件，这实际就是一种最简单的算法。
再比如，电商平台使用的算法不仅仅决定了消费者看到的商品价格，也决定了平台内店铺是否能够被消费者看到。早在2010年7月，就曾有众多中小商家聚集到淘宝总部讨说法，原因就是淘宝更改了对商家排序的算法，很多中小商家发现，这一更改完成后，消费者在搜索页第一页看不到自己的店铺了。这对中小商家影响巨大。
甚至，算法已经被用来做出关系人之自由与生命的决策。如美国至少有15个州已经使用算法自动风险评估工具来帮助法官做出假释决定。新冠疫情期间美国有医院用算法来决定将呼吸机分配给哪个病人。
张凌寒认为，算法既涉及个人权益，也影响了市场的竞争秩序，甚至事关人们的健康和自由。可以说，算法在逐渐发挥特别重要的资源配置作用，这也是为什么今天算法变得如此重要。
正是因为算法如此普遍而重要，对其进行规制，扼制其负面影响势在必行。
中国人民大学法学院副教授、未来法治研究院副院长王莹认为，算法存在五类风险。
其一是大数据画像会给用户电子身份标签，但有时这个标签可能是负面的。一旦形成电子身份标签，便会在数字社会中固化和流转。
“比如有人经常浏览炫富或者暴露、色情的信息，可能就被贴上相关的标签，算法再根据这一标签不断地推送类似信息。人们无法用传统的名誉侵权之诉实现救济。”王莹表示。
其二是算法给企业带来利益的同时，它带来的不良影响可能会由参与主体之外的人来承担，例如外卖骑手的交通安全问题。
其三是算法操纵，“实际上困在系统里的不仅是外卖骑手，也包括快递员、网约车司机，甚至未来可能更多人被算法施加工作绩效管理，这就是一种操纵。”王莹说。
其四是算法歧视，比如利用算法进行差别化定价等，也就是通常所说的“大数据杀熟”。
最后一个风险是算法的如果发生错误，或者模型出现缺陷，可能带来毁灭性的后果。比如，如果自动驾驶的算法存在缺陷，可能会引发严重的交通事故。“此时算法已不仅提供内容信息推荐服务，还结合物联网、智能机械操纵，这时便可能带来生命权益的侵害。”王莹说。
忙于申报国家社科基金的大学教师，被推送了大量相关课程；外卖骑手在算法操控下，接了不顺路的配送订单，造成超时罚款。北京大学社会学博士后陈龙以上述两个例子为例表示，“对于算法或许不必太焦虑，但不能不警惕”。
陈龙在完成博士论文期间，曾进行为期约半年的田野调查——成为一名外卖骑手。他总结那段经历时表示，“整个配送的过程，我们并不需要思考，取餐时间、配送时长、路线等，整个过程其实已经被计算好，按照算法的引导一步步地完成即可。而且算法的规则骑手必须服从。”陈龙说，“当我们迈入人工智能时代，社会生产平台是由一批“天才”设计，由另一批“天才”去操作，而我们作为绝大多数的普通人，根本无法掌控和了解”。
“我们应该警惕的其实不只是算法，还有算法背后的资本力量，算法这个工具掌握在少数企业手中。”陈龙表示。
趣法律创始人、CEO蒋金平承认，人们对于算法存在焦虑，但他同时认为，算法永远不可能操控人们的生活，因为算法毕竟是由人来操控的。算法存在已久，之所以到现在才着重强调规范，主要在于之前的互联网产业没有发展到现在的繁荣程度。
他认为，目前中国的互联网产业已经处于世界领先地位，算法几乎无处不在，也成了双刃剑，既出现了公众质疑较多的个别平台的大数据杀熟情况，也有某些公司利用大数据提升劳动强度等潜在危害，但也有诸多有益之处，例如，互联企业也使用算法和人脸识别技术参与到打拐工作中，每年都解救为数不少的被拐儿童。
蒋金平表示，算法一定会有不规范的地方，需要进行法律规制。相信通过现行法律法规，包括出台“数字经济法”或“算法法”，形成更为完备的治理规则。伴随整个产业链的发展，完备的共治格局也会逐渐形成。
02
如何让算法趋利避害？
张凌寒和王莹等专家都认为，算法需要规制，但也承认，进行有效治理并不容易。
张凌寒提出，第一个难题是如何看待技术中立原则。很多平台在算法产生不利影响后，都会加以辩解：自己仅提供技术，造成不良后果并非不是出于他们的主观意图。然而，对于技术中立问题的认识逐步清晰，在几年前的快播案判决认定，企业开发了技术，就应该对技术履行基本的审核义务，及时发现软件内是否有一些不应该传播的内容。算法本身可能确实是没有错，在设计的时候也没有想到各种损害问题会出现，而输入的数据不完整或者有瑕疵，造成了结果的不完整，产生了具体侵害结果。
第二个难题是算法造成的损害有时难以界定，也缺乏明确的法律救济路径。比如，用户沉迷于短视频不能自拔，这种情况可否被界定为损害？这种技术成瘾的风险，显然对人的认知情感和生理心理都有大量的负面影响。但能说这一定就是一种损害吗？即使是，用户又能否根据以及如何根据这一损害去主张权益，追究平台方的民事法律责任？
再比如，经常被吐槽的大数据杀熟能否能界定为损害？但现行法律并未明确规定一个商品必须卖同样的价格。
对算法可能带来的风险和侵害，王莹提出，可以三种对策，即对用户赋权、建立程序性规则以及追责。
具体而言，赋权是在设计算法时就赋予用户知情权、选择权，比如要求平台必须向用户提供不针对其个人特征的选项，或者提供便捷的关闭推荐服务的选项，以及用户标签的管理权、删除权；建立程序性规则主要是从算法影响力评估、算法备案、分级分类管理和算法透明、解释性角度，对其进行监管和规制；追责模式则主要着重事后规制。
张凌寒则认为，算法治理将以嵌入算法的价值理念和目标为主要对象，第一是信息内容是否安全，第二是算法能否保证公平的市场竞争秩序，第三是算法能否保护消费者和用户权益。所以，对算法的治理应从设计、部署到运行，进行全面覆盖。
虽然对于算法侵害尚无明确的界定，但监管部门实际上有比较模糊的评价标准，就是用户感知和社会评价。《规定》已经考虑到这一点，因此要求平台必须设置方便用户投诉和举报的途径，也就是说，平台有义务通过前置性程序，去解决用户所感受到的危害，如果平台没有做到这一点，可能会被追责。
同时，包括《规定》在内，已有一系列的法律涉及算法规制。
比如，2019年1月1日开始实施的《电子商务法》要求，电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项；2021年11月1日开始实施的《个人信息保护法》则规定，个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式。通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。
张凌寒指出，世界各国都已开始重视算法治理，而中国处于全球领先的地位。2021年可以称为中国算法治理元年。2021年9月17日，网信办等九部门发布《关于加强互联网信息服务算法综合治理的指导意见》，提出“利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局”。最终在2021年12月31日，国家网信办、工信部、公安部和市场监管总局等四部门联合发布《规定》，这既是中国第一部，也是世界第一部全面性、系统性治理算法的法律性文件。
特别值得一提的是，先前的法律法规已经要求算法输出的结果必须公正透明，保护用户的权益，《规定》再次强调了这一点。此外，《规定》也将规制与监管前置到算法开发、设计的行为端。要求平台企业在设计计算法的模型机制机理时，给用户设定各种各样的标签的时候，就要开始履行相应的义务，不能出现不良信息，也要给用户提供一个拒绝算法的权利等等。
虽然《规定》只是一个部门规章，但它与《电子商务法》《个人信息保护法》等法律共同形成算法监管和治理的法律体系，对中国算法治理有里程碑意义。
按照算法治理的三年规划，可以预期的是，接下来可能还会有相关的行政法规、部门规章等法律文件出台，进一步推动公众关注的各类算法问题，例如大数据杀熟、网游或短视频防沉迷、未成年人保护，网游过度消费等。


 近期话题，点击阅读

继续阅读
阅读原文