算法已开始脱离了工具范畴，逐渐演化成为了一种引导、影响乃至支配人类社会的权力。为防止技术异化给人类社会带来的种种侵害，亟需建立起一套约束算法权力有序运行的制度体系

文 | 陈千凌

编辑 | 朱弢
日前，国家网信办部署2021年“清朗”系列专项行动，针对公众与日俱增的算法焦虑，此次行动还专门纳入了“算法滥用治理”的内容，提出将对算法应用的重点环节加强监管，严肃查处利用算法从事违法违规的行为。
可以看到的趋势是，随着算法在社会生活的应用日益广泛、影响力持续扩大，对于算法的监管与治理将成为相关部门的重点。
网景公司创始人安德森在2011年提出了“软件吞并世界”的概念，即各个产业的数字化转型，不仅意味着数字技术作为工具嵌入到人类社会之中，更意味着数字技术开始干预人类社会运行的基本规则，并成为管理、分类、约束乃至决定整个社会运行的重要因素。
如今看来，软件“吞并”世界的深度与广度都在持续提升，算法已开始脱离了工具范畴，而是演化成为了一种引导、影响乃至支配人类社会的权力。
01代码即法律？
关于“权力”的定义，哈贝马斯提出，凡是特定主体拥有的，足以支配他人或影响他人资源的均可称为权力。马克斯·韦伯认为，“权力意味着在一种社会关系里哪怕是遇到反对也能贯彻自己意志的任何机会，不管这种机会是建立在什么基础之上。”
综观各位学者论述，可以总结出“权力”的要件有二，一是具备“支配他人或影响他人资源”的控制力；二是“哪怕是遇到反对也能贯彻自己意志的”的强制力。从某种程度上来说，算法已经满足了这两个特征：
一方面，算法越来越成为主导社会运行的一种方式，人们开始进入“代码即法律”的时代。算法不仅通过掌握人们接受、传播信息的渠道，潜移默化地影响人们对于社会的理解与认知，并进一步影响社会舆论、形塑主流文化。而且，算法通过与各个应用场景的结合，成为了引导、甚至主导人们行为选择的“代理人”。具体而言，从衣食住行的日常消费到生产流通各环节，一切均要仰赖算法的智能推荐与决策。更进一步来看，算法已经与公权力紧密结合，在宏观调控、市场监管、公共服务、司法执法等各个领域得到深入应用。在相当多场景下，算法已经取代了人的位置，直接做出具体行政行为，如对于交通违法行为的自动识别、自动处置等。
另一方面，面对算法的强大支配力，人们往往没有选择的权力。在技术企业的层层包装下，“知情-同意”其实已经形同虚设，如在隐藏界面或者软件升级中设置“后门”，在软件下载使用过程中不设菜单式选择而只有概括式同意，隐私政策和用户协议有意用晦涩繁琐冗长的表述等方式，让用户“被知情”“被同意”。事实上，由于算法应用的广泛性，一旦拒绝使用或者由于能力所限不能使用，往往意味着正常生活受到影响。如不会使用二维码、智能手机的老年人、残疾人、贫困者，无法上网购物点餐、难以乘坐公共交通，不能扫码进出小区等。
值得注意的是，算法时代，权力主体的内涵也发生了变迁。由于算法的研发与使用具有极高的技术、资金、人力门槛，因此更容易被大型技术企业所掌握，非制度性权力正在兴起。
一方面，基于不断增长的庞大用户，技术平台用以约束参与方的内置规则的影响力在不断扩张，如通知删除、限制下单、限制用户权益、警告、罚款、封号、下架、关店等，这使其具有了规则制定权、审查权、管理权、处分权等实质性权力，越来越具有“准公共权力”的特征；另一方面，随着技术平台的辐射范围持续拓展，逐渐从商业服务渗透至公共领域，相当多政府领域的项目建设都是采取政企合作的形态。与公权力的结合，导致技术企业越来越拥有左右社会资源配置的能力，也由此产生了政企博弈、公共俘获等问题。
02 算法权力何以异化？
相比传统权力形态，“智能化”的算法权力表现出更强大的控制力，可以跨越时空、无远弗界，深入社会、无孔不入，效能强大、无所不能。但硬币的另一面是权利与权力的失衡，算法运行机理的不公开、运行结果的难以抗拒、遭受侵害的难以救济。
无论是沉浸在短视频中不能自拔的年轻人，还是被困在外卖系统里的骑手，或者是被“大数据杀熟”精准榨干消费剩余的普通用户，以及算法歧视对待的黑人群体.......都是算法权力下，公众权利备受挤压的真实写照。从这一视角来看，算法权力存在异化为“算法暴政”的可能，美国学者凯西·奥尼尔甚至将算法取名为“数学杀伤性武器”。
那么，我们就要问了，技术异化肇因为何？算法权力如何演变为算法暴政？
首先，效率导向与公平导向的冲突。
公平正义是人类追求的普世价值，但在算法的世界，首要追求的却是效率。一方面，算法的本质就是一种寻求“最优解”的解题工具，尤其是在其设计者、使用者是企业的情况下，往往会以商业利益最大化作为首要目标；另一方面，相比于“公平正义”这些厚重复杂的伦理概念，“效率”显然更容易转化为计算机所理解的编码语言。
因此，在算法权力主导的世界，人不再是拥有复杂内涵的丰富个体，而是异化为由数字碎片堆集而成的“微粒人”，以个人效用最大化为目标，成为了被定义、被分类、被评级、被使用的客体。
比如，在新闻推送中，算法不会考虑什么样的讯息是适合你的、能够助你成长向上的，而是会将那些最能吸引你的、最能转化为流量收益的内容推送给你。再如，在外卖配送系统中，算法将“快”作为唯一评价目标，由此形成了“系统要求骑手越跑越快—外卖员的劳动越来越快——算法发现外卖员越来越快，其要求也不断升级”的循环困境，使得外卖骑手“困在系统里”难以自拔。
其次，披着“中立”科学外衣下的人类意识。
技术乌托邦者认为，技术是纯粹理性、客观、中立的，能够以流程化、规范化的代码完全摆脱人为干扰与恣意专断。但事实上，技术终究是要靠人来定义、设计、使用的，人类世界的偏见与歧视不可避免地会映射到数字世界，算法也会产生偏见、偏误乃至错误。
一方面，数据是算法训练的基础，是机器学习的养料。如果基础数据充斥着偏见，那么人工智能的输出结果也必然含有歧视性，即“偏见进，则偏见出”( Bias In，Bias Out)。如亚马逊招聘系统此前被曝将高薪职位更多推送给男性求职者，其存在偏差的原因就在于该算法所使用的原始数据是公司的过往员工数据——过去，亚马逊聘用的男性偏多。算法学习到了数据集所表现的这一特征，因此在决策中更容易忽略女性求职者。
另一方面，算法的设计使用需要工程师的全流程参与架构，包括机器学习的目标设定、模型的选取、标签的设置、数据的预处理等，因此算法工程师的主观想法乃至偏见歧视也会体现在算法运行之中。如当工程师认为“性别”“种族”“地域”是决定资源可得性的重要指标时，算法自然会对部分群体构成不公待遇。
第三，权利与权力的格局失衡。
算法时代，随着技术企业权力的不断壮大，国家与社会的二元结构被打破，形成了“公权力-私权力-私权利”的新权力格局，但权力与权利之间却出现了失衡。政府行政的效率与力度、技术企业攫取财富的规模与速度大大提升，但社会天平的另一头，公众的权利却是备受倾轧。如学者周辉所言，算法对公众权利的保障与补充上实现的增幅，远远无法达到权威的代表者、资本的代理人在权力扩张上实现的增幅。
一方面，公众源源不断地贡献了自己的数据，这成为了财富增长、权力实现的重要基础，而自己非但没能从中分享丝毫收益，反而还面临着隐私泄露、信息茧房、大数据杀熟等种种侵害，收益与风险远远不成正比。
另一方面，个人无时不刻地被算法定义、评级、处置，却因算法的不公开、不透明，其知情权、参与权、异议权、救济权等正当权利被架空。尤其是预测性算法的应用，由于算法使用者的干预与控制是在事实发生之前，如根据犯罪预测系统结果对潜在风险个体进行提前执法，无疑会打破现有的无罪推定原则。此外，当算法对公民造成实质性侵害之后，在“谁主张、谁举证”的规则之下、公民显然很难以一己之力与权威或资本相抗衡。有学者如此形容技术统治下的社会分化——一个是具有操控“数字资本”的“数据权贵”，笑容满面、雄心勃勃；另一个是置身于算法歧视、数据垄断、算法霸权统治下的“数字难民”，战战兢兢、畏葸不前。
03以“数字人权”对抗“算法暴政”
爱因斯坦有一句话，科学技术“究竟是给人类带来幸福还是带来灾难，全取决于人自己，而不取决于工具”。针对技术异化给人类社会带来的种种侵害，我们亟需建立起一套约束算法权力有序运行的制度体系。
首先，以人为本是法治的灵魂。在数字技术已经成为人们生活、生存和法治须臾不可或缺的一种方式，且适用于工业社会的传统法律形态对人民权利保护严重不足的情况下，将对数字科技的掌握和运用奉为“权利”并将其归属于“人权”，提炼出“数字人权”概念既甚为迫切，也顺理成章。
所谓“数字人权”，就是要明确技术的出发点必须是要以人为本，并将人权保障作为技术应用的尺度和标准。数字人权的内涵一方面包括对公民隐私权、数据权、表达权、人格尊严权等权利和自由的尊重与保护；另一方面也包括对互联网基础设施及其他数字化设备的提供，尤其是对于弱势群体所面临“数字鸿沟”的填补，确保其上网权或数字生活权，增强人类社会的普惠性。
其次，伦理之善需转化为制度之律才能落地生根。为确保数字人权的权利实现，需建立一套集事前、事中、事后为一体的监管机制。建议成立政产学研等多主体组成的算法审查机构，对算法进行全流程监管，包括：事前要求算法设计者提供算法技术逻辑、意义、目的、功能及决策依据等说明，排查其规则的正当性、合理性；事中，要求算法使用者建立针对算法失灵、算法崩溃的应急预案机制，并加大对算法与决策的随机抽查力度；事后，构建算法问责追溯机制，接受公众对算法的质疑，并为公众建立算法决策的申诉、救济渠道。
最后，要明确技术治理的重心在于“治理”而非“技术”。摆脱“技术崇拜”心理，审慎把握算法应用场景。在积极鼓励算法用于提升人民生活福祉的场景运用时，对于那些涉及到公共安全、执法司法等场景的算法，要进行严格风险把控。一方面需把握“比例原则”，不因一时的、些微的效率，而造成不成比例的公平、自由风险；另一方面需坚持“人享有最终主导权、控制权”的底线，在治理中找回“人”的存在。
责编 | 刘思言 siyanliu@caijing.com.cn本文为《财经》杂志原创文章，未经授权不得转载或建立镜像。如需转载，请在文末留言申请授权。
继续阅读
阅读原文