第六期（2022.3.26）读书会实录——
凯斯·R·桑斯坦
《Governing by Algorithm?
No Noise and (Potentially) Less Bias》
讲评人及读本简介
主讲人：鲁思婕，爱丁堡大学LL.M.
与谈人：罗旷怡，武汉大学国际法学博士生
             白   菡，斯坦福大学卫生政策专业硕士生
评议人：郑   戈，上海交通大学凯原法学院教授、博士生导师
阅读文本：《Governing by Algorithm? No Noise and (Potentially) Less Bias》
作.  者：凯斯·R·桑斯坦
原文载：71 Duke Law Journal 1175-1205 (2022) 
记录人：李晶晶，中南财经政法大学本科生
             杨子葭，武汉大学本科生
审   稿：邱天燊，爱丁堡大学LL.B.
编   辑：李   昇，北京师范大学国际法学硕士生
会议内容
（思维导图）

开场白
曹旭辉（主持人）：
各位老师同学，大家下午好！
首先非常欢迎大家参加中美法律评论的第六期读书会，此次读书会是我们第二次对论文进行研讨。上一次我们聚焦于反垄断主题，本期聚焦算法问题，一起研读美国哈佛大学教授、著名公法学家凯斯·R·桑斯坦在杜克法律期刊上发表的最新的一篇文章——GOVERNING BY ALGORITHM？NO NOISE AND LESS BIAS。我想这个算法的问题也是近段时间以来，同学与研究学者都非常关注的问题，有非常多的同学报名了本次的活动。另外，今天也是非常荣幸邀请到对算法领域非常有研究的上海交通大学法学院的教授郑戈老师来参与到我们评议环节。
接下来，我简单介绍一下我们本次的一个读书会的发言流程。首先由我们的主讲人鲁思婕同学对今天的文献做一个领读。鲁思婕同学，是毕业于爱丁堡大学的LLM。在鲁同学介绍完之后，我们有两位与谈人，分别是武汉大学国际法学博士生罗旷怡同学，以及斯坦福大学卫生政策专业硕士生白菡同学。最后，我们邀请郑老师对大家的这个发言进行评议，以及对本文进行深入讲解。下面我们就把发言权交给思婕同学。
鲁思婕（主讲人）：
大家好，非常荣幸能够帮大家梳理一下这篇论文整体的论证内容和逻辑。但是，因为我之前也没有接触过有关算法与法律领域的学术内容，我只能根据自己的一个理解，帮大家把这一篇论文梳理清楚，以我自己的理解和最通俗的语言，最快地让大家理解这篇论文论证的主要的内容是什么。
Part1 文章内容梳理
鲁思婕：
这一篇论文主要想强调的是算法，尤其是在公共政策领域会产生的影响。根据我们对算法的理解，可能会觉得算法是客观的。但是同时，它也有一个弊端，即它可能会造成一些大家没有办法控制的结果，或者它设计的流程里面本身就包含一些人为和主观的因素。在这一篇文章里面，算法所产生的人为不可控的这样一些结果，就被称作noise，中文翻译成“噪声”。如果在流程上，或者设计本身，存在的主观性的一些偏差，就被称作bias，也就是叫偏见或者是偏差。这篇文章以这两个概念及其区别作为基点，总共分为四个部分。
第一部分，介绍噪声和偏差分别在公共政策领域里面存在的正面和负面的影响。
第二部分，作者提出问题，既然二者在政策领域会造成一些负面影响，算法是如何帮助消除噪声和偏差的？作者在第二部分主要强调了算法的精确性和客观性。
第三部分，讨论算法和偏差之间的关系。这里面我们要注意一下，算法本身不能像消除噪声一样完全消除偏差。因为很多时候，在人为设计的算法的过程当中，都包含着一定的目的性，就是因为这样的目的性，算法本身在设计的过程当中就是存在偏差的，导致它的结果也是具有偏差性的。算法只能保证它在运算的过程当中是客观和精确的，也就是说算法和偏差一定是共存的状态。
第四部分，讨论的是算法和歧视的关系。作者强调，如果一开始就将一种歧视性的主观的偏差加入到算法里面，算法可能会把这样的偏差固化和永久化。其实大家可以通过脸书或者是Google之前涉及到的一些有关于种族、色情或者战争的新闻推送机制就能看出来，如果一个人过度关注某类政治偏差，或者是本身就含有歧视的话，大数据其实会根据你个人的喜好，不断给你推荐类似的内容，这样就会固化你的这种歧视和偏差。作者其实就是想通过这样的方式来阐述这两者之间的关系。
前言：文章基础概念
接下来，我们首先探讨文章的基础概念。简介里面有讲到，噪声和偏差在他个人来看到底是什么概念。他提到，噪声是由一些不必要的变量（原文为unwanted variability）构成的，尤其是在做判断和决策的过程当中，这种不必要的变量往往是不可控的。比如说，某一个仪器在周一到周三之间是准确的，但是在周四和周五就会有所偏差。因为这样一个时间性的偏差，周四到周五的数据的准确性就无法保证。
作者将噪声分为三种，第一种是场景下的噪声（occasion noise），这完全按照个人的喜好和心情来，比如说某一个法官做一个决策时，比如是否保释，可能就是因为，昨天晚上突然看了一场球，心情不太好，就会做出一个相对负面的判断。
第二种是水平上的噪声（level noise），这个其实是人和人之间相互影响所造成的噪声。比如说A法官不太信任之前的B法官所做的判断，觉得他的标准太过宽泛或者太过宽容，他就会加强限制，做出一个更加严格的判决。这是相对比之下水平参差不同所造成的一类噪声。
最后一种是模式的噪声（pattern noise），是基于个人判断过程当中，判断者自己所采用的，这些判断的标准是不一样的。比如说在判断这一个人是否该被释放的时候，考虑的是他的教育水平，因为他的教育水平决定了他不太可能有后续潜逃的可能性。还有一些人可能就会考虑到他的家庭因素，因为家庭关系，他不太可能有潜逃的可能性。即由于每一个人判断的标准不一样，而造成的情景上的噪声。
关于bias，即偏差，作者认为偏差是完全的、系统性的错误。本篇论文主要强调的是认知上的偏差，也就是论文里提到的C-BIAS。
作者还提到了D-BIAS，我个人理解是第四部分出现的discrimination的这一个部分。作者提到C-BIAS的领域里面，还分很多种种类，比如说像之前提到的availability bias即所谓的可得性偏差，就是一个人在做一个判断的时候，可能下意识选择自己更熟悉的一些因素，同时，也因为这种熟悉度，也让他更加关注这样的因素，但是可能这个因素往往没那么重要，或者说根本就不相关。
第二种叫anchor，中文里面叫做“锚”。我问了一些数据统计的同事和同学，他大概给我解释了一下，在数据分析领域里面，这个词是什么意思，就比如说有一个算法，在测试的过程当中，你大概对他有影响的这样一些数值分布是有一个概念的，比如说我认为在这样一个数据或模型下面，数字0到100是会对它产生影响的，或者说数字0到100是对这个公式适用的。但是，0到100里面，比如说二或者是三，这两个数就会对结果造成一定的偏差，使这个测算结果没有其他数那么准确。这种所产生的这种偏差的这种随机的数值，就叫做anchor，因为anchor的存在，可能导致人们对算法的结果没有那么信任。
第三类叫做情感启发，它产生于这样的一个背景——当一个人对某一类事物有一种情感性的反应的时候，人们更多的是更倾向于针对这样的一个反应去做预判和判断。
第四个是乐观性的偏差。这个偏差，主要是说人们在利用了算法之后，可能会下意识地认为我利用了算法，我的效率就会比别人更高，但其实不是的，因为算法本身到底适不适用于你所要完成的这样一个任务，其实也是非常不确定的。最后还有一个就是现时偏差，现时偏差其实就是短期主义，比如说在我追求一个及时反馈，我在算法得到一个数据的时候，我就只顾着眼前的这样的一些影响，放弃了后续的一些影响。因为我能看到的就是眼前影响的这些这些数值和这些结果，我看到什么，我就认为是什么。所以这是一个现时的偏差。
1.文章第一部分
接下来我们就来看一下第一部分，噪声和偏差在公众领域是如何产生的，又是如何产生一些负面的影响的。
我们可以看到就噪声和偏差本身来讲，其实不太会出现在一个政策规定的文本本身中，因为任何一个公众领域，或者说一个公共机构，在做任何一个决定的时候，都需要保证自己的操作流程的准确性，其目的就是想抵抗人类本身的一种认知性的偏差，而且，在操作的过程当中，或者说在制定这样的一些文本的过程当中，都是基于既有的一些法律法规，通过按照规矩和章程做事来减少噪声或者是偏差。因为在他们眼里面，可能说既有的一些guideline或者是一些rule本身就已经能多多少少抵抗这样的一些不可控的因素。但是，在这个过程当中，其实这个制度本身未必会有多大的问题，但是可能你在操作的过程当中，这个问题就会比较明显。
在认知性偏差领域里面，作者以收容所制度为例。比如说某一个国家在某一年突然多了很多的难民，那到底哪些人可以进到庇护所，每个月领补贴、津贴，就成为了大家最关注的一个问题。但是在决策者在决策的过程当中，他会因为这种可得性偏差，产生两个极端，就是他可能过度严格，也有可能过度宽松，他可能觉得这些难民都不是什么好人，可能都不会遵纪守法，所以通过的比率特别特别低。但是也有一些人，就可能会有同情心和悲悯心，或者说因为一些宗教因素，觉得这些人80%都应该被庇护，所以就会特别宽松。而且，每一个决策者的偏差都是有选择性的，比如说决策者A就偏好这一个类型，那决策者B可能就偏好另外一个类型。因为不同的决策者的偏差是相对来讲有差异的，所以它的结果本身最后也是不平衡的。
这个时候，作者又提出另外一个想法，就是有没有想过，如果两者的偏差在天平上面是平衡的，比如说，1000万人里面都有100万人，有些人是满足条件没有得到庇护，还有100万人是有些人不满足条件，但是得到了庇护。在这样的一个天平下面，这两者最后造成的结果能够中和吗？但结论是根本不可以中和，而且最后是一个负负又负的结果，它的负面的程度是叠加的。而且，公共领域的样本数据非常大，一旦这样的一个比例出现之后，那个后果其实会非常严重。这就是作者所论证的感知性的偏差，或者认知性偏差，在公共事务领域里面所造成的负面的影响。
作者同时又强调了噪声在公共事务领域里面的影响。我们之前说过，噪声本身就是来自于一些不可控的，或者说没有必要的变量，它会造成一个结果，即因为申请者本身，比如说学历、年龄、收入、上午申请的还是下午申请的，都可能造成申请的结果不一样。而且，还存在一种可能性，比如说一个决策者，他上午支持了很多人，但是下午他可能觉得我要严一点儿，下午申请的这些人，可能他就都不给通过，也存在这样的一种可能性。作者对噪声也进行了分类和举例。比如说情景类的噪声，其实是一种个人的喜好和偏好，水平或者模式类的噪声，有一些对比和比较，也就是说它是一个相互影响的过程。
2.文章第二部分
论文的第二部分，主要是想强调的是算法对噪声的消弥作用。作者强调，一个客观的，没有噪声的算法，能够保证一个完整的公平的结果，更重要的是，它能够更精确地去减少一些错误。即使它本身是存在偏差的，它也会在运算的过程当中，因为它减少了噪声，所以它也会更加的准确。同时，他又强调噪声虽然看起来在一个算法过程当中，可能只是很小的一环，属于不太起眼的一个变量和因素，但是，它所造成的负面结果，比往往偏差本身要严重得多，因为更多不同的一些不可控的变量叠加之后所造成的这样的一个巨大的偏差，或者说巨大的一些负面影响，其实比单单本身一个大的影响本身所造成的负面效应更严重。
文章同时又提到，建立一个没有任何噪声的算法也不是好事儿。因为如果一个算法它过于精确，就少了一点儿人情味儿。作者提出，人情味儿这个考虑的因素，是可以一开始在系统的变量里面去加进去的，也就是说，算法去抵消噪声这件事情本身是无可厚非的，技术是中性的，你可以通过自己运行或者设计算法达到这样的目的。这也是为什么后续他又提到算法和偏差本身是应该共存的状态。但是作者最后又提到，虽然消除噪声是非常重要的，但是不保证这件事情一定就是精确的。
3.文章第三部分
第三部分讨论的是算法和偏差之间的关系。
作者强调，算法可以抵抗恶，就是认知类偏差所造成的很多的负面的影响。因为算法本身就是一个以数据为基准而做的预测的工作。因为它以数据为基准，所以它会比人为的诊断和判断更加精确。除非它本身设计的源头本身带有一定的偏差性。
除此之外，作者还引用了他之前一些同事或其他教授的论证结论，就是他们在调查有关于潜逃风险，保释和犯罪率之间的关系的时候发现，正常来说，其实算法能够保证跟法官一样的拘留率，但是，如果通过算法做潜逃风险的判断，则会把后续犯罪率降低24.7%。作者分析原因在于，法官在做判断的时候可能会出一些错误，尤其是是对那些后续出狱之后，比如说保释之后还会再犯罪的这些人的风险判断。哪怕是这些法官自己非常不愿意保释，但是他考虑的因素和这个被告本身的风险其实也不具有相关性。之后，他还强调了所谓的熟悉度的影响力，就是为什么人们会对自己更熟悉的这样一个因素产生更多的偏差。
作者对比了两种偏差，一个是我们之前提到的可得性的偏差，另外一个叫current offense bias。我个人理解就是近期出现的一些有阻碍的偏差，之前我们提到的availability bias，其实就是利用人们自己熟悉的一些因素做了判断。最简单的就是因为ing后缀在生活里面出现的次数会比较多，可能你在关注某一类词的时候，就更容易关注到ing，而不是n本身。
另外，这两个bias最大的区别就是在于availability bias是用一个更难的问题去替代了一个更简单的问题，而current offense bias是单纯的是一个个人的判断过程当中，用了一个自己熟悉的经验和过往的一些判断做一个预判。以current offense bias为例，心脏病专家在给一个病人做诊断的时候，可能下意识地认为，这一个病人得心脏病的原因是体重过重，而忽略了其他比如遗传因素之类的更重要的一些因素，因为医生对这个因素更熟悉，所以就造成了这样的一种后果。
并且，作者还强调一个人在做判断的时候，因为对某类因素更熟悉，可能会优先地下意识去归因，把一个很熟悉，或者说相对来讲比较熟悉的因素看得很重，或者说后续花很大力气去分析这类问题，但是往往忽略了其他一些你可能不太熟悉的因素。作者举了一个例子，如果人们一直按照自己的过往的经验去判断所做的结论，或者所做的选择，其实本身并不理性，例如一次大地震之后，在震后重建的过程当中，很多人包括很多公司都会去买地震险，害怕再一次会有地震出现，但是他们忽略了，比如说地震发生的频率，或者说是否真的有必要去购买一份地震险吗？这个决定可能用处不大，又很浪费成本。
4.文章第四部分
第四部分是算法和歧视的关系。
由于算法会人为主观地加一些自己的设计理念，所以现在也有一个新的名词，叫做算法偏差。算法偏差在一些纪录片里面也有提到，比如说有一个纪录片叫《社交媒体的谬论》，例如一个市场公司或者是一个marketing的员工监测你的一言一行，然后来为你做判断，根据你在某一张图片停留的时间来判断你是不是喜欢相关的一些事物，给你不断的去推送，吸引你的注意力。这个可能就是最简单的一种算法偏差。
同时，作者简短地给我们介绍了一下美国反歧视法案中有涉及到歧视的内容。其歧视分为两种，第一种叫做区别对待，这种在法里面是明确禁止的，也是最容易被发现的。比如说会有一些求职广告里面就是就说，“我只要男生”。这类就是很明显的歧视对待或者不公平对待。另外一种叫做不公平影响。这类因为没有办法控制，所以并不禁止。最关键的一点就在于它只对特定的一个群体，或者说一个成员、一个组织来讲有一定的负面的影响。比如说因为人们可能对女性的劳动能力始终还是抱有一丝怀疑态度，所以在涉及比如说物流这类的一些工作在招聘的过程当中还是会有一些隐性的歧视。但是，你需要证明自己为什么要设置这样的一个门槛，它本身是否有商业的必要性。除此之外，还要排除你确实是没有一个歧视的主观因素在。那如何判断你有没有主观因素呢？其实就是首先要判断这一个行为的必要性，再一个就是做一个反向的推导，就是我如果把同样的一个事情放到比如说这一个成员的对立面会不会产生同样的结果，然后以此来判断这样一个设计是否会有歧视的意图。
最后，作者强调了人类算法和歧视之间的关系。他又提到了法官拘留率的例子：在某一年里，拉美籍的被告和黑人被告拘留率分别是25%和31%；白人在两者之间。但是后来通过算法的加入发现，正常状态下，算法做出的拘留率，和法官本身作出的拘留率，其实是没有明显的偏差的。但是，一旦把整体的拘留率降低了0.5个点，他就会立刻发现所谓的真正服刑的这样的一些人就会立刻减少，最关键的原因之前有提到，是因为算法本身在测算的过程当中，逐步关注一些高危的被告，而法官可能基于自己的这样的一些偏差就没有选择，或者就完全忽略了一些关键的风险点。
作者最后还扩大了自己思考的范围，说有没有可能之前所提到的这样一些不公平影响，最后固化成为一个具体的区别对待。他说如果你要不断地去利用算法的话，这一件事情是可能发生的。比如说一个算法掌握了我们所有的信息，并且，他把算法的底线从原本的比如说种族、性别、色情这类大家都觉得是最入门的这样一些基本点，改成比如说个人信用，个人存款这些特别容易引起歧视的因素，并且加以不断的去迭代和选择，最后，这种不公正影响，最后就会变成一个区别的对待。他最后的结论里面也有提到，算法如果运用不得当的话，还是会固化和永久化歧视。
5.结论
最后，我们就来说一下结论，作者认为，算法之所以能够在公共领域里面如鱼得水，主要就是因为它客观，因为它能够让那些噪声或者不可控的一些变量变得稳定、可控，因为它比人的心情更可控。
关于歧视，作者强调区别对待和区别影响本身是不一样的，尤其是他提到了种族平等的问题，他其实想说，人类有没有可能依靠算法达到种族平等？这件事情其实多多少少是不太可能出现的，因为只要有歧视，有偏差存在，算法本身就不可能绝对的客观。但是，算法其实会潜在地让这些冲突透明化，它会让人们去意识到其他的一些冲突问题，那人们就可以通过多种因素，去做一个平衡和权衡。所以作者最后得出的结论就是算法在公共政策里面，确实可以抵消这些噪声。但是，一个完全没有噪声的算法，和一个完全没有噪声的机制和流程，也并不是一个喜闻乐见的事情。由于它其实是根据一些数据的测算，所以它最后能很大程度上抵消认知偏差带来的负面影响。
这就是这篇文章大概所讲的内容，非常感谢大家聆听，如果大家有一些什么问题，希望可以在后续评议的过程当中提出来，也希望大家可以多多纠正，谢谢。
Part2 提问讨论
曹旭辉：
谢谢思婕给我们带来非常详细和全面的讲解，接下来，按照我们的议程，由两位同学对本篇文章以及思婕刚才的介绍进行评议，以及其个人观点的分享，那首先，我们就有请罗旷怡同学。
罗旷怡：
好的，谢谢旭辉，大家好。下面我谈一下自己的几点思考，首先刚才主讲人也谈到了，人类判断的错误可能会受到两个方面的影响，即偏差和噪声。
其实刚才主讲人也提到，作者可能没有很清晰地去给我们解释偏差和噪声，其实如果大家看过丹尼尔·卡尼曼、奥利维耶·西博尼和卡斯· R·桑斯坦的《噪声》这本书的话，可能会知道其实这篇文章当中，也有很多的地方是引用了这本书的研究成果。
我们可以看下面这幅图，假设这是A、B、C、D四支队伍的射击结果，每队中有5个人，他们共用一支枪，且每人只开了一枪。
理想的情况是，每一枪都能正中靶心。A队几乎达到了理想状态，他们的每一发子弹都紧紧围绕着靶心，这种情况可以说既不存在偏差，也不存在噪声，接近完美模式。B队的每一发子弹都偏离了靶心，我们可以称其为偏差队。
根据B队偏差的一致性，我们可以进行这样的预测：如果该队中的某位成员再开一枪，子弹的落点也极有可能会与前5次落点的区域相同。C队的子弹落点很分散，我们可以称其为噪声队。
子弹的落点大致都在靶心四周，没有明显的偏差。如果该队的某位成员再开一枪，我们很难准确预测他可能击中的位置，而且我们也无法从C队的结果想出任何有趣的假设。如果既有偏差、也有噪声，就是D队的情况。与B队类似，D队的落点基本上都偏离了靶心；与C队的相似之处在于，D队的落点也很分散。
从这个射击的例子，我们发现，噪声具有多样性和不可预见性，而偏差具有一致性和可预见性。所以刚才我们说算法可以克服或减少噪声，因为它可以保持一定的稳定性和一致性。具体来说，就是它有自动执行的规则，只要按照代码规制去执行，通常在同样的情况下得到的结果是一致的，因此在这种情况下，一般就不会存在噪声。但是如果算法的自动运行规则不够准确或者数据集不够充分，也会存在一定的偏差。而由于算法是由人来设计的，人存在偏差，那算法可能也会存在这样的偏差，只是利用大数据分析，可能比人的偏差的概率更小一些。
在《噪声》这本书里面，作者谈到放大噪声的因素有哪些。
首先是客观无知，就说做判断或决策的人没有办法知道一些必要的信息，结果导致判断失误。
第二个放大噪声的因素跟人的情感有关，比如个人喜好可能会对他的决策造成一定的影响，爱屋及乌嘛。
第三个放大噪声的因素，就是群体的不良影响，比如一群人聚在一起讨论问题，最开始发表的意见很可能会对其他人的判断造成影响。
这本书还谈到减少噪声的方法，除了算法，书中还提供了其他方法，比如：（1）独立判断，我们在集体讨论之前，让每个人独立判断，形成自己的意见，然后再进行讨论，这样可能也会减少噪声的影响。（2）排序的方法，比如我们要给ABCD 4个人的工作表现打分，我们可能很难确定给A打90分还是95分，但是我们分等级排序（优秀、良好、及格、不及格）之后，就容易多了。（3）由模型来做判断，包括算法。（4）由“决策达人”决策，某个领域的专家或者是一个非常聪明、有经验的人，拥有开放的心态，思想和视野开阔，能够综合考虑到各种因素，整合各种不同的意见，最终做出最优的决策。
在这里，我有一个疑问，这篇文章主要是集中讨论算法，但是如果我们通过其他方式可以同样减少噪声的话，是不是可以一定程度上抵消算法的优势，也就是说我们可以通过其他三种方式去达到算法的效果，以及各种减少噪声的方法之间的成本问题可能也需要进一步考虑。总的来说，就是为什么其他的方式不能够去代替算法来减少噪声，以及他们各自之间的决策成本问题，在这篇文章中都没有提及，我觉得可以进一步探讨。
其次，我想说的是，人是目的而不是手段，虽然我们可以将算法引入到公共政策，作为决策的工具，但是它始终只是一种辅助、补充的工具。而且刚才也说了，它只是减少噪声的方法之一。
其实现在算法已经普遍地深入到我们的日常生活的各个方面，不限于公共机构的决策，比如我们使用的滴滴打车等软件，可能都涉及到算法决策的问题。将算法决策运用到我们的日常事务当中确实可以发挥一定的优势，比如算法的规模比较大，可以广泛运用，它的速度也比较快，效率高。第二点，就是它作为一种监管手段的话，可以作为一种事前的监管手段，发挥它在执行能力方面的优势。比如对于儿童色情的内容，算法决策可以做到在准入前就把它删除，那就不会涉及到事后执法的难度。
当然，算法也会存在偏差，但这个可能主要是因为模型的架构和设计不完善，需要改进。然后，就是算法的可解释性的限制，它可能可以说明是如何做出这个决策的，但是它不能解释为什么做出这样的决策。比如在司法审判当中，如果我们用人工智能直接取代法官判案，它可能在释法说理方面存在障碍，不能够解释为什么要做出这样的判决。因此，我认为算法最大的优势在于事实判断，而价值判断还是应该由人类来做出。所以说如果目标是做出准确的事实判断的话，算法的使用可能是一个非常大的福音。而价值判断这一块，人类是不可缺的，特别是在一些疑难案件，以及涉及到一些需要发挥人的创造性和多样性的场合，人类的角色、判断和决策是不可或缺的，也是算法所无法替代的。大家如果感兴趣的话，可以看一下Tim Wu的这篇文章——Will Artificial Intelligence Eat the Law？The Rise of Hybrid Social-Ordering System，作者提到了人机结合的混合式社会秩序系统，强调人是目的而不是手段，人工智能不可能完全取代法官作决策。人工智能或者算法，还是只能作为一种辅助的补充的工具。
（罗旷怡同学的分享）
最后，我对凯斯·R·桑斯坦这篇文章小小的不成熟的评价就是，它跟《噪声》这本书的很多内容其实是非常重合的。可能我对它的认识还不是很深刻，我觉得它在一定程度上是不是《噪声》的浓缩版或者是提炼版。然后我觉得这篇文章目前的价值可能是导向作用，就是将算法决策避免噪声的问题引入到了公共机构的决策当中，对相关理论和实践作指引。但是，在多大程度上运用算法，以及在什么时候去运用算法辅助公共机构做出决策，这篇文章并没有太多的讨论。这也是我一会想请教郑老师的问题，就是应该如何评价和认识这篇文章的价值。谢谢老师，谢谢各位。
曹旭辉：
谢谢旷怡的评论，刚才旷怡学姐也是结合这篇文章以及她所阅读的这本书，也就是经济学家丹尼尔·卡尼曼和本文的作者凯斯·R·桑斯坦合著的一本书——《噪声》。我记得该书副标题应该是“人类判断的缺陷”，其实和本文基本的观点应该也是一脉相承的。刚才，旷怡在评论的过程中也谈了个人的看法，比如说在《噪声》这本书中里面谈到了非常多的监控的工具，算法只是作为其中之一，还包括像这个独立的判断、排序，那旷怡提出了自己的问题，比如说这个文章中好像没有太多的讨论为什么这个算法这种决策工具或者是判断工具会优于其他的工具？我觉得这确实是值得大家探讨的一个问题。接下来就有请我们第二位的评议人，斯坦福大学的硕士生白菡。
白菡：
谢谢，刚才两位的非常精彩的讲解，我没有准备PPT，所以我主要是想跟大家分析一些我自己的困惑，还有就是我自己从中学到的，以及我怎么去看待这个问题。然后我想更正一点，就是刚才提到《噪声》这本书，除了诺贝尔经济学家卡尼曼，桑斯坦也是作者之一，这就是为什么他们是一脉相承的，因为他们其实是共同研究这个课题。
对文章，我是有一半困惑，一半是认同的，总的来说他的结论我是认同的，就是他强调了算法可以起到降噪的作用，可以去掉噪声，但它其实是有偏差的，如果这个偏差在刚开始的基础上就已经很强的话，它会继续加重这个偏差。同时他也强调了他之所以对算法有质疑，其实是他目前的一个消极的观点，其实是他认为将来算法可以更好的去应用到这个领域，我也是赞同的。
首先就是我觉得他考虑到了算法的偏差，因为我之前做过数据分析，那我第一个想法就是数据的bias为什么没有人提到，就是我们首先不管是法官怎样去判，美国案例法除了有一系列的标准即根据历史的一些因素对现在的判断之外，随着时代发展，怎么出现这一例非常重大的转折点，这是我觉得算法不可以做到，而且包括算法，包括大数据，它其实本质上是根据以往的一个一个行为去预判你未来的一个行为，怎么去把这个这个进步以及这个时间长河的点去连贯到位，来适应另外一个情境，这是我自己在思考的一个问题点，这也是本文没有提到的一个问题。怎么去保证你收集到的数据，或者是用的数据在数据化过程中——其实也是人文选择、人文处理的一个结果——完全覆盖其他的bias？包括他做的一些实验的一些数据，难民申请的例子中，如果说作者认为1000个人里面的那100个人可能不应该得到庇护但得到庇护，这和另外的一个bias是可以中和的。那这又回到了我们统计学的一个问题。
其实这个noise，就相当于是我们最后留的一个sigma。在我们初学统计学的时候，我们是忽略它的，但其实更多的时候，我们会把它认为是一个正态分布，所以我们是希望总的noise是expected value，中文是叫做期望值。正态分布就是以零为expectation，它的方差是sigma的平方，所以他其实只强调了说expected value是零，但方差其实是非常大的。他只强调overall（总体），即一个法官如果判断这个东西是是负的，判断另外一个东西是正的，那么总和是零，但他没有提到它的标准差是非常大的，我觉得这是没有提到的，我觉得可能是有必要去讨论的一个点。
回到认知问题上来说，我觉得还有一个我没有看到整篇文章去论述的点，就是实际上在判案过程中法官自己在对一个案件做一个标准的时候，他如果是按照严格的法律体系来走的话，是不是有可能这个法律体系的宽松或者是严格也会对结果造成影响？如果算法也是根据这个流程走的，那中间的bias会不会根本上是法律制度的一个bias？这是我自己思考的一个问题。第二个问题是作者在文中给了几组例子和数据，但是我没有看到的是如何定义案件裁判的正确率，这其实是我比较困惑的一个点。这目前就是我读这篇文章想到的几个点，跟大家分享一下，谢谢。
曹旭辉：
谢谢白菡同学，白菡同学从不同的角度，对文本做了一些批判性的反思，比如谈到本文中的数据问题，尤其是涉及到难民方面的庇护法上的问题，白菡同学刚才也谈到了在统计学上的一些认知方面的问题，司法实践上的一些时政的问题，也是非常有价值的问题。
Part3 老师评议
曹旭辉：
那么接下来就有请郑戈老师给我们做一个对本文以及今天主题的评议。虽然大家都非常熟悉郑老师，我还是郑重介绍一下。郑老师是上海交通大学凯原法学院的教授，博士生导师。
郑老师不仅在传统的宪法与行政法学领域有非常艰深的研究，而且在算法、人工智能以及数据法学等前沿领域也有非常多的著作，比如《人工智能与法律的未来》《算法的法律与法律的算法》，以及《数字社会的法治构型》等著作。那我们就以热烈的掌声，欢迎郑老师。
郑戈老师：
好，谢谢旭辉，也谢谢思婕，旷怡和白菡同学的对这篇文章的讲解和相关的评议。我就不再介绍文章的答题内容了，但是我想介绍一下作者之前的研究，这样大家才能够更好地理解这篇文章。
凯斯·R·桑斯坦教授他在中国可以说是影响非常大，被称为桑神，特别是《助推》这本书，在中国的公法学界和法理学界的影响深远。他主要的一个理论基础就是所谓的行为主义，并且是行为主义这样一个大的这个学说倾向当中的一个非常具体的学科背景，就是行为经济学。刚才旷怡和白菡同学也提到，就是《NOISE》这本书，它的作者里面其实就有凯斯·R·桑斯坦，所以说他对认知心理学，行为经济学当中的认知方面的噪声和偏差或者偏差做过非常系统而精深的研究。他的另外一本更加著名的书就是和另外一位诺贝尔经济学奖得主，Richard Thaler合著的这个《NUDGE（助推）》这本书。
那么，他的这一篇文章其实结论是非常明确的，他就是认为算法基本上可以完全消除认知上面的噪声，但是他无法消除偏差。但是算法之所以无法消除偏差，是设计者本身的问题，还有这个算法所分析的人类行为数据本身所体现的偏差。比如说歧视，因为人本身有歧视，那么这种歧视体现在人类的一系列的行为数据当中。所以说这个问题不是算法的问题，是人本身的问题，那么这个就是它的一个基本结论。
当然这个他写这篇文章，刚才旷怡提到，它的这个价值判断在哪里，他可能没有谈到很多方面的问题，但是我们不能指望一篇文章就解决所有的问题，我们要知道它的针对性是什么，本文针对的就是目前人们谈论的比较多的所谓的“算法黑箱”问题。
当然，大家都知道平台使用算法是最多的，无论是阿里腾讯，还是我们所知道的任何平台企业，他背后都是一套算法在运作，而这一套算法它其实是在利用人类的认知偏差，有经济学家说过，没有哪一个企业可以利用人的美善来赚钱的，所有的资本家都是在利用人的认知偏差。但是另外一方面，现在政府和公共服务部门也在广泛的使用算法来辅助决策，从行政决策到司法决策。像智慧政务，智慧法院，智慧公安，智慧检务，智慧城市，智慧街道等等我们耳熟能详的词汇，所有的这些“智慧”指的都不是人的智慧，而是机器智慧，它背后都是在借助算法来帮助决策者做出决策。
所以说这个论文主要就是针对目前算法在公共事务决策当中得到普遍应用的情况下，有一部分学者和普通公众都认为这个趋势是不对的。因为普通人无法了解算法是如何运作的，所以它就是一个黑箱。但是在这一期的这个Duke Law Journal里面，除了凯斯·R·桑斯坦的论文以外，还有其他的几篇论文，这整个是一个专题。那么另外一篇论文里面就明确地指出，如果说算法是一个黑箱的话，人类决策者就是一个更大的黑箱。因为我们不能当我们做比较的时候，不能把一个东西和一个事物和另外一个事物最理想的状态去比，而要把两种现实状态进行对比，其实人类决策者更是难以琢磨的。那么这个是这篇文章的一个主要目的，它主要针对的就是对算法黑箱的批评。
其次我想再明确一下Bias的概念，在凯斯·R·桑斯坦的理论体系里面，它指的是系统性的错误，而噪声指的是随机性的偏差或者是错误。其实当代认知心理学和行为经济学，他其实都在挑战一个社会科学当中的基本假定，就是理性人假设，由于人有各种各样的bias和noises，这个理性人假设是根本站不住脚的。我刚才也提到，人们质疑算法黑箱，但其实人类决策者是最大的黑箱。这一期的另外一篇论文里面专门提到，因为人类决策者是一个黑箱，所以说我们在探讨用什么样的制度设计或者机制设计来规避人类的认知偏差和局限性，如何能够做出有利于公共利益、公平正义的实现的决策。如果要达到这个目的，人类本身只能通过muddling through，通过不断地试错，在我们中文语境当中，就可以翻译成“摸着石头过河”。但是人工智能以及其他算法的出现可以让我们在muddling through的这个时候少走一些弯路。
那么凯斯·R·桑斯坦本人的这个观点我前面已经说了，如果把它做一个明确的表述的话，就是算法完全不受噪声影响，算法偏差是人类设计者偏差，除了算法设计本身以外，也包括算法分析的人类行为数据，这些行为数据当中可能体现了人类的系统性的偏差，尤其是歧视。如果我们明确认识到这一点，就可以在算法设计的时候来考虑如何消除偏差，所以说这一点也是可以解决的。凯斯·R·桑斯坦的观点其实是肯定算法在我们的公共事务决策当中的有益性。但是实际上，人类的认知里面除了偏差和噪声以外，还有一些根本性的困境，比如说有一个所谓的道德机器试验，叫moral machine。我就谈一下这个实验结果。
实验者发现绝大多数人都希望无人驾驶汽车被编程为在采取了各种可能的预防措施都无法避免事故的情况下，如果车内乘客的人数少于车外潜在受害者的人数，车辆需牺牲自己以避免伤害他人。当然牺牲自己也包括这个车内的乘客。但是另外一方面，绝大多数人也都表示自己不会购买如此编程的车。这个就是著名的社会困境，其实是囚徒困境的普遍化，简单的表述出来就是人们都希望别人去做有助于合作的事情，有助于社会公共利益的事情，但是每个人都不希望自己去做这样的事情，为什么是这样？社会困境的一个基本表述就是设想一种情境，在其中，每一个人都面临一种选择，是选择社会合作性或者是利他主义的行动X，还是选择自私的行动Y。他有两个方面，一个是几乎所有的人都会选择生活在一个所有的人都会做X而不是Y的社会，换句话说，没有人喜欢生活在一个所有人都自私的世界，但是所有的人都会因为做Y而获益，这个是一个客观结论。换句话说，不管其他人怎么做，我都宁愿生活在一个我有权利或自由做Y的这样一个世界。从一个人主义的立场出发，一个理性的选择永远是做自私的行动Y。但是如果我们能够超脱个人主义的立场，又会发现，如果所有的人都是合作主义的，那么整个世界会变得更好。这就是一个困境，尽管人们期待别人都是天使，但是自己宁愿当恶魔。我们的整个社会的各种制度设计，其实都是为了解决社会困境问题。
将社会困境、噪声和偏差综合纳入考量，我们就会知道不能过分相信人类决策者。虽然现在越来越多的人在批判算法决策，说算法决策是一个黑箱，但是反过来讲，人类决策者可能是一个更大的黑箱。所以说要考虑的问题并不是说如何去解决消除算法黑箱问题，而是去考虑如何更好地设计算法来帮助我们做出决策。因为一个前提是，不论我们喜不喜欢算法，算法现在已经渗透在我们的生活的各个方面，如果政府和公共服务部门不使用算法的话，就会导致整个算法世界被企业被资本所控制，而资本肯定是千方百计的利用人的认知偏差，制造噪声来服务于自己的营销目的。
行为经济学和认知心理学，揭示出了各种各样的认知偏差，我就不一一介绍了，刚才思婕同学，在介绍论文的时候提到了几种偏差，比如说这个锚定效应。一个更加直观和简单的表述就是人们过分依赖第一印象。比如说人们第一次听说自动驾驶汽车是在特斯拉致人死亡的新闻当中，如果是这样的话，就很难扭转自动驾驶汽车不安全的印象。其他包括大家经常听说的跟风效应或者从众效应，它是指一种信念，无论多么的毫无根据，只要信的人多，他就成了我相信的理由。还有所谓的贴近效应，这个是我本人的例子，本人抽烟，那么我妻子还有别的人都劝我不要抽烟，但是我经常举的例子就是我妻子的外祖父，他已经95岁高龄了，他还很健康，他每天会抽一点五包烟。这样一个情况会使我们无视大量吸烟有害健康的科学研究证据。那么这个系统性的认知偏差是非常多的，我就不一一去介绍了。
我们发现，人类的这些绝大多数的认知偏差，其实是统计学意义上的偏差，因为人类不是天生的统计动物，而是一种直觉的动物。我前面也说了当代算法基本上都可以被理解为计算统计学的模型的技术化应用。如果我们的绝大多数偏差都是因为人类的直觉认知背离统计学的话，那么显然通过算法可以解决大多数的认知偏差。
例如，我们在一个房间里面，这个房间的地板上铺了100块地板砖，这个时候我们站在这个房间的中间，手里握着一把大米，假设这把大米是100粒，那么我向空中抛这一把大米，在房间的每一块地板砖上我们能不能找出超过五粒米？一屋子的自然科学家都是说不可能。因为这个房间有100块地板砖，你说面有有100块大米，有100粒大米向空中扔，他们非常肯定的说，不可能有任何一块儿地板砖上有超过五粒大米。这个就是一个非常典型的人类直觉，哪怕受过数学训练，在判断日常生活当中的事物的时候，人们往往还是依赖于直觉。但是如果我们回到统计学的意义上，我们就知道随机分布永远不是平均分布。恰恰是随机分布可能导致一块儿地板砖上有不止五粒大米，甚至是十粒、20粒都是有可能出现的。这样一个非常简单的例子就可以帮助我们知道，算法设计不仅可以帮助我们消除噪声，而且可以消除大多数的人类认知偏差。
人类还很容易受表述的影响，有时候表述的意义对人类来说超过事实本身。行为经济学家特夫斯基和卡尼曼举过一个例子，假设美国正采取措施应对一种严重流行病的爆发，这场瘟疫将导致600人死亡，目前有两种备选方案。
第一种表述说如果采纳方案A 200人将得救，如果采纳方案B有1/3的可能性600人会得救，就有2/3的可能性是600人无一幸免。
第二种表述是说，如果采纳方案C 400人将丧生，如果采纳方案D，有1/3的可能是无人丧生，有2/3的可能是600人会丧生。
这个时候你会支持哪一种方案？这两个问题其实是一模一样的。唯一区别在于，问题一被表述为可能收益，也就是生存率，问题二被表述为可能损失，也就是死亡率。但是对这两个问题的回答却完全不一样。对于问题一，百分之七十二的人选择风险较小的方案。也就是说是一个没有偏差的方案，但是当问题被换一种方式来表述，表述成问题二的时候，有78%的人选择风险更大的方案。这个心理学实验就体现了表述对个人选择的影响。
实际上早在这个古希腊时代，亚里士多德就在他的《政治学》当中有一个非常有趣的表述，他说法律是摒除激情的理性，人们一直试图去寻找一种方案，这种方案使得一个公允的决策者在做决策的时候不受激情的影响，而完全服从于理性。可以说，算法比人类法官更接近于亚里士多德的这种理想法律决策者。
最后稍微打一下岔，拓宽一下大家的思路。王尔德曾经说过Life imitates art，more than art imitates life.就是说生命模仿艺术，而不是艺术模仿生命。艺术art在这里可以被广义地理解为“人造物”，包括算法，这个就可能把我们的思考带入另外一个维度，就是说当我们思考人类决策和算法决策哪一个更好的时候，既不能理想化人类决策，也不能理想化算法决策，无论是人类决策者还是算法，其实都是在寻找一种可以帮助我们摆脱噪声和认知偏差，能够更加公平，同时更加有效率的解决问题的这样的方案，所以说这个算法伦理，其实还是人的伦理，是设计算法的人的伦理，是让人回归主体性和自主性的伦理，如果我们有这样一种自觉意识的话，其实不用过多的担心算法会把人类带入某种不可知的深渊。
另外还想说一下，我们今天之所以会在这儿一起讨论这篇文章，其实起源是我的一位博士生賁流，他看到杜克法律杂志上这一篇文章，就给凯斯·R·桑斯坦教授写了一封email，询问他可不可以翻译这篇论文，凯斯·R·桑斯坦教授欣然同意了。这篇文章的译文，会做一期专刊，登在贲流同学办的杂志The International Journal of Law Ethics and Technology上，同时他也希望有同学或者老师，能够写对这篇文章的评论。所以我在这里也顺便帮他约一下稿，如果今天来参加这场读书会的同学里面，特别是我们的主讲人和和与谈人，有兴趣写一篇比较系统性的针对这篇论文的评论，我们可以放到这一期特刊里面，不仅可以让凯斯·R·桑斯坦本人知道中文世界里面人们对他的这篇文章以及他的其他研究的反馈，同时也可以深化我们对相关问题的讨论，好我就先讲这些，谢谢。
Part4 自由讨论
曹旭辉： 
好的，谢谢郑老师刚才的评议，也是拓宽了我们对本文以及对算法和人类偏差的认知。接下来，我们就看一下我们与会的各位学友、老师，有没有相关的问题开麦进行提问。
白菡：
很谢谢郑教授刚才对我们的一个更深的讲解，我有两个疑问，一是我们是否可以以及如何规避人类的认识偏差与局限性？第二个问题是关于人类行为学中的群体性和自私性，我想问一下您关于这个的理解：是以自然选择为出发点，还是以群体效应为出发点，去理解人的自发的善性，谢谢郑老师。
郑戈老师：
好，白菡刚才其实提了两个非常大的、根本性的问题。如果非常简要来回答的话，就第一个问题，在我看来，这很难系统性地避免，大家都知道现在的平台经济有各种各样的名称，从零工经济到注意力经济等等，每一个名称都对应着它的一个方面的特点。所谓的注意力经济，就是说平台会采取各种策略，来吸引用户的注意力。在一个平台上花的时间越多，那么你留下的行为数据就会越多，你的每一次点击，每一次搜索，都可以帮助这个平台更好地“了解”你，也就是给你贴上各种各样的“标签”。
比如说抖音，它背后的算法会自动化地根据你今天浏览到哪些视频，给你贴上各种这样的标签，根据这种标签化的设定，来向每一个人推送不同的内容，推送不同的广告，进而影响你的偏好和行为。这可以说是当下最主流的商业模式。那么也就是说这些平台背后的算法，它可能比你自己更了解你。如果我们这么去描述，可能我们就会认为这是一个不好的状态，因为我们被诱导、被利用了，其实反过来我们要知道，它不是在向我们强塞某种东西，它是根据你过去的行为所体现出的偏好，为你提供你希望看到的东西，因此这个是无法避免的，因为我们都希望能够更快地看到自己想看地东西，而不是想要去抗拒，当然最后导致的长期的和群体性的结果，就是我们都耳熟能详的“回音室效应”、“信息茧房”等等。我们越来越生活在自己的偏好为自己营造的小世界里面，我们没法进步，整个社会也没法进步了。但是这并不是平台强加给我们的，而是它利用非常先进的，具有机器学习能力的这样的算法，来了解到了我们的偏好，所以说我们不能指望商业模式的变化来赋予我们自主性，这时就需要公权力部门的介入。
如果某种倾向是严重不利于这个社会的发展，有害于公共利益的，这个时候政府可以介入，因为政府是代言公共利益的当代社会唯一的合法性力量。虽然这与自由主义的理念是不相符的，但是在中国这样一个社会主义国家，我们会发现在最近一两年政府出台了一系列的政策，也制定了一系列的法律，为算法设计“套上缰绳”，包括为了保护青少年，也出台了防沉迷方面的相关政策，所以说我觉得靠消费者个人的自觉是很难解决这个问题的，因为正如我刚才所说，作为普通消费者，如果我们不去深思的话，我们反而觉得这是很好的。
第二个问题也很有意义，它涉及到我刚才所讲的这个社会困境问题。我刚才说了，作为理性人，采取自私的行为对个人是有利的，但是从群体上来说，这个（行为）对整个社会是不利的，所以说我们都希望别人都是利他主义的，自己采取自私的行为。其实你刚才问的第二个问题的更根本的方面是说从生物进化的角度来看，利他主义和自私到底哪一个是人类的倾向，这是进化的结果还是文化的结果？这个问题就很有意思，这方面有大量的论著，观点也很不一致。可能大家都听说过《自私的基因》这本书，按照一部分影响力非常大的学者的观点，就认为所有的动物，包括人，他的行为选择都是为了延续自己的基因，人类自以为是和别的动物不一样，其实人类的很多行为模式也无法摆脱动物性。但是我本人是不太同意这个说法的，因为人在更大的程度上是一种文化的产物，而不单纯是生物进化的产物。我们能够意识到存在社会困境，因此会有意的采取各种措施，包括教育，包括文化，没有哪一种宗教，没有哪一种文化是立基于自私的基础上，如果这样就没法感召人类了，虽然在比如说商业行为方面，绝大多数人都会为自己算计，但是再比如说婚姻、家庭，友谊这些更具有公共性的事物上，人其实很难说是一种完全自私的动物。这个话题太大，我只能先简要的回答到这里，好，谢谢。
罗旷怡：
老师您好，老师刚才在给我们讲PPT的时候提到说如果政府不去使用算法的话，算法就会被企业资本控制，老师可以再进一步阐释一下这句话吗？
郑戈老师：
这个其实非常简单，就是不是说政府不去更多的利用算法，算法就会更多地被企业所利用，而是说现在算法事实上是更多地被企业所利用，而且这种利用本身是在利用人的弱点，这个是没法抗拒的，他不能靠人的自觉来规避。
现在我们国家的一些法律，包括算法推荐方面的新规都是说当这个平台向你推送量身定制的内容服务和广告的时候，要给予用户一个选项，如果你不希望获得这种量身定制的服务，你可以勾选，这样平台向你推送的都是无差别的内容。但是我相信现实生活当中没有哪个用户会做这种选择。因为即使你选择了，你不接受它给你的推送，这个时候它其实还是在收集你的数据，等于说你付出了数据，而又没有享受到服务。
我最近写的一篇文章叫《数字社会的法治构型》，里面特别提到本来算法有更大的用途，因为它是一种计算统计学的模型的现实运用，如果被运用到公共事物上，它的用处更大，比如说在防疫、在提供公共服务方面，能够带给社会更大的便利。这一点我相信也没有多少人会反对，因为我们都说现在处在数字社会、数字时代，数字科技对我们生活的改变非常明显。但是这种改变到目前为止，基本上都是由平台企业带来的。反过来政府在提供公共服务的时候，不得不依赖于平台企业已经打造出来的数字基础设施。比如说我们今天的这个健康码，依托于阿里的淘宝平台，国务院的行程码，又依托于腾讯的微信平台，这个时候政府要提供公共服务的时候就不得不去借助它已经打造出来的数字基础设施。现在有一个说法叫算力即权力。传统上我们的公法学者都防着政府。认为政府的权力是需要得到约束的，因为在现代社会里面，国家垄断了暴力，它如果滥用自己的权力的话，会给公民的权利和自由，乃至于生命造成很大的威胁。所以说无论是宪法还是行政法，都想着如何去约束政府，这点本身是没有太大问题。但是我们要考虑到另外一个方面，就是在当代的数字社会里面，政府无论是从掌握的数据量还是从算力来看，都远远弱于大型平台企业。
这一点我相信大家也很容易理解，比如说平台企业现在不仅可以影响人的消费行为，在有竞争性选举的社会，比如说在美国，他甚至可以影响人们的政治行为。在2016年的美国总统大选当中，Facebook泄露了8500万用户信息给一家叫做剑桥分析的企业，这家企业利用获得的这些数据来投放量身定制的竞选广告，从而影响了美国总统大选的结果，这个也得到广泛报道。那么在这种情况下，如果不给算法套上缰绳，如果不把它纳入法律和规制的轨道，它就会使整个社会朝着服务于某些私人企业的利益的方向去发展。
比如说，在国内有很多马斯克、扎克伯格的粉丝，因为这些资本家都非常善于编织一个叙事，使我们误以为他是服务于全人类的公共利益的。但是其实这是不用太深的思考就会知道的，如果他服务于全人类的公共利益，他就不可能成为资本家了，不可能赚那么多钱。就连股市上，大家都有一个通行的名词叫故事股，这个词也是来自于英文世界，它指的是实际上现代经济的形态已经不太关注实体经济，就是说你到底生产了什么东西、这个企业的实际的经营状况如何，它取决于这个企业能不能讲出一个漂亮的故事，然后忽悠更多的韭菜来接受这个故事，从而使它能够赚更多的钱，而现在的这些数字科技被私人企业利用，其实已经带来了非常多的不利于社会公共利益的后果。而在算力竞争方面，政府已经明显处于弱势，也正是在培育自己的算力和数据积累，从而利用算法来做一些更有利于社会公共利益的事情。好，我就先回答到这里。
曹旭辉：
那我们看一下其他的读者同学有没有自己的想法要分享，或者是与老师交流的。大家可以踊跃地开麦发言。
罗旷怡：
郑老师，如果说算法黑箱的问题解决了，那在算法被运用到政府公共机构来做决策的过程中，很大程度上要依托这个企业平台的数据，这是不是涉及公私合作的问题，在这公私合作的过程当中，目前来说会存在哪些障碍？
郑戈老师：
这个问题其实也是现在的法学家，特别是公法学者讨论算法问题都会涉及的问题。
目前法律的主要的处理这个问题的模式就是平台责任。比如说在我们国家来看，从网络安全法开始，就强调平台要保护数据、保护个人信息、维护网络安全和数据安全等等，都是因为政府和企业之间的算力不平衡，政府要从外部来监管企业处理数据的行为是否合法合规，其实是比较困难的，所以说他就把责任交给了企业。政府介入的时候，往往是发生大规模的公众可以注意到的（事故），比如说大规模数据泄露的时候，政府才有机会去介入。但是平时无论是个人信息保护，还是数据安全、网络安全，都是由企业自己来负责的，这是一种没有办法的情况下的选择，我们把这个叫平台责任。
它体现在一些更加具体的制度设计上，比如说现在有所谓的“内在于设计的隐私保护”，法律提出某种要求之后，技术界就会作出某种回应，比如说现在有所谓的隐私计算。因此这样一个很简单的例子就可以帮助我们看到，其实法律是可以引领技术发展的方向，虽然如果技术被企业所主导、所利用的话，企业肯定会选择效率最高的那种算法来节约成本。但是有了某种法律之后，那么企业就会把法律违法成本也考虑进去，因此更加综合的考量合规与效率。这一点从基于隐私的设计，隐私计算等这些概念的出现都可以发现，有了相关的法律之后，会改变这个技术发展的方向。
这是一个方面，另外一个方面就是公私合作，在公法领域，就落实平台责任这一点上，不光是中国，比如说欧盟的GDPR也是把保护个人数据，维护数据安全的主要的责任交给数据处理者承担的，甚至为此提出了一个专门的概念叫“数据保护官”。我国的《个人信息保护法》里面，也要求凡是大规模处理个人信息的企业，都必须有专人负责个人信息保护问题，我国虽然没有用数据保护官这个词，但是也有类似的制度设计。
贲流：
刚才郑老师说那个期刊，我也顺便约一下稿，感兴趣的同学可以撰写评论来找我投稿。好，广告结束。
我这边其实也有就刚才讲的一些问题，我想再明晰一下偏差和噪声的概念，一个特别简单的例子，就是偏差它更像是一个尺子，它可能是不准确的，但是它是稳定的，可能每次多出三毫米来。系统性的偏差或者错误，可能是更复杂的一件事儿，但是你可以简单一点理解，就是它是一个不太准的钢尺，但是它是一个相对稳定的系统。但是人的认知更多的时候是一个相对来讲不太稳定的系统，就是它不仅仅是一个输入的过程，或者输出的过程，整个认知系统都是不稳定的，所以，可以想象成人类的认知是一个皮尺子。所以其实大概就是在讨论用这个钢尺子来代替皮尺子，在很多的领域里面，这样能得到一个更精确的结果，文章本身用个比较简单的比方的话，大概是如此。
刚才讨论到价值判断，事实判断的问题的时候，其实我昨天倒是想到一个例子，就是我做一个假设，我们以俄乌战争为背景，在战争中如果面对高超音速导弹，没有一个人可以有一个小时做决策，或者也没有30分钟，需要在五秒钟内，这时候可能需要一个自动化的系统，一个算法来做决策。假如是一个回应性的袭击，这时候首先因为是按秒计算，就不可能有人工参与进去。也就是说，如果决策需要的反馈时间太短，价值判断也必须依赖于算法。
曹旭辉：
对这个问题，我想结合这个咱们今天这个文章谈一谈，人工智能这种算法的设计，他既然可能本身在设计程序上存在偏差，那比如说在实践的应用过程中，算法在行政机关，行政机构适用的过程中，会考虑一些比如说在福利行政的过程中，一些弱势群体，或者基于性别、性取向、种族问题的一些受特别保护的变量的影响。但是如果在人工智能的在行政机关运用的过程中可能没有考虑或者说没有办法去考虑到这些特别受保护的变量，进而在尤其是那些福利行政的过程中，可能产生一些不符合实质正义的结果，所以我觉得从这个角度来看，算法是否可以消除这些偏差呢？
郑戈老师：
好，谢谢旭辉，把我们的讨论又拉回到了这篇文章的范畴里面。人工智能算法的特点就是说它的设计者也不知道它最终会找出什么样的模式、形成什么样的判断，这个是它的设计者控制不了的，因为它是基于对海量数据的分析，然后自己得出的某种结论。这就有点类似于经验主义，另外一个流派是符号主义的，它严格遵循数学逻辑，而不是统计学意义上的或者经验主义的。刚才贲流所说的控制论算法也是指的是这种，这种相对来说反而比较好控制，因为虽然这个控制论系统所操纵的机器一旦启动之后，人类的反应速度是跟不上的，但是它是完全受这个设计本身支配的。
所以说我们可以从源头，从应当如何设计加以控制的。不好控制的是，人工智能是机器学习算法，你不知道它通过学习海量数据会得出什么样的结论，这个是需要明确的，刚才旭辉所说的，比如说这个福利行政、残疾人保护，各种各样的社会福利应该如何分配，或者是国家在履行自己的保护义务的时候，如何服从于平等保护原则等等。
从这个意义上来讲，我们也要考虑到算法在这个我国的政府和公共部门到底是如何应用的。我很难想象一个行政机关会用机器学习算法来决定福利分配问题。因为福利分配问题不是那么复杂的，他是严格基于类型化的对人口的分类的。比如说你要享受残疾人福利保障，那么国家有相关的法律明确规定什么样的人属于残疾人。这不是一个机器学习算法的问题，政府也不会用人工智能来处理这个问题，所有的条件都是法定的，都是明确的。在这个过程当中，它其实就是电子政务的问题。
我看聊天区有同学问，有没有一种算法可以杜绝同案不同判的问题，这个恰好是我们国家现在的智慧法院要解决的问题，因为智慧法院当中最核心的技术就是类案检索和类案推送。比如中国裁判文书网等大型数据库当中的案子进行分析，找出相似点，在法官处理一个具体案件的时候向他推送。显然算法是可以解决同案不同判的现象，但是这里面有一个问题，是说我们一方面追求类案类判，同案同判，但是另外一方面我们也认为正义就在于给予每个人他所应得的东西，因此我们又要求每一个具体个案都考虑到他具体的事实情境，当事人的具体处境，这两点之间其实是有矛盾的。所以说，当我们讨论价值问题的时候，要知道人类的价值追求也是非常复杂的，所以说没有一种一劳永逸的解决方案。
我就先简单地说一下，大家可以继续讨论。
李晶晶：
大家刚才的讨论和郑教授的讲授都很精彩，我也有一个自己的问题，就是算法在什么程度上影响公共决策和公共政策。根据大家讨论，我刚刚发现有两种（方式），一种是经验，就是它能够提供更多供我们决策的信息，比如说他通过对关于地方庇护的判决（的系统学习），找出地方庇护在什么时候是容易通过的。第二种是符号化的，就是刚才大家讨论到的，它能够通过一些先验性的，已经被预先制定好的模型去影响决策。也就是说这个时候人的决策在其中的影响已经很小了，主要是算法决策。比如说当打打击到来的时候，人不可能做出决策的情形——因为决策需要被很快的做出——这个时候就只能由算法来做出。但这种情况下，我们就可以发现，算法完全替代了人的决策，那我们未来会不会走入这么一个决策，以及算法决策本身的偏差，我们该怎么去用人的理性去监督？我想讨论的是这个问题。
郑戈老师：
这个问题虽然非常重要，但是我觉得它很难从法律或者伦理的角度来考量，因为之所以会有比如说超音速核导弹的这种想法，其实是为了解决生存问题。这个很难被纳入到一个理性化的法律讨论当中。它的运作本身，我觉得已经超出了我们从法律也好，还有其他的社会科学角度也好，能够讨论的问题，而变成了一个博弈论的问题。例如上世纪五六十年代，美国有大量的关于核威慑问题的讨论，当只有一个国家有核武器的时候，比如说美国，它使用核武器是比较随意的，在日本已经失败的情况下，还投了两颗原子弹。但是当苏联也有核武器之后，美国顿时就变得审慎和理性了，因为大家都知道，使用核武器不是打败对手的问题，它会使整个人类都可能遭遇灭绝，所以说它变成了一个生存还是毁灭的问题，就不再属于我们理性化的社会科学讨论的范畴了。
曹旭辉：
大家的讨论都非常精彩，我们看一下还有没有同学有相关的问题。
鲁思捷：
最后想跟郑老师讨论一下，既然这一篇论文结论认为政府在管理公共事务方面，能做到人机交互的混合的模式，就是说它更倾向于去借助算法的一种客观性和理智性，来做出一个更好的决策。那会不会有一种情况，算法是理智的，是长期来说更利于社会发展的决策，但是在当下的舆论和民意下，这可能和短期的利益和目标是相违背的，那在这样的一个冲突下面，相应的利益该如何权衡？
郑戈老师：
思捷的这个问题非常好，在民主国家，这个问题就更加凸显，因为四年一个周期，政客往往更加注意选民的短期的反应，不可能考虑太长远的事情，又基于人的各种认知偏差和噪声，选民可能反应更大，很多时候他不是对真实问题的反应，也更缺乏长期性的思维。
以防疫为例，防疫是需要一种长期性思维的。而且需要不针对民众的即时反应，而坚持某种客观有效的做法，它属于这样一个领域，因为整个医学，也包括防疫，不是说民主能够决策的，它不是民主的领域，是一个专业的科学的领域。防疫如果成功了，疫情所带来的灾难性的后果没有凸显出来，这个时候民众就会质疑，你采取那么严格的防疫措施是不是合理的？但是反过来，如果防疫失败，他造成了灾难性的后果，这个时候反而很难被问责，因为在整个过程当中，人民的自由没有受到影响，这个时候就可以说这是人们自由选择的结果，他们知道不戴口罩，不采取防御措施会染病，但是因为这是他们自由选择的结果，法律上面有一个说法，就是“同意者不能主张受到损害”，这是你自己选择的结果，你同意这么做，所以说人们就不会去问责。
这就是另外一个悖论，在人的世界总是永远存在着这样的悖论。所以说一方面我们知道，如果我们借助算法可以几乎完全避免噪声，也就是随机性的偏差，同时，设计合理也可以极大地减少系统性偏差。但是，因为决策者可能考虑的是人们的主观反应，而不是长期的客观后果，这个时候，为了回应民众的短期性的反应而不采取更科学的方案就是一种常见的现象。当然是有现成的制度设计模式的，只是人们不愿意去承认它的优势，比如说中国，那么中国模式是被称为威权主义的，跟学生讲宪法课的时候经常说，管理一家股份有限公司，没有人会去主张这个公司的CEO应该由选民，由所有的股东一人一票选举产生，人们都认为管理公司是一个专业的事情，不能交给只是讨人喜欢，但是不懂得如何去经营这个企业的人去管理。但是对于国家这样一个远远比公司复杂得多的系统，人们却相信自己一人一票选举出来的人能够更好地管理这个国家，或者反过来说，哪怕管理不好，人们也不再去追究他的任何责任。这其实是一个政治法律领域的困境，恰恰是中国模式在目前主流的社会科学话语当中很难得得到正面的评价。
有些同学也知道福山，美国著名的政治哲学家，他本来在柏林墙倒了，苏联解体之后说“历史终结，自由民主制已经取得了绝对的胜利”，而他在最近一些年，特别是在疫情以来，承认中国的防疫措施是比别的国家都有效的，但是他却说中国的这种模式很难被别的国家所借鉴或者采纳，整个的问题其实更加深刻了。说到底我们会发现整个社会科学的成熟的理论体系，包括概念，完全都是从西方产生的，比如在经济学里面，已经完全抛弃了马克思主义意义上的客观价值评判，我们判断经济系统的优劣，判断是否有效率，是看它能不能满足utility。而在法律领域，主观权利概念是整个法律体系的一个基础性的概念，所以说整个世界变得非常的主观，用马克思主义的话来说就是唯心主义，反而是试图用长期的客观的标准来评价一个政治制度的好坏，在现代整个社会科学体系里面，还没有一套成熟的理论。
这个是一个根本性的困境，我觉得在现有的社会科学理论体系里面，很难去解决这个问题，因为你说我根据算法，它很科学，来做出了一个有利于国民的长期福祉的判断，但是当下的选民不愿意接受，特别是当这个政策需要牺牲人的自由的时候，它往往会站不住脚。那么政客出于这种考虑也不会去采取这样的政策措施。我觉得这至少在当下是一个无解的问题。
鲁思捷： 
好的，谢谢郑老师。
曹旭辉：
现在我们读书会已经进行将近三个小时，非常感谢我们所有的读者学友一起参加本次读书会并积极地讨论，尤其要感谢郑戈老师今天非常精彩的评议和耐心的解答。期待大家持续关注我们之后几期中美法律评论的读书会，也欢迎大家有任何的问题可以继续在咱们的线下读书群里进行讨论。好，那我们今天的读书会就到此结束，谢谢大家，谢谢郑老师。
-END-
继续阅读
阅读原文
关键词
问题
数据
偏差
结果
法官