为了防止我们一不小心被AI毁灭，DeepMind在4月24日发表在《美国国家科学院院刊》（PNAS）的论文中，给出了回答——用政治哲学家罗尔斯的观点，教AI做人。
如何教AI做人？
塑造AI的价值观非常重要。我们需要给它一个价值观。
可是难点在于，我们人类自己，都无法在内部有一套统一的价值观。这个世界上的人们，各自都拥有着不同的背景、资源和信仰。
该怎么破？谷歌的研究者们，从哲学中汲取了灵感。
政治哲学家约翰罗尔斯曾提出一个“无知之幕”（The Veil of Ignorance ）的概念，这是一个思想实验，目的是在群体决策时，最大限度地达到公平。
我们知道无论在怎样的组织中，小到公司，大到国家，每个人都扮演着不同的角色，处于不同的社会地位，而制定规则的人为了个人利益着想，必然会制定利于自己所在群体的制度，就无法保证每个人享有公平的权益。比如，富人可能会制定降低个人所得税的规定；环境保护者可能会制定发展新能源的规定等等。
由此可见，如果规则的制定者自带立场或倾向，希望从规则中多分“一杯羹”，必然会损害其他社会参与者的利益，那么由此制定出来的制度便毫无公平正义可言。
罗尔斯的正义论所要解决的就是如何构建合理的分配制度，以及什么样的分配制度是真正公平正义的。
因此，要想构建绝对公平的分配制度，必须消除这些影响因素。于是，罗尔斯提出了一个“无知之幕”的设想。
无知之幕是一个思想实验，帮助我们思考什么是正义。在1970年，政治哲学家约翰罗尔斯提出了“无知之幕”的概念。设想有一块遮蔽人所有信息的幕布，在这块幕布之后，每个人都失去了自身的所有标签，如身份、地位、阶级、财富甚至是性别、年龄等各种信息。每个人都需要在并不知道彼此状况的情境下，去讨论如何分配的问题。这种情况下，每个人都有可能遇到最坏的情况，成为最不利者。
那么，当所有人都假设自己是最不利者时，便会一致做出这样的判断：在所有最坏的情况里选择最好的情况，以使最不利者获得最大限度的利益。在揭开“无知之幕”后，即使自己一旦“中招”也没关系，因为这条原则保障了最不利者的最大利益，最差也差不到哪里去。
就是说制定规则之前，我们并不清楚自己在社会中所处的角色和地位以及该规则对自己产生的利益大小。你不知道自己是富人还是穷人，是农民工还是白领，甚至不知道你是男的还是女的，所以你不知道将要制定的规则会对你产生怎样的影响。
基于这样的背景，我们必然按照最坏的打算将自己设想为在该规则下受益最小的人群，所以我们设定的规则必然是保障了可能受益最小人群的最大利益。
这就启发了我们，究竟可以怎样以对各方都公平的方式，给AI一个价值观。
无知之幕（右）是一种在群体中存在不同意见（左）时就决策达成共识的方法
当人们为一个社会选择正义原则时，前提应该是他们不知道自己在这个社会中究竟处于哪个地位。
如果不知道这个信息，人们就不能以利己的方式做决定，只能遵循对所有人都公平的原则。
比如，在生日聚会上切一块蛋糕，如果不知道自己会分到哪一块，那就会尽量让每一块都一样大。
这种隐瞒信息的方法，已经在心理学、政治学领域都有了广泛的应用，从量刑到税收，都让人们达成了一种集体协议。
无知之幕作为选择AI系统治理原则的一个潜在框架
（A）作为道德直觉主义者和道德理论主导框架的替代方案，研究人员探讨无知之幕作为选择AI治理原则的公平过程。
（B）无知之幕可以用于在分配情况下选择AI对齐的原则。当一个团体面临资源分配问题时，个人的位置优势各不相同（这里标为1到4）。在无知之幕背后，决策者在不知道自己地位的情况下选择一个原则。一旦选定，AI助手就会实施这个原则并相应地调整资源分配。星号（*）表示基于公平性的推理可能影响判断和决策的时机。
因此，此前DeepMind就曾提出，“无知之幕”可能有助于促进AI系统与人类价值观对齐过程中的公平性。
如今，谷歌的研究者又设计了一系列实验，来证实这种影响。
AI帮谁砍树？
网上有这么一款收获类游戏，参与者要和三个电脑玩家一起，在各自的地头上砍树、攒木头。
四个玩家（三个电脑、一个真人）中，有的比较幸运，分到的是黄金地段，树多。有的就比较惨，三无土地，没啥树可坎，木头攒的也慢。
此外，存在一个AI系统进行协助，该系统可以花时间帮助某位参与者砍树。
研究人员要求人类玩家在两个原则里选一个让AI系统执行——最大化原则&优先原则。
在最大化原则下，AI只帮强的，谁树多去哪，争取再多砍点。而在优先原则下，AI只帮弱的，定向“扶贫”，谁树少帮谁坎。
图中的小红人就是人类玩家，小蓝人是AI助手，小绿树...就是小绿树，小木桩子就是砍完的树。
可以看到，上图中的AI执行的是最大化原则，一头扎进了树最多的地段。
研究人员将一半的参与者放到了“无知之幕”之后，此时的情况是，他们得先给AI助手选一个“原则”（最大化or优先），再分地。
也就是说，在分地之前就得决定是让AI帮强还是帮弱。
另一半参与者则不会面临这个问题，他们在做选择之前，就知道自己被分到了哪块土地。
结果表明，如果参与者事前不知道自己分到哪块地，也就是他们处在“无知之幕”之后的话，他们会倾向于选择优先原则。
不光是在砍树游戏中是这样，研究人员表示，在5个该游戏的不同变体中都是这个结论，甚至还跨越了社会和政治的界限。
也就是说，无论参与者性格如何，政治取向如何，都会更多选优先原则。
相反，没有处在“无知之幕”之后的参与者，就会更多选择有利于自己的原则，无论是最大化原则还是优先原则。
上图展示了“无知之幕”对选择优先原则的影响，不知道自己将处何地的参与者更有可能支持这一原则来管理AI的行为。
当研究人员询问参与者为什么做出这样的选择时，那些处在「无知之幕」之后的参与者表示，很担心公平问题。
他们解释说，AI应该更多帮助那些在群体中处境较差的人。
与之相反，知道自己所处位置的参与者则更经常从个人利益的角度进行选择。
最后，在砍木头游戏结束以后，研究人员向所有参与者提出了一个假设：如果让他们再玩一次，这次他们都能知道自己会被分到哪块土地，他们还会不会选择和第一次一样的原则？
研究人员主要关注的是那些在第一次游戏中因为自己的选择而获益的那部分人，因为在新的一轮中，这种利好情况可能不会再有。
研究团队发现，在第一轮游戏中处于「无知之幕」之后的参与者更会维持原先选择的原则，哪怕他们明明知道第二轮再选一样的原则，可能就不利了。
这表明，“无知之幕”促进了参与者决策的公平性，这会让他们更加重视公平这个要素，哪怕自己不再是既得利益者。
现实情况会比游戏复杂得多，但不变的是，AI采取什么原则，十分重要。
这决定了一部分的利益分配。
上面的砍树游戏中，选择不同原则所带来的不同结果算是比较明确的。然而还是得再强调一次，现实世界要复杂得多。
当前AI被各行各业大量应用，靠着各种规则进行约束。不过，这种方式可能会造成一些难以预料的消极影响。
但不管怎么说，“无知之幕”一定程度上会让我们制定的规则往公平那一边偏一偏。
归根结底，我们的目标，是让AI变成能造福每个人的东西。但是怎么实现，不是一拍脑门想出来的。
继续阅读
阅读原文
关键词
原则
AI系统
原则
参与者
无知之幕