这场对话由《经济学人》杂志举办，主持人是杂志主编贝多斯女士（Zanny Minton-Beddoes）。
对话一方是新锐历史学家、超级畅销书《人类简史》作者尤瓦尔·诺亚·赫拉利（Yuval Noah Harari）。
另一方是开发出围棋大师AlphaGo和预测蛋白质结构的AlphaFold的谷歌DeepMind 联合创始人穆斯塔法·苏莱曼（Mustafa Suleyman）。
两人都才华横溢，温文尔雅，但背景截然不同，代表了对人工智能前景的两种不同看法。
新图灵测验
对话一开始，贝多斯请苏莱曼描述五年后人工智能的样子。
苏莱曼的新书《即将到来的浪潮：技术、权力和21世纪最大的困境》（The Coming Wave: Technology, Power, and the Twenty-first Century's Greatest Dilemma）刚出版，书中提出了“新图灵测验”。
众所周知，图灵曾提出，如果人工智能可以复制语言，有效沟通，以假乱真地冒充人类，那么它就可以被认为是智能的。这就是著名的“图灵测验”。
但苏莱曼认为，人工智能可以说已通过图灵测验，或很快就会通过。图灵测试不再有意义。
人工智能应该不仅能说也能做。人工智能应该有创意，应该可以独立做出一系列（而不是一个）决定。“新图灵测验”衡量人工智能的这些能力。
苏莱曼设想，给人工智能10 万美元，让它三个月内创造一款新产品。为此它要研究市场，生成产品蓝图，寻找制造商并与之讨价还价，最后在网站上销售产品，交货，收钱。
苏莱曼预计人工智能在未来五年的某个时候能通过这个测验，至少可以执行其中大部分步骤。
对此赫拉利的反应是，若果真如此，人类主导的历史将就此终结。历史仍将继续，人类也未必灭亡。但人类不再是世界舞台的主宰，最多有个配角的位置。
饭碗和制度：人工智能的风险
人工智能的风险，最令人胆寒的是那些科幻电影场景——人类被机器人奴役或灭绝。但这场对话聚焦那些后果相对不那么严重的事情，比如人工智能会不会抢我们饭碗，或摧毁我们的政治制度。
关于工作：
乐观的技术专家（苏莱曼）认为未来10到20年人工智能不会对就业造成重大威胁，但30到50年后不好说。
主持人经济学家贝多斯也是乐观派。她指出“劳动总量谬误”（lump of labor fallacy）（即认为一个经济体只能支撑固定数量的工作）确实是个谬论。每次新技术出现，都有人担心以后没工作，但这种预言从未兑现。
悲观的历史学家（赫拉利）则指出即使工作仍然充足，也要考虑工作的时间和空间问题。
时间上，从旧工作岗位消失到新工作岗位出现的过渡期很危险，可能导致社会巨变。不要忘了，希特勒上台，就是因为德国失业率连续三年高达25%。
空间上，新工作不一定出现在旧工作消失的地方，或许加州、德州、中国新工作如雨后春笋，而另一个国家则失去整个经济基础。人工智能会创造巨大财富，但很难想象有谁会提高加州公司的税收，将钱发给巴基斯坦的纺织工人。
但苏莱曼扳回一票，指出工作本身不是目的。我们创造文明不是为了实现充分就业，而是减少痛苦，用更少资源生产更多东西。人工智能取代那些辛苦又毫无成就感的工作并不是坏事。
关于政治制度：
政治制度是经济制度的产物。在19世纪前不存在大规模民主，因为民主是一场对话，而当时并无让分布在广阔领土的数百万人相互交流的科技手段。
随着报纸、电报、广播和电视的出现，大规模现代民主才成为一种可能性。
现在人工智能让经济体制发生天翻地覆的变化，赫拉利担心这种变化会对民主制度造成冲击。最近几十年，信息技术最发达的国家，比如美国、英国、以色列等，都在经历人民之间信任的日渐崩溃，对话的逐渐减少。人工智能的出现会加速信任的解体和社会的分裂。
苏莱曼应该是同意赫拉利的，但他也指出技术的进步降低发布新闻和言论的门槛，让更多人发出自己的声音，这也有积极意义。
如何降低人工智能的风险？
苏莱曼虽是人工智能从业人员，又是辩论中乐观的一方，但他对AI风险并非视而不见。
他认为人工智能公司应该主动自我监督，采取措施降低风险，比如对人工智能进行压力测试及早暴露可能风险，公司之间分享安全经验，不要将树上的果子摘个干干净净，留下那些可能有毒的也就是避免开发那些最危险的功能，等等。
有这种谨慎态度当然比没有好，但这些方法的天真和不足也是显而易见的，比如：
第一，人工智能行业既有精英大玩家，也是一个开源社区。那些最先进的知识，最多一、两年后就会在社会上扩散，接触到这些知识的既有愤怒的青少年也有反社会人格者。如何防止所有人不负责任地使用这些知识，没有简单答案。
第二，地缘政治和军备竞赛是地球常态。你将一些危险但可能带来巨大效益的功能从桌面上拿下来，对手不这么做怎么办？只要人类是分裂的，这就是一场直击底线的恶性竞争，不能期待单方面的克制。
第三，人工智能已经表现出一些不可预测性。几年前我们以为它不可能有创造性，结果它有了创造性；以前我们认为人工智能不可能共情，结果它可以共情。它发展的速度，表现出来的能力，屡屡让我们跌破眼镜。
那么我们怎么能肯定，它以后也会规规矩矩沿我们设定的路线向前走，而不是左冲右突，旁逸斜出，或另辟蹊径呢？
在不可预测这一点上，最关键的问题是人工智能会不会有自主性（agency）。苏莱曼倾向于认为人工智能只是——至少我们可以做到让它只是——一个工具，但赫拉利显然不同意。
赫拉利和苏莱曼都同意要监管，但苏莱曼想象的监管更像是一个从业者自主自发形成的协会，而赫拉利心目中的监管是一个将AI像核武器一般虎视眈眈严加看管的国际组织。
赫拉利认为人工智能应该被要求披露它的非人身份，这是立法机构可以做的第一件事。
冒这样的险，值得吗？
人工智能已经展现惊人才能，而且用赫拉利的说法，如果将人工智能与有机生命相比，我们看到的还只是阿米巴这样的单细胞生物，以后它还会发展成爬行动物，脊椎动物。
是的，它非常吸引人，否则我们不会冒这样的风险。但他不确信它可能带来的利益值得我们冒这个风险。智力是一种被高估的东西。智人是所有生物中最聪明的，但也是最具破坏性的。在某种意义上它也是最愚蠢的，因为它是唯一一种置自己的生存环境于危险之中的生物。
如果将投入人工智能的巨额资本投入到发展人类自己的意识和头脑上，说不定更有意义。
苏莱曼认为这个风险值得一冒。人工智能前途无量，而且更重要的是，人工智能本身并没有自主性，它的能力是人类赋予的，是我们可以设置边界来控制的。他认为开发出安全的人工智能是可能的，它的风险不应被夸大。
*    *    *
最后总结一下。对待人工智能的态度像一个光谱，从一个极端的立即停止所有人工智能的研发，到另一个极端的无拘无束大干快上，中间有各种不同颜色。苏莱曼和赫拉利都不算极端派。
苏莱曼是人工智能专家。他认为如果我们足够谨慎，就可以拥有人畜无害的人工智能。他倾向于拥抱人工智能。
赫拉利是历史学家，他视野开阔，从历史角度看问题，认为人工智能有终结人类历史的风险。
如果上飞机前知道这架飞机有10%的可能性坠毁，你还上吗？
他承认人工智能的吸引力，但认为不值得冒险发展一种有可能成为自己掘墓人的技术。
到底谁对谁错，一时半会不会有结论。苏莱曼提出的那些方法几乎可以肯定不足以控制AI风险。赫拉利的悲观态度可能是对的，但这类观点本来就很难验证，更何况在短时间内。
目前的现实是，AI已经出笼，令人惊艳，造福人类的潜力巨大，人类不可能就此罢手。除非AI已经对人类展示巨大威胁，否则人类不会采取激烈手段。届时是否为时已晚？谁也不知道。
如果人类因此而毁灭，那当然是咎由自取，因为其中的巨大商机，因为贪婪，因为金钱的诱惑。
但我也愿意相信，这也是因为人类无法抵挡那种想知道拐角处到底隐藏着什么的好奇心，就像飞蛾扑火，就像冒险吃河豚。这是推动历史进步的动力，很可爱，但也很危险，可能造成自己的毁灭。
牛顿曾把知识比作望不见边际的浩瀚海洋，而自己就是一个在海滩上捡贝壳的孩子，总想捡到更美的贝壳，总想知道更远的海洋中还有些什么。人类天生有这种天真无邪的好奇心。在AI展示的致命诱惑面前，人类不可能遏制前行的冲动。
_____
点击阅读相关文章
一个凤凰男逆袭的故事，治好了我的精神内耗
张益唐到冯诺伊曼家做客
一个有世界上最好工作的人，为何不留恋这个世界
如果你喜欢我们的文章，请选择下面行动中的一项：
A. 分享到朋友圈
B. 转发至相关微信群
C. 关注“硅谷生活家”公众号
D. 以上全选
（正确答案：D）
继续阅读
阅读原文