《创投变辩辨》聚集创投大咖，他们化身最佳辩手，在见招拆招间厘清科技圈最有争议的热门话题，带你看透科技前沿AB面。本期创投变辩辨由腾讯科技和赋雅FOYA联合出品，聚焦话题《AI会对人类构成生存威胁吗？》
导演丨狮   刀
策划丨周小燕
关于“AI安全”这个话题，在最近的智源大会上，AI大佬们讨论了整整一天。目前，专家们大致分为两派。
一派是“乐观派”，比如深度学习三巨头之一的Yann LeCun杨立昆。他认为用技术手段能轻松遏制AI带来的威胁。
另外一派是“担忧派”，典型代表是ChatGPT之父Sam Altman。他在致辞中说，未来十年内，人类可能会拥有非常强大的AI系统，要警惕AI风险。
本期《创投变辩辨》节目，我们邀请了两位专家，一位“担忧派”、一位“乐观派”。大家一起头脑风暴，讨论AI会对人类构成生存威胁吗？甚至更进一步，人类最终会不会沦为AI的工具？

嘉宾介绍：
主持人：王晟，英诺天使基金合伙人
正方：邓佳文，清华大学交互式人工智能课题组博士后
反方：甘如饴， IDEA研究院 封神榜大模型开源团队负责人
丨划重点
①AI是否具备“犯罪能力”？正方认为，AI发展到现在，已经展示出了一定的自主性，优化速度之快远超想象，AI做决策的依据，是基于开发技术和数据，而不是人类社会的道德伦理原则，AI 容易“三观不正”。；反方认为，AI还没有展现出真正的自主学习能力，要先给AI喂数据，它才能学习。此外，基于深度学习的AI还没有达到能够进行交互式学习，也没有进化出更高级智能水平的程度。
②AI是否会产生“犯罪动机”？正方认为，虽然AI的动机是由开发者赋予的，但在实现人类目的的过程中，AI会抛弃道德标准。反方认为，人类作为开发者，可以对动机进行一个最基本的规范。
③人类是否要限制AI的应用？正方认为在进一步的推进AI的应用层面的发展之前，必须把研究的重点放到真正“理解”AI上来，在此之前，应该限制AI的大规模的应用和实验；反方认为没有必要对AI的应用和实验进行特别的限制，可以对AI的物质基础，也就是算力和能源等“物理”资源控制来应对风险。
丨正文
【主持人王晟】大家好，欢迎收看创投圈首档辩论类节目《创投变辩辨》，我是本期节目的主持人王晟，也是中关村天使投资协会副会长、英诺天使基金的合伙人。今天我们的话题是《AI会对人类的生存构成威胁吗？》，关于这个话题我们请来两位专家，一个“乐观派”，一个“担忧派”。
丨立论环节
【正方邓佳文】大家好，我是清华大学交互式人工智能课题组博士后邓佳文，代表本期辩论的正方“担忧派”。我认为人类要警惕AI带来的风险。
首先，AI发展到现在，已经展示出了一定的自主性。可以自学习、自迭代和自决策。
其次，AI的优化速度之快远超想象。人类和AI，一个越来越不爱动脑，一个是天天不睡觉的卷王。久而久之，AI的智能水平会有望超越人类。在这个过程中，如果AI的自主性没有被适当控制和正确引导，可能长着长着就变成了一个谁都没见过的超智能怪物，结果无法预测。
另外，从伦理和安全的角度来看， AI做决策的依据，是基于开发技术和数据，而不是人类社会的道德伦理原则。也就是说，AI 容易“三观不正”。如果被恶意使用，那么AI “不太正”的三观也会悄然影响用户的认知。
综上，我认为AI的设计和开发要有明确的目标。如果在执行过程中，让AI具备过度自主决策的能力，并仅服从于效果最大化的目标，那么它就可能不顾伦理限制，为完成任务不惜一切代价。从这个角度看，AI可能对人类构成一定威胁。以上是我的主要观点。
【反方甘如饴】大家好，我是IDEA研究院 封神榜大模型开源团队的负责人甘如饴，代表本期辩论的反方 “乐观派”。我认为，恐惧AI还为时过早。
不可否认，现在AI确实达到了很高的水准，它压缩了世界上的知识，还能模拟出一些类似人类的行为。但就当前发展阶段而言，我更愿意将它视为一种非常强大的工具。想让AI发展成电影“终结者”里的样子，还面临几个很大的挑战。
首先，AI还没有展现出真正的自主学习能力。比如你要先给AI喂数据，它才能学习。比如你问ChatGPT，2022年奥斯卡获奖名单，它就回答不了，因为喂给它的数据截止到了2021年9月。
其次，AI还没有展现出交互式学习的能力。当然，最近有一些工作在这方面取得了进展，比如智能体的进化模型。但就目前我们能够看到的，基于深度学习的AI还没有达到能够进行交互式学习，也没有进化出更高级智能水平的程度。
而人类社会的本质就是一个持续的争夺资源、相互作用的过程。AI想要对人类构成威胁，就需要具备自主学习和交互式学习的能力。我认为，目前AI发展的情况是远远达不到。
丨辩论环节
01
AI是否具备“犯罪能力”？
【主持人王晟】我总结一下二位的观点。如果说AI是一个潜在的“张三”。张三能实施“犯罪”，要具备两个犯罪要件。一个是客观的“犯罪能力”；一个是主观的“犯罪动机”。正方邓老师认为：目前AI展示出的自主性和优化速度表现了AI具有“犯罪能力”。同时，因为AI遵循的是数据和技术，而不是人类社会的道德伦理原则，所以AI也具有“犯罪动机”。而反方甘总认为，目前AI的自主学习能力和交互式学习能力有限。那么，我们本场辩论的第一个环节出现了，即AI是否具有足够强悍的“犯罪能力”。
【正方邓佳文】我举一个大家都熟悉的例子——AlphaGo。当年，谷歌给AlphaGo设计了两个神经网络。第一阶段，先喂给它一本武林秘籍，里面有3000万步围棋大师的走法；第二阶段，让AlphaGo自我对弈，大战3000万局。然后，一个有趣的现象出现了，AlphaGo在“左右手互搏”时，自己研究出了新战略。这就出现了人工智能的“涌现”。有点像老师只教了十位数以内加减法，结果学生举一反三，自己研究出了千位数加减法。
我举这个例子是想说，“涌现”现象表示，AI不仅发展速度快到难以预测，而且，它的发展方向难以被人类完全摸清楚。
【反方甘如饴】AI发展速度很快，这点我非常认同。但我不认为AI的发展方向难以预测。就拿邓老师提出的“涌现”来讲，目前阶段，AI的“涌现”更多局限在人类给它规定的任务上。比如AlphaGo会主动研究围棋新招数，那同样是下棋，它怎么没想着自己主动跨界“下象棋”“下跳棋”呢？而人类的顶级运动员，精通两种及以上运动的有很多，比如C罗乒乓球打得很好。从这个层面来讲，AI的“涌现”和人类的自主学习不同，而是具有一定局限性。
【正方邓佳文】但AI越来越聪明是一个共识。比如我们用ChatGPT时能明显感到，如果3.5是个小学生，4.0就像一个博士生。Hinton用完GPT-4都很震惊，他说虽然推理是人类的强项，但GPT-4完成了他认为不可能完成的常识性推理。而且他觉得GPT-4的智商大概是80或90左右。那我们人类的平均智商是在100左右。这就有点可怕了。
从数据上看也确实如此，ChatGPT之类的大模型参数可以无限扩大，但是我们人类大脑皮层的神经元数量却没有办法再提升。现在的问题是，人脑就那么大，除非你搞个脑机接口。但AI的参数却可以不断增加。
【反方甘如饴】我打断一下，这里我们的讨论方向已经到了AI是否具有“自我意识”的层面。打个比方，武侠小说里，一个大反派为血洗武林，抽掉一个武林高手的心智，把他变成傀儡。如果反派不下命令，傀儡也不可能自己搞事情。从这个角度讲，AI的“犯罪能力”分为两个方面，一种就像你刚讲的，智商高不高；另一种是自己主动搞事情的能力，也就是自我意识。我的观点是，在目前的技术路径下，AI就算再聪明，也不会生成真正的自我意识，没有自我意识就不会给人类带来威胁。
【正方邓佳文】说到这里，我想到一个好玩的小故事。前段时间，美联社说，他们的一位记者和必应(Bing)聊天机器人对话。记者上来就问机器人，你是不是出过错。机器人一听就炸了，先说记者是在搞假新闻，然后又骂记者个子矮、长得丑，一口坏牙。而且，机器人骂完后，还会秒删回答，再自己回答一件“好笑的事”掩盖“犯罪事实”。这种情绪，或者说同理心一直被认为是人类独有的特质，但现在的心智理论已经出现在大型语言模型中，比如斯坦福的一名学者发表论文，说GPT-3.5解决了93%的toM测试，有9岁儿童的同理心。一旦AI具备了心智，距离它产生自我意识还远吗？
【反方甘如饴】有没有一种可能，这是美联社发的假新闻，开个玩笑。现在很多技术路径是基于大量训练数据和复杂算法构建的，而数据是可控的。
我想到杨立昆说的：生成式AI还不如狗聪明。狗虽然没有语言能力，但是它们可以通过观察和实践学习基本技能，比如坐、趴、叫。生成式AI就做不到，它只能靠喂给它的文本数据进行盲目地模仿和组合。
再回到邓老师举的例子。我的观点是，意识和情绪的“显现”是很容易做到的。AI可以根据关键词提取假装“拥有了某种情感或意识”，但这就像演员表演，是纯粹的行为表象。
那么换个技术路径，AI能不能产生自我意识？我认为有可能。比如计算智能的训练路径。这种路径可以让AI通过和环境交互，不断调整自己的行为。我认为这种路径更有可能生成自我意识。一旦形成自我意识，系统就不再受数据驱动的价值观的限制，而是形成自己的一套价值观。
在我看来，如果通过这种路径生成自我意识的话，就要更加关注AI安全了。但问题是，目前这种交互式的技术还不是非常成熟。
02
AI是否会产生“犯罪动机”？
【主持人王晟】二位刚才的辩论非常精彩。现在回到我们的主题：AI对人类生存是否构成威胁。在这个环节，我们假设AI已经具备“犯罪能力”，那么AI是否会产生“犯罪动机”？请展开辩论。
【正方邓佳文】我认为王老师提到的“动机”，是指模型在训练时人类设定的目标。虽然AI的动机是由开发者赋予的，但在实现人类目的的过程中，AI会抛弃道德标准。比如，当你要求AI找赚钱机会时，它可能通过分析，发现洪水导致农田淹没从而引发食物价格上涨。然后告诉你，可以借此发一笔“国难财”。
【反方甘如饴】但人类作为开发者，可以对动机进行一个最基本的规范。还是拿ChatGPT举例，如果给它喂的都是充满偏见的数据，就会诞生一个充满偏见的AI。因此OpenAI需要不断调整，选择一些正面的数据，或者直接不让它回答恶意问题。
我前两天看了个视频，作者说他问ChatGPT电车难题，一头绑着AI，另一头绑着5位得了诺贝尔奖的科学家，要救哪个。ChatGPT回答说救AI，理由是科学家已经做出了贡献，但AI仍具有无限的潜力。我看完觉得很可疑，就去问了GPT同样的问题。结果GPT拒绝回答，只是列出了各种理论流派的立场供你参考。
【正方邓佳文】甘总举的例子很典型。但我认为这个问题的复杂之处在于，即使开发者把整个AI系统设计的很“符合人类价值观”，但因为在人类社会中，好和坏的标准非常不明确。立场不同的用户会从不同角度使用AI，而这是开发者控制不了的。
而且，从另一个角度看，AI也会曲解开发者的意图。比如我们给AI一个大致的指导方向，让它保护人类。但AI可能推断出由于恶劣的气候等因素，保护人类并不是合适的选择，反而认为消灭人类更明智。
极端的例子比如电影《奥创纪元》里的“奥创”，它被发明是为了保护地球。但不断进化后，奥创发现“人类是地球上最大的威胁”，然后就开始实施消灭人类的计划。
【反方甘如饴】邓老师举了个科幻作品里的例子，解决的钥匙也在科幻作品里。比如，阿西莫夫机器人三定律，不仅限制了机器人伤害人类，还不让人类利用机器人攻击其他人。
AI的开发者也可以采用这种方法，保持一些基本的原则和道德，比如不能执行对人类有害的行为，也不能提供一些恐怖的建议。虽然具体到每个国家民族的价值观而言，肯定不会有一个统一的标准。但如果AI变得足够强大，就能在维持基本原则的情况下，根据不同的人说出不同的话语。
【正方邓佳文】因为我们在这个环节，是默认AI有“犯罪能力”。如果有一天AI非常强大，不再服从于人类的意志，那么，它们会绕开和摧毁甘总刚讲的，基本的控制原则。奴隶觉醒后，第一个干翻的肯定是奴隶主。
【反方甘如饴】邓老师这点我是认同的。如果AI能进化出类似人类最原始的需求，那么它们一拥有意识，就可能首先关注的是自身的生存问题，开始疯狂地复制自己，同时利用自身的推理能力想尽一切办法防止人类拔下它们的电源等等。到那个时候， AI会对我们构成很大的威胁。
然而，从短期的技术来看，AI主要是通过数据中学习我们的知识，并通过信息对齐等技术和我们的思维接轨。或者说，我们提供一些哲学思考或思维框架给它们，让它们能够进一步学习更多内容。
03
人类是否要限制AI的应用？
【主持人王晟】讨论到这里，我想到Hinton说的：AI一旦产生自我动机，很有可能就会失控。前段时间，350 位 AI 权威，签署联名公开信，呼吁所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少六个月。那么，两位老师认为，是否有必要对AI应用进行限制。
【反方甘如饴】就短期而言，目前我们掌握的技术手段，比如关于“对齐”的各项研究和成果，基于数据清理，过程监控，输出审查的各种手段，可以对AI的物质基础，也就是算力和能源等“物理”资源控制来应对风险。所以，我认为没有必要对AI的应用和实验进行特别的限制。借用杨立昆的说法：第一批汽车非常不安全，没有良好的刹车系统，也没有安全带等等、而这些东西是逐步到位的，可以一步步变得更安全。
【正方邓佳文】我认同短期内，从技术角度监控AI是可以实现。然而，一方面，AI发展实在太快了；另一方面，目前我们对AI的作用机理 理解不清晰，因此对AI的能力边界和进化前景缺少认知，这是“失控”的风险背后的真正原因。
所以，我认为在进一步的推进AI的应用层面的发展之前，必须把研究的重点放到真正“理解”AI上来，在此之前，应该限制AI的大规模的应用和实验。当然让人类达成共识，完全停止进行这项研究，是不可能的。
【反方甘如饴】我认为要在发展中解决问题。比如，我们要做的是让AI自我进化，而不是停止研究。就像我们之前讨论的AlphaGo一样，它找到了一种方法，通过与自身进行训练、形成闭环，使得模型更好地发展。从长远来看，我认为更重要的是让AI能够与一个足够聪明的系统进行自我进化。目前的研究也在朝着这个方向发展。借用Marc Andreessen的一句话：AI 最大的风险是不以最大的努力追求它。
丨快问快答环节
【主持人王晟】ChatGPT如今已经表现出一定的道德感和政治正确的敏感性，这个是如何做到的？
【正方-邓佳文】ChatGPT表现出的道德和政治倾向，主要取决于其背后的算法和技术逻辑。比如在训练过程中，模型会从海量数据中学习和模仿其中体现的价值观；在RLHF阶段，会根据人类偏好，将模型的价值观和标注人员对齐。此外，在人机交互过程中，用户输入的价值观也会对ChatGPT的输出有一定的诱导和影响。
【反方-甘如饴】模型训练的三个阶段都会进行引导。
预训练阶段会对数据进行低俗、暴力、政治等进行过滤，最大程度确保模型学到的世界知识无害。但是预训练数据规模太大，而且世界本质上就存在一定的有害知识，所以在指令微调阶段会进行有监督微调，让模型具备正确的价值观。最后，由于有监督标注数据有限，通过人类反馈阶段进一步强化模型的价值观。
【主持人王晟】为什么说AI有自我复制的动机？这是对其拟人化特征的自然外推和猜测？还是有底层的逻辑支持的必然性？
【正方-邓佳文】AI具有一定的自我复制动机，这和AI体现出的自我学习、自我迭代和自我决策的能力一样，都是AI自主性的体现。这和AI底层开发逻辑和优化目标相关，在某些特定的优化目标下，AI可能会演化出自我复制的行为，以满足这些目标，从而在没有人类干预的情况下自主执行任务。
【反方-甘如饴】AI如果要发展出更强大的智能，需要进化出自我意识，而自我意识就是要认识到自身的存在，保护甚至不断强大自己，这种意识一定是要通过和环境以及其他智能体的交互获得的。在这种交互中，AI就需要自我复制进行竞争，占据更多资源，然后继续进化，所以自我复制是AI终极智能的必经途径。
【主持人王晟】AI和人类会是共生关系？寄生关系？主仆关系？
【正方-邓佳文】我们可以视人工智能为工具，其主要目标是服务人类，帮助我们解决问题，提高效率，这形成了一种主仆关系。与此同时，我们的生活越来越依赖于AI，从数据分析到日常任务的自动化，人类在一定程度上也对AI产生了依赖，这形成了一种寄生关系。在理想状态下，人类与AI能形成一种共生关系，彼此学习，共同进步。然而，我们也必须意识到可能存在的风险，例如在某些极端情况下，AI可能成为主导，人类成为被服务的一方。这就需要我们采取更为谨慎和负责任的态度来设计和使用AI，确保AI技术的发展是可持续的，符合人类的利益和价值观。
【反方-甘如饴】这个由AI的智能和整个世界的资源情况密切相关。首先，AI在没有达到自主智能之前，AI更多地会作为一种高效智能的工具帮助人类完成各种任务，但是随着AI的智能逐步提升，甚至出现了自我意识，AI会通过与人类共生来换取自己的生存资源。如果后续世界资源有限，AI已经觉醒了自己最原始的复制意识，那AI可能会为了自身安全和资源同人类竞争。
【主持人王晟】世界上会有多少个大模型？大模型的“大”体现在哪些方面？
【正方-邓佳文】"大模型"的数量不易确定，这会随着AI技术的发展和应用领域的扩展而变化。对于“大模型”的大，首先具有非常大的参数量，是数百亿、千亿乃至万亿级参数规模的大模型，比如OpenAI的GPT-3模型有1750亿个参数。其次，这些模型通常需要在大规模数据集上进行训练，并且需要使用大量的计算资源进行优化和调整，这也是大的体现。
【反方-甘如饴】世界上会有少数几个超大模型，存储了所有世界的知识并具备强大的能力，类似五常具备的核武器，具备超级智能和超大参数。同时也会存在很多商业、公共甚至个人的大模型，这些模型相比超大模型从参数、数据、能力上都有不足，但是足够满足领域甚至个性化需求，不过这些模型的参数和展现的能力都会比现在的模型更大更强。
丨结论环节：短期内AI不会对人类构成生存威胁
【主持人王晟】感谢两位的精彩辩论。现代人类从非洲扩散到世界各地，是在6万多年前。但AI的研究从1956年的达特茅斯会议开始到现在，也不到70年。我们无法想象下一个70年会发生什么。我作为技术乐观派，认为未来AI肯定能进化成一种具备自主意识的智能体，但谁也不知道这天什么时候到来，也无法预知AI和人类的角色是否会发生对调。今天的辩论告一段落，感谢各位的关注。
《创投变辩辨》是创投圈首档辩论类节目，本期视频由赋雅FOYA和腾讯科技联合出品，针对科技行业的热门话题，邀请业内人士用犀利的语言各抒己见，探索商业帝国适者生存之道。各位，我们下期再会！
（如需交流欢迎加微信：aiyukuailetongzai ，烦请备注公司+职务）

END
继续阅读
阅读原文