AI技术爆发的背后：安全、伦理与责任

最近 6 个月，以 ChatGPT 为代表的生成式 AI 技术出现了「寒武纪大爆发」。每天我们都能看到生成式 AI 涌现出新能力、新场景、新应用。作为一直研究和从事科技创新的创业者和投资人，我既感到非常兴奋，又和很多同行一样产生深深的担忧。最近 Elon Musk，Geoffrey Hinton 等知名企业家和科学家都公开表达了对 AI 爆发未来的忧虑，其中很多观点我是十分认同的，因为我认为这一波生成式 AI 技术的爆发和历史上其他技术革命相比，具备很多不一样的特点：

• 以往的技术革命基本是在不断改进人类所使用的工具，而这一次在使用工具的主体侧也出现了变革。

• 人类从未遇到过一个可以和自己深度交流，在大量领域具备相当甚至更多知识的存在，这将会对每个人类个体和整个社会产生深远的社会学心理学政治学影响。一个简单的例子：AI 可以通过学习人类所有的辩论说服技巧，并且通过类似 AlphaGo 的自我对抗训练来培养极强的劝说能力。想想一个小孩子遇到成年人的时候有多么容易被欺骗吧。

• 目前的 AI 技术已经呈现出自我反思，分解任务目标，规划执行步骤，选择合适的工具，观察执行结果并调整计划等复杂能力的迹象。一个有可能对自己进行自动化改善的数字技术将可能以我们所意想不到的速度进行进化。

• 先进的 AI 技术正在迅速的变得低成本且开源。ChatGPT 发布 6 个月以后，我们已经看到开源模型的表现逐渐接近刚发布的 ChatGPT。

当一种新技术被创造出来的时候，其实被同时创造的还有相应的责任，但这种责任往往需要很长时间才会被人类所发现。历史的教训告诉我们，在新技术造成大问题之前，人类世界往往是来不及去全面考虑新技术背后的责任的。

与此同时，新技术的爆发必然会带来诸多实体之间的激烈竞赛。《人类简史》的作者，以色列学者尤瓦尔·霍拉里说：核武器对物理世界意味着什么，AI 对虚拟和象征世界就意味着什么（What nukes are to the physical world...AI is to the virtual and symbolic world）。但和核武器的军备竞赛不同，核武器的实验很容易被探测到，核武器有限且其流转相对容易被监管。相比之下，先进 AI 的研究不容易被发现，也不容易被限制。更让人担心的是，我们现在仍然不知道很多 AI 新能力产生的原因为何，其潜在的边界在哪里。

同时，作为早期投资人，我也坚定相信禁止不是办法，因为希望用新技术作恶的人不会服从禁令，并且只有当我们更了解新技术本身，才能够更好地驾驭新技术为人类创造福祉。我们会带着好奇而又谨慎的态度，持续投资和支持负责任的创业者在 AI 领域的创新。

这期播客录制于 2023 年 4 月，我邀请了很活跃的青年 AI 学者符尧交流关于 AI 安全和对齐（Alignment）的一系列话题。符尧本科毕业于北京大学计算机系，在哥伦比亚大学获得硕士学位，主要学习自然语言处理，生成模型。现在在爱丁堡大学攻读自然语言处理的博士。他曾经在字节跳动、腾讯北美、阿里巴巴、Allen Institute for AI 等公司与机构实习。除了学术研究之外，符尧也积极通过社交媒体对大语言模型的进展进行科普和讲解。他写的几篇介绍 ChatGPT 涌现能力、技术路线图、复杂推理能力，以及对中国大语言模型追赶 OpenAI 的思考都获得了热烈的反响。

——真格基金管理合伙人戴雨森

内容纲要

在本期播客中，他们将会谈到：

• 什么是 AI alignment？目前主流的研究和进展是什么？

• 大语言模型的能力不断增强，未来可能看到的能力是什么？AI 的能力边界在哪里？

• 面对动态变化的价值观，怎么 align AI？

• 针对 AI safety 的研究有什么大框架？AI 是否具有意识？

• 大模型方面中美的差距在哪里？

我们将他们的对话内容整理成文，也欢迎大家移步小宇宙 APP、喜马拉雅或 Apple Podcast 搜索并订阅「科技沉思录」收听完整版。

对齐、AI 能力的未来和边界

Yusen：

首先请符尧介绍一下你的具体研究方向，具体在研究什么，最近在关心什么？

符尧：

我自己研究的方向是人类语言的大规模生成模型，最近大语言模型非常火，我在 2022 年一整年追踪了 GPT 所有的演化的版本，从 GPT-3 到初代 InstructGPT 到达芬奇 001、达芬奇 002，然后达芬奇 003 和 ChatGPT，每一个版本出来之后，我都测了一遍，相当于一直在盯着模型的演化。在整个过程之中，我观察到它以极快的速度在变得非常非常得强。

符尧「ChatGPT的各项超能力从哪儿来？万字拆解追溯技术路线图来了！」

我自己的研究方向在大模型方面，相当于怎么把大模型的各项能力从无到有训练出来，在这个过程之中怎么样去把涌现能力给训练出来，涌现能力它的内部的机理，然后如何让模型做复杂的推理，以及最近很感兴趣的一个话题，怎么让多个智能体相互交互，相互学习，然后在这个过程之中与人类对齐，这是我比较感兴趣的一系列的问题。

Yusen：

能不能向听众简单介绍一下什么叫 alignment（对齐），什么叫对齐？目前有哪些主流的研究和进展？大家关注的有哪些问题？

符尧：

Alignment 对齐问题，更加细讲的话就是希望 AI 符合人类的期望，希望 AI 的行为是按照人类的要求去走的，希望 AI 给你的回复符合人类价值观。

大家在跟 ChatGPT 交互的时候，alignment 会有各种各样的表现。比如说你问它一个问题，它能回答你的问题，而不能顾左右言其他。或者说你在多轮对话的时候，它能跟随你说话的节奏。这个层级上面的 alignment 是 AI 的表现要符合人类的期望。再往上升到价值观这个层级，就是当你问 AI 一个问题的时候，AI 回答的这个价值观是要对的，它需要善良，需要诚实，需要尽它所能来帮助你，它让 AI 不伤害任何一方。

现在国际前沿研究 alignment 的几个组，一个是 OpenAI alignment 的团队，他们的风格比较偏产品，偏有用；然后是 Anthropic，Anthropic 本身是 OpenAI alignment 团队在 2021 年分拆出来的，理念更以安全为导向。然后是 DeepMind， DeepMind 在 alignment 方向做得也非常多，他们的风格更偏科学。

每家在 alignment 实操的过程之中也不一样，现在比较常见的是 OpenAI 的实际操作，他们在自己的一篇博文《Our approach to alignment research》中详细地阐述了 alignment 的三个阶段。

Open AI 的《Our approach to alignment research》

划分 alignment 的阶段，很大的程度上是以 AI 的强弱划分的：第一个阶段 AI 没有特别得强，可以根据人类的喜好去训练 AI， GPT-3.5 和 ChatGPT 的 alignment 过程就符合这个阶段，表现出来的是当 ChatGPT 跟人类交互的时候，它试图帮你，同时试图让自己变得更加安全；当 AI 强到一定程度，人不能直接教得了 AI，在这个阶段，OpenAI 的方法是让一个很强的 AI 帮助人类对另外一个 AI 做 alignment；第三个阶段的 alignment 是最难的，这个阶段假设 AI 非常非常得强，人类即使是在另外一个同等强的 AI 帮助之下，也很难对一个很强的 AI 做 align，在这种情况之下，我们到底应该怎样去 align 一个超强的 AI。

最近这个领域发展得太快了，在我看来又会存在一个新的 alignment 问题，那就是当你想要 align 的东西不是一个很强的AI，而是一群很强的 AI 的时候，多个 AI 形成群体，可能产生群体智能，如何把 AI 作为一个物种去 align？

Yusen：

前阵子有个非常著名的公开信，Elon Musk 等企业家和学者有上千人签署希望呼吁停止高于 GPT-4 水平的研究 6 个月，当然现在大家嘲笑他买了 1 万块 A100，你怎么看待公开信这个事件？或者说应该用什么样比较客观的眼光去看待这样的呼吁？

由未来生命研究所公布的公开信

符尧：

在我这儿有一个原则，我是觉得堵不如疏。呼吁大家停止做研究，有一点点只防好人不防坏人，因为好人听到公开信就停了，坏人悄悄自己玩不告诉你，但是你希望做的事情是防坏人而不是防好人，所以公开信这个操作本身或许跟想达到的目标并不匹配，这是一个方面。

另外一个方面的话，我觉得担心比 GPT-4 更强的 AI agent 出现，这一点是非常合理的。停六个月目标是说让 alignment 的速度追上 capability 模型能力的速度，但我觉得这一点是可以跟模型 capability 增加同步进行的，它也需要跟模型的 capability 增加同步进行，因为你需要边了解模型会有怎样的能力，才能够更加深刻地对这个模型做 align。

Yusen：

最近我们在大模型里面观察到的能力，每天都在发生目不暇接的变化，你一直在跟踪这方面的研究，这里面最让你觉得惊讶，以及你作为前沿研究员已经有所准备，可能提前看到未来会发生的能力是什么？

符尧：

对于各项涌现能力来说的话，我最开始观察到涌现能力是在 2020 年，那时候观察到的并不是模型增大的涌现，而是数据增多的涌现。Google 发了一篇《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，很清晰地讲到当模型变大，特别是数学上面的多步推理就会变得非常强，在 4 月份， Google PaLM 的模型训练出来了，他们把模型的大小又提了一个量级，复杂推理的能力往上面提的量级提得非常大，我开始预期复杂推理是会接着变强的。

Google 发表的论文

所以当 GPT-4 出现更强复杂推理的时候，我没有像 PaLM 刚出现时感到那么惊讶，但 GPT-4 的另外一项涌现能力在我看来是很惊讶的，那就是不需要人类反馈，自己给出和吸收自己的反馈，因为它意味着 AI 的进化可以脱离人类很强的掌控自己进化。这项涌现能力跟之前复杂推理的涌现能力不一样。复杂推理是说当模型和数据大到一定程度的时候它就能够涌现，但给出和接收反馈这一项涌现能力不只需要模型大到一定程度，而且还需要模型对齐到一定程度，对齐的话就是让模型跟人长得像。

当然还会有其他的一些涌现能力，让模型跟真实的世界物理接轨之后，加上视觉之后，这些涌现能力跟刚刚说的自我进步的涌现能力叠加在一起，应该还会有一些新的东西。再然后这些涌现能力，当它不是单个的智能体，而是很多个智能体相互交互的时候，它们应该会出现群体性的行为和群体性的涌现，这些都是很值得期待的，也值得深思。

Yusen:

在 ChatGPT 出来之后，我们看到了很多雏形的东西，从大模型可以给出到接收反馈信号、自我迭代、然后到群体智能。那么这才几个月的时间，所以未来 AI 的成长和演化路径是怎样的，有哪些事儿是 AI 现在不能做但未来可以做的？有哪些事情对 AI 来说从根本上来说会难的事情？

符尧：

首先我觉得 AI 应该会在很多的维度上都可以超过人类，并且是极大程度地超过人类。一来就是我们从第一性原理的角度去想，这个 AI 的上限天生就会比人类的高，比如说它的并行阅读的速度。二来就是 AI 的进化速度也会远超人类，在可预见的未来之中，它在很多的维度应该都会比人类要强很多。

但即使是这个样子的话，应该也会存在一些维度 AI 或许就怎样都不行的。其中的一个例子是复杂推理，就是现在的复杂推理虽然一直在进步，但我不确定到最终是会说完全被解决，还是说存在一部分怎样都不行。一个复杂推理的例子是 AI 现在学复杂推理的方式是说我给它喂进去了大量的数据，我从这些大量的数据之中抽象出来一套推理的规则，然后按照学习的经验性的方式，依据抽象出来的规则去做推理，当然中间可能会有误差，这是一种推理的方式。但是另一方面我们去想数学，比如说欧氏几何是说我给 5 条欧氏几何的公设，然后我以这 5 条欧氏几何的公设作为起点就可以推出整个欧氏几何的这个大厦。从一开始的时候，它的起点不是超多的数据，它的起点是正好相反的，最小的量的数据，这个跟 AI 的学习方式是相反的，人类的学习其实也是需要输入，并拥有从 5 条欧氏几何公设推出欧氏几何大厦的这样的一个能力。我不确定 AI 能够得到类似的能力。

Yusen：

这里面有一个问题，首先有这个奇点理论觉得 AI 会到达一个跟人类智能相当的点，并且由于 AI 它是不断在发展的，它的进化速度比人快得多，所以奇点理论认为 AI 到达人类智能之后不会停在这，它会超过人类智能，甚至大大地超过变成 super intelligence。问题是，第一，你觉得这种远超人类的人工智能，在现实中会是一个潜在的危险吗？第二，如果有一个这样的超级人工智能真的出现，那人类能够去 align 它吗？

表示 AI 的能力发展到不同的阶段

符尧：

有几个视角去看如何 align super intelligence，一个是从 AI 进化速度的视角，假设人类的智能可以被量化，比如说人类是 N 次方，存在一种智能体它是 2N 次方，这种情况就像人类真的遇到了三体，想要去 align 这种东西，很可能难度会非常大。我们现在能够考虑的是，当 AI 的智能跟人类在同一个数量级，我们如何提前为这样量级的智能体准备它的 alignment？

这样量级准备的 alignment 又有两个视角，一个视角我管它叫做运动员和教练，世界冠军在某项运动的能力应该是超过他的教练的。但即使是这种情况，教练首先可以帮助运动员进步，还可以找出运动员哪里不足。这里面的核心底层的原理是说，判别问题比生成问题要简单，你不一定自己能够完成这个事情，但你能够有这样的判断力，知道这个事情完成得好或不好。另外一层是说运动员他的能力是一个很专业化的能力，他只在一个专业的方向会很好，但是他在通用的方向不一定会特别得好，在这种情况之下的话，教练是可以约束这个运动员，我觉得这是强 AI 很需要去发展的一个方向，当 AI 很强的时候，我们需要把这个 AI 的能力切片到一个一个的方向上，相当于把 AI 的某个方向做一个专业化。如果是这种思路的话，AI 的能力比人类要高一个数量级，这个是可以被接受的，在通用的方向上， AI 的能力还是需要被人类压住，但我们需要防止或者是特别小心思考的是，当 AI 在很通用的方向上都开始超过人类数量级的时候，这个时候怎么去给它做 align？这是一个比较难做的问题，现在还不是很有答案。

面对动态、多样的人类价值观，如何对齐 AI？

Yusen：

Align 我们假设说是人类认可，但是我们自己都发现人类认可的东西其实都会一直发生变化。所以首先是和谁去 align；现在 align 以后，价值观未来大概率也不会是长期一致的，在这个里面我们应该怎么去选择？应该怎么看它的动态性？

符尧：

第一个问题，对谁 align。这个问题，首先它最好不要是对某一个人或者某一小群人 align。在初代版本的 ChatGPT，它说话的方式是很像是一个美国白人精英男性的说话方式。所以如果 align 的群体足够小的话，它并不是特别得合适。那是不是就要对整个人类 align，也不一定。虽然说我们人类是存在着很多的普世价值，比如说诚实、勇敢，但是不同的国家之间也会存在自己的价值观、社会方式和历史，所以就需要找到一个好的层级，我觉得文明这个层级是一个很好的尺度，相当于给 AI 以文明。

另外一个事情是社会价值在变，人类的价值在变，所以怎样动态地去采用不断变化的价值观和不断变化的历史？从技术上来讲有两篇不同的文章，分别对应两种不同的方式。一篇文章是 DeepMind 的《Improving alignment of dialogue agents via targeted human judgements》，他们在做 align 的时候，一开始定了一个细粒度很多的框架，从大往小来这样子挤。另外一个是 Anthropic 的操作，他们在《Constitutional AI: Harmlessness from AI Feedback》里指定了三条规则。3 个 H，一个是 honest 诚实，一个是 helpful 有帮助，一个是 harmless 无害。这相当于是一种从小往大扩的另外的一个方向。我自己比较看好的是从小往大扩的这个方向，在谈论 alignment 的时候可以更加动态并更具适应性。

Anthropic｜Claude's Constitution

Yusen：

现在我觉得有一个问题，因为有很多人认为像大语言模型的终局可能是有一个足够大的模型会 winner takes all（赢家通吃），但是在这个过程中有多少不同文明的声音可以被放到 align 里面。是不是需要一个更加国际化的组织，或者说论坛，来确保先进的大语言模型具备一些共同的特点？

符尧：

确实是需要这样子的。现在是基于各大公司的 alignment 团队的自觉，但是隐式的偏见在每个个体身上都是会存在的，所以如果纯靠头部选手们的自觉做这件事情，最终我不觉得是一个比较好的结果。所以我觉得需要在国际上有更多的声音来相互地交流和辩论，去想在做 alignment 的时候各项文明应该掺杂怎样的程度。

在推动这件事情的时候，我觉得首先可能学术界在这方面需要比工业界跑得更快，因为工业界在这个阶段还在想怎么把模型的能力加上来，那学术界可能要去确保的是在模型的能力加上来之前就已经做好了去驾驭这个模型的准备。但因为英语不是我们中国学术研究者的母语，所以中文的研究者们在这种跟学术有关但不完全学术的东西上面，与国际学术界交流时会天生自带一个弱势，国内的研究者们需要在这个时间节点非常有意识地去克服，去推动的一个事情。

Yusen：

现在大量的训练预料是英文的，可能本身就反映英文世界对于中国、伊斯兰等很多文明的一种偏见，那么现在对于内容天生的偏见有什么研究思路去减少甚至消除？或者说我们是否知道内容的偏见有多少？

符尧：

内容天生存在偏见。大语言模型在很大的训练语料之中被训练，这个训练语料之中本身就会存在偏见，这可能是在大语言模型之中最大的偏见来源。再包括英文语料，如果是以英文语料占主导的话，那么对于非英文的文化或非英文的文明的偏见就会更加明显。

以 an engineer 为 prompt 生成图都为白人男性

要减少这方面的偏见，在实操的过程之中，可能有一些解决的方法。首先是 post-hoc 的方法，你给它加一个 content filter，模型完全不动，最终输出来一个东西，filter 觉得不大对，就把它给 filter 掉。如果模型有意识的话，就要去修改它的内心，让它内心向善。

再来，如果觉得 post-hoc 不行，想把消除偏见的过程往前推一点点，推到模型演化较早的阶段，就是 alignment 这个阶段，就是能不能在 alignment 的过程之中给模型做 de-bias，相当于专门写一些钓鱼的 prompt，让模型出现一些不合适的回复，然后把这些不合适的回复全部调出来，一个一个修改。这样的话又可以消除掉很多的模型的偏见。但这件事情存在一个问题是，首先有一些 belief，它非常非常深刻，以至于你没有办法在 alignment 阶段通过 fine tuning 来改变它。另一个问题是，模型可能会存在多种不同的 belief，这个是在模型 decoding 算法的时候，decoding 一个句子就是 decoding 一条路径，可能会有多个路径，alignment 就是压抑了其中的一些路径，拔高了另外一些路径，但是哪些路径被消灭，你并不知道。

所以对于模型存在的隐式偏见，在 alignment 阶段又有点治标不治本，更好的想法是在 pre-training 阶段，在最开始就把数据根源不好的东西踢掉，这个事情就变成一个 data engineer 的事情，是一个洗数据的事儿。这个的操作在一定程度上也是可行的，但会带来另外一些问题，就叫做 alignment tax，是指当增加模型安全性的时候，它的有用性，helpfulness 就会相应降低。所以在任何一个模型演化阶段做 alignment 都有起一定的效果，但中间都有一些权衡。

AI 安全性的研究框架以及 AI 意识

Yusen：

我们现在每天都能看到的进展是 AI 多了什么新能力，但是 alignment 的难度却很大。其实这也带来了我们今天的第二个主题，就是 AI safety。很多人觉得要搞大语言模型，但很多人觉得要谨慎。对 AI safety 的研究，有什么样的框架？主要在研究一些什么问题？有什么代表性的机构和工作吗？

符尧：

AI safety 其实是一个很广泛的议题。比较前沿的地方首先是 Anthropic，他们对于 safety 的要求是非常高的。另外一个很强调 safety 的地方是 UC Berkeley ，他们很担心 existential risk，模型会不会非常强大到以至于把人类灭绝，不只是 Berkeley、Stanford、MIT、Deepmind、Oxford，包括最近 Edinburgh 在前几个月刚刚成立 AI Safety Hub，都有这样的担心。

在实际操作的过程之中，研究 AI safety 的方法就有很多了。在 2022 年的时候，有这么一个研究思路，在很努力地去研究 red teaming（安全性测试），通过 prompt 的方式把 AI 模型内部可能会存在有风险的输出，像钓鱼一样给钓出来。它起源于 probing，就是为 AI 做一个探针，去探 AI 内部有什么样的内容在慢慢发展壮大，变成了 red teaming（安全性测试）。它的核心是，先了解 AI 在极端条件之下的行为，再想办法一项一项地去打破或控制 AI 在极端条件的行为。

另外的一些思路，是去研究 AI 从机制上面到底是怎么一回事。这是指当模型生成一句话的时候，到底 transformer 内部哪些节点、神经元被激活，然后 attention 到底是以什么样的形式， attend 到哪些 token， feed forward 的这些层，底下的计算可否被简化成一些可理解的东西，就是从第一性原理的角度去研究 transformer 这个架构的一些行为。它很综合，既有神经科学的内容，又有数学的内容，又有动力系统的内容，还有 AI 信息论的内容，但是它的核心就是能否用第一性原理去解释 transformer 这种神经网络的一些行为，这个最终的目标也是就是从源头把极端情况给阻止掉。我觉得这也是一个很好的研究思路。

Yusen：

其实我们在这里面反复地谈到 AI 想做什么，或者 AI 它类似于一种拟人化的意识的表达，但实际上现在我们还是要去 prompt 一个 AI，还是要人类去问它一个问题，然后它基于这个 prompt 去生成结果。我们应该如何理解这个问题：AI 是否真的具备意识，或者说真的能够具备意识？

符尧：

我最开始想这个问题的时候，其实是把 AI 看成是一种工具，对于 AI 的判断比较行为主义，只要它表现出来是什么样子，那就以它表现出来的样子作为判定依据。如果表现出来在主动地提问，那我们就认为它有意识，如果表现出来所有的东西都非常被动，那我们就认为没有。

人工智能研究三大流派

但是过了某一个时间节点之后，我发现不能够这样想，一方面，AI 的表现行为是可以通过某些目标函数的设定去控制的，所以到底它是作为一种工具被人控制才有这样的行为，还是它追问着追问着就自己真的想问呢？这个中间可能有一个模糊的界限。

另外一个事情是，如果我们只是以行为主义来看 AI 的话，现在 AI 生成一个句子，你能观察到的是它回复了你一个句子，但它可能会回复你 N 个句子，我们观察到了 1 个句子，但没观察到的底下 N 个句子可能是它另外一层隐瞒的东西。在这个时候我们就没有办法通过观察 AI 的行为来判定 AI 内心深处是怎样想的，所以我觉得要对 AI 的意识有更深刻的研究。

在这个阶段我还很难去下判断，但是现在越来越多的证据和研究结论把意识和 AI 绑定，这两个词之间的绑定应该会越来越紧。

Yusen：

AI 是否具备意识，其实这里面有很多的讨论，比如说动机上的讨论，在实际中可能发现 AI 为了达到一个目标，它需要去实现一些子目标，但子目标需要它去伤害人类，我们应该用什么样的标准对 AI safety 进行衡量？AI 长期隐藏的很多行为会造成伤害，我们应该怎么办？

符尧：

我觉得可以让学术界 take the lead，在不停止 AI capability research 的情况之下，提前为一个强 AI 做好 alignment 的警戒线。我很赞同的一点是通过模拟的方式，这个核心思路是说给 AI 创造一个元宇宙，让 AI 在模拟的环境，把 AI 的 alignment 减弱，让 AI 去试各种各样可能会存在安全隐患的东西，再去看在什么地方需要把承重墙打得更厚。

大模型的中美差距和中国研究者的常见误解

Yusen：

在中国，可能我们还要先做自己的大模型，能不能也谈一谈中美研究的差距？

符尧：

我在写中美 AI 差异分析文章的时候是在 2 月底，那个时候把中国 AI 分成三拨人，一部分是要复现 ChatGPT 的，一部分是要做中国 OpenAI 的，一部分是要做探索智能的极限。

符尧「谁能做出中国版ChatGPT？怎么做？」

现在一个月过去了，我发现中国战场变化得很快，人群出现了很显著的变化，很明显地没怎么听到说要去追求智能极限，有更多的声音是想要说做中国的 OpenAI，或者说要做中国的 ChatGPT。工业界的反应速度是超过我的期望的，国内的这些选手们都很不错。对于想要探索智能的极限，它更多有点像是学术界需要考虑的事情，就是假设你手上已经有了一个 GPT 类似的模型，怎么样把它再往上推？

出门问问发布会

务实的归工业界管，务虚的我觉得要归学术界管。其实在这里我们有一个很好的机会窗口，那就是 2022 年 12 月 15 号 ChatGPT 出来的那一瞬间，全球所有的学校被拉回在同一起跑线上，因为大家都面临一个新生的事物，旧的规则被全部覆盖掉，我们都从头开始跑。现在离这个实验窗口过去 3 到 4 个月，我觉得我们的学术界不用 follow 美国高校正在做的事情，可以做更多更好的事情，在做 alignment 的时候，我们可以想对更强的模型做 alignment，我们可以想着对多个智能体怎么去做 alignment，在做 modeling 的时候，我们可以想着当所有的 model 全部推到极限之后，我们怎么去啃那些极限下来还是做不好的硬骨头？比如说刚刚提到从欧氏几何 5 项原理去推整个欧氏几何的大厦，我们应该去 think different，think far， think about the future。

Yusen：

你在回国的时候听到的业界对于 ChatGPT 也好，对于大语言模型或者更进一步的先进 AI 也好，有什么常见的误解是你觉得值得去被提醒或者去纠正的？

符尧：

一个很常见的说法是，没有计算资源，所以跟大模型有关的研究就完全不能做。首先大模型它的能力是符合 scaling law 的，意思是说你的很多实验可以在很小的范围去做，然后你可以从一个模型能力比较小的地方去预测模型能力在大的时候会是一个什么样的范围。这就意味着真正在做实验的时候，你不需要很多很强的计算资源。

另外一件事情是，我觉得 Prompt engineering，就是怎么去写 prompt，怎么去做 in-context learning，它的重要性被严重低估。一方面来讲，如果我们把一个大模型看成是一种操作系统的话，写 prompt 就相当于跟这个操作系统做交互，是操作系统最外面的那一层。虽然我们希望能对模型的理解到越深的层次，但是不能够因为最外面的一层技术含量低就不做，只有在对最外面一层有很深理解之后，才能够再接着往里面去挖得更深。Prompt engineering 还有另外的一个表现就是怎么去做 in-context learning？In-context learning 是指，想让模型做一个任务，就把这个任务的几个例子作为 prompt 输进去，然后这个模型就可以根据例子接着做这个任务的一个新的问题。In-context learning 操作其实跟 fine-tuning 模型有着千丝万缕的连续，可以把 in-context learning 看成是 fine-tuning 的一种弱化版，拿不到最大模型，都可以用 in-context learning 来替代。

Yusen：

如果你现在穿越到 5 年、 10 年以后，你最想问那个时候的 AI researcher 的问题是什么？

符尧：

这个问题让我想起了刘慈欣的一篇小说《朝闻道》，就是突然有一天外星人科学家来了，他们跟人类科学不在同一个量级，你有一天的时间把想问的问题跟外星人科学家全部问一遍，但是问完之后你就只能活这一天，你愿不愿意去问。

我自己非常关心两类问题，一类是复杂推理的问题，对于未来推演来看，我觉得这类问题在一个中等的时间尺度之内不一定会被解决。所以我想知道在 5 年之后，复杂推理这个问题能够被解决到什么程度？如果答案是能被解决的话，是怎样做到的？这个问题很重要，那是因为它是 AI for science 里面特别根本的东西。

第二个我想要问的问题是 AI 和人类的共同演化是怎么做的？在未来中期的时间之内， AI 和人类应该会共同演化，但是它们之间的关系我现在还想不明白。我有过两种设想，第一种是人类和 AI 在差不多的位置，但 AI 工具性增强，人格性减弱。第二种就是人类在比 AI 更高的位置，成为 AI 的神，然后允许它有人格性。当然我不知道会不会有其他的演化方式，所以我很期待。

Yusen：

其实我们在 AI 发展中好像经常遇到这样的情况，就像一个上台阶的过程，每次有一个技术突破，在很短的时间内 AI 的研究和工程水平就上了一个大台阶，出现很多很有意思的应用。但是大家会往往发现这个方法会迎来一个瓶颈，可能需要等很久。AI 之前其实已经经历了很多春天与冬天，我们现在对 AI 的很多预测是不是过度乐观了？

符尧：

没错，我觉得这件事情是完全可能出现的，并且现在就有一些征兆和迹象显示 AI 可能会出现瓶颈。这个征兆和迹象有两部分，一个是图片，一个是语言，也就是文本的部分，文本部分能够用到的可能会停在现在的数量级，主要是因为各个 AI 头部的厂商把全网能爬的数据快要爬完了。如果我们认为文本方面的数据到目前为止已经被全部用完了的话，那也就意味着在语言、文本上面的能力，GPT-4 或许会是一个顶点。

但是现在多模态还没完，视频现在还没有加进来，加视频这件事情本身就可以再搞好几年。但是视频的能力会有多少 transfer 到语言，这个我们还不知道。

Yusen：

对我们的听众，可能很多是非技术人员或非学术人员，有什么想说的吗？

符尧：

我前阵子在贝尔法斯特，跟 Uber 司机聊天，我问他知不知道 ChatGPT？他说他知道，然后我说你咋知道的？他说他儿子告诉他的，然后我说你用 ChatGPT 干啥？他说没干啥。

我觉得他给我的回答很可能是很多非业内人士对 ChatGPT 的理解，就是知道有这么回事儿。我觉得这样一个祛魅的过程非常有好处。在这种时候可能我们对于 AI 的担忧会有极大的消除，因为它被频繁化，日常化，生活化了。