新智元报道  

编辑：编辑部
【新智元导读】关于ChatGPT的种种传闻和争议，正主亲自来回应了。
最近，借着ChatGPT的火爆，OpenAI身价大涨，估值一度达到290亿美元。
在2019年就给OpenAI投了10亿美‍元的「金主爸爸」微软，打算联合其他投资者再投100亿美元。
没错，OpenAI现在可是微软手中的「香饽饽」，微软的搜索引擎、办公软件Office、云计算平台Azure，个个都等着ChatGPT等AI工具的加持。
被微软当作大展宏图利器的OpenAI，现在已经聚焦了全世界的目光。
对此，OpenAI的CEO Sam Altman是怎样看的呢？
时下顶流：ChatGPT

对不起，这个问题我回答不了

大家最关心的问题，当然是ChatGPT整合进微软必应和Office的问题了。
记者就此提问后，Altman眨了眨眼睛，回避了直接回答。
他的发言可是相当有意思——
「你是一个非常有经验的专业记者。你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道[我]不能对此发表评论。既然生命很短暂，我们的时间都很宝贵，为什么要问这个问题呢？」
‍精彩地回避掉了问题焦点，还讲了一套段子精彩回怼，小编只能说，采访的语言艺术，被您拿捏了👍。
不过在随后的采访中，Altman也表示：虽然估值高达290亿美元，但其实现在OpenAI还未盈利。
的确，考虑到一天现在ChatGPT每天都要烧掉10万美元，这件事并不令人惊讶。

阴阳一下谷歌😏

ChatGPT诞生之后，因为一本正经地胡说八道，和所有语言模型都无法避免的训练数据「带毒」问题，被很多人所质疑。
担心会引起声誉风险，这就是谷歌迟迟未能将自己手中的LaMDA等语言模型商业化的主要原因（至少，谷歌是这么声称的）。
据悉在谷歌内部，员工对此有不小的抱怨，质疑谷歌「起了个大早，赶了个晚集」。
挑事的主持人当然不会放过这个话题，她直接问Altman：「谷歌对员工解释，之所以没有推出ChatGPT类似产品，是因为GPT技术还不够完美，可能会损害公司声誉，你对此怎么看待呢？」
对此，Altman意味深长地一笑：「我希望等谷歌发布新产品的那一天，他们能记得自己说过的话。我就说这么多。」
细品一下他的表情
没有一句废话，深藏功与名，Altman，真有你的。
那么，对于谷歌的人工智能，Altman是如何评价的呢？
聪明如他，是这么回答的：「关于他们的新闻，我了解得不多，不太好进行评价……嗯，我认为他们是一家有能力的公司，他们有好的产品，但我对此确实一无所知。」
虽然这么说，但显然，Altman非常了解坊间关于「ChatGPT是谷歌搜索引擎终结者」的言论。
对此，他是这样评论的——
「在我看来，每当有人说『一项技术是某个巨头公司的终结者』时，这种言论通常都是错误的。可能人们忘了，谷歌也有反击的机会，他们拥有非常聪明、有能力的人才。」
「不过，搜索引擎确实会有一个变化，可能会在某个时刻到来。但在短期内，不会有太急剧的变化。我猜，在相当长的时间内，人们会以现有的方式继续使用谷歌。虽然谷歌发布了红色代码，但短期内不会有太大变化，我猜。」

教学系统大震动

去年12月，ChatGPT大红大紫之际，就有诸多学者和研究人员发出警告：ChatGPT很可能「杀死」大学论文。最近，纽约市教育局就正式对ChatGPT下了封杀令。  
对此，Altman表示：「我理解教育工作者的担忧。事实上，教育界目前发生的事情，也是其他行业未来变化的序章。」
「短期来说，我们会帮助教育工作者以及其他行业的从业者，为他们提供辨别人工智能生成内容的工具。但从长远来看，人工智能产生的影响终会质变，这是所有人都无法改变的。」
「我们现在已经身处一个新的世界，从现在开始，我们要辨别哪些文字内容由人工智能生成。但这也未尝不可。计算器的出现改变了数学的计算方式，但我们已经习惯它的存在，我们甚至可以在考试时使用计算器。」
「当然，ChatGPT等人工智能所带来的变化将会更加深远，不过，这种变化带来的好处也会是前所未有的。虽然老师们担心学生用ChatGPT作弊，但也有老师表示，ChatGPT是一个很好的私人家教。」
「我本人也在用它学习，体验之后我发现，通过和ChatGPT对话进行学习，趣味性要远超其他教学方式。比起从书本中学习，我更乐意让ChatGPT来教我。」
「这是个不断进化的世界，人是适应性的动物。面对变化，我们总能适应，总能利用环境让自己变得更好。」

ChatGPT爆火的原因

ChatGPT诞生以来，仅用了5天的时间，用户数就成功达百万，破了纪录。
在Altman看来，DALL·E之所以获得了如此多的关注，是因为它改变了大家对人工智能的认知。
「还在5-7年前，所有人都以为，人工智能的出现会将人类从体力劳动中解放出来。比如人工智能会代替人们在工厂工作，或替人们驾驶卡车，甚至还会做一些要求不高的认知工作。」
「而当人工智能发展到一定阶段，它可能会从事更高级别的认知劳动，比如写代码。而发展到最后一步，人工智能就会掌握人类的创造力。」
「而如今来看，人工智能的发展与人们曾经的预测可谓南辕北辙，相去甚远。」
「当然，我们也理解人们对ChatGPT爆火的疑惑。一个公司真正负责任的做法，不是一股脑地将产品推出，让人们手足无措。」
「我们需要循序渐进，让普通用户、平台机构和政策制定者尽快熟悉我们的产品，了解它的优势和短处。」
「这也是为什么，据我们的上一代产品GPT-3的推出，已经有两年半的时间了。人们对于ChatGPT各种各样的反馈也能让我反思，相较于GPT-3，哪些修改是不合适的。」
万众瞩目的GPT-4
2022年11月，AI分析师Alberto Romero的一篇专栏文章，一经推出便迅速「引爆」了整个AI科技圈。
文中，Romero援引了硅谷工程师Igor Baikov9月时的一条推文表示：
「OpenAI已经在训练GPT-4，并计划于12月-2月间发布。」
根据Romero的预测，OpenAI将下一代模型的重点更多地放在优化数据处理上，而不是参数大小上，因此GPT-4的规模很可能与GPT-3相似，而且训练成本更低。
除此之外，还有传言称，GPT-4的参数量高达100万亿，并且已经先进到「与人类无异」，甚至「通过了图灵测试」。
对于这些传闻，Altman哭笑不得：「过于荒谬，一派胡言，完全不知从何而来。」
「我知道网友们都想通过各种爆料先睹为快。我有的时候也会把这些『内部贴』当乐子看。但这些帖子传了足足六个月，我总在想『现在人都这么闲了吗？』」
「而且关于GPT-4的谣言越传越离谱，仿佛他们是故意把期待值拉到不该有的高度，然后等着被我们打脸似的。比如，一些网友甚至认为GPT-4会是真正的AGI（人工通用智能）。」
「对于这一切，我只能说，他们在会失望这件事上，是不会失望的。」
此外，在采访中，主持人也向Altman求证GPT-4发布的具体时间。Altman表示：我知道你急，但你先别急。
总有一天我们会发布的，只要我们确定它足够安全。目前来看，GPT-4的发布会比大家期待的要晚一些。
我理解大家急切的心情，但当我们真正发布时，人们一定会觉得，等待是值得的。
简单来说就是：别急，该来的总会来的。
谣言始末
事实上，这个谣言最初的来源，很可能就是OpenAI自己……
2021年8月，Cerebras的CEO曾在wired的采访中透露：「我们从与OpenAI的交谈中得知，GPT-4将会有大约100万亿个参数」。
在当时，这很可能就是他们所相信的。但那是2021年，就机器学习研究而言，这基本上是很久以前的事了。
而这一切的开始，还是要回到2020年那篇「Scaling Laws For Neural Language Models」论文中。来自OpenAI的研究团队发现，当增加模型规模超过多个数量级时，训练损失有可预见的减少：
  • 为了优化模型的规模，参数量的扩展应该比数据集更快。确切地说，当模型大小增加8倍时，数据集只需要增加5倍。
  • 在固定的算力下，训练大型模型的时间要比使用较小的模型并训练更长时间要好。
论文地址：https://arxiv.org/abs/2001.08361
于是，模型的规模也开始迅速膨胀。比如，GPT-3（175B）、Gopher（280B）、Megatron-Turing NLG（530B）。
但DeepMind发表于2022年的论文「Training Compute-Optimal Large Language Models」表明，实际上需要将训练集和模型以相等的比例缩放。因此，当模型的大小翻倍时，训练所需的token数量也应该翻倍。
为了验证这个结果，研究人员在大量的数据上训练出了Chinchilla——一个700亿参数，在1.4万亿token上训练的「小模型」。虽然它比GPT-3小2.5倍，但却用了几乎5倍的数据。
实践证明，Chinchilla不仅更好，而且较小的规模使推理更便宜，微调更容易。
论文地址：https://arxiv.org/abs/2203.15556
根据上述分析，也正如Sam Altman所言，GPT-4的规模极大概率会与GPT-3相差不多。
当然，我们也可以大胆地预测一下：
  • GPT-4会在10倍的数据上进行优化训练
  • 更大的上下文规模，让GPT-4可以进行更长时间的预测
无论具体设计如何，GPT-4都将是一个坚实的进步，但绝不是一个具有100亿参数的类似人脑的AGI。
最后，AGI何时出现？

AGI（Artificial General Intelligence）也是最近大火的概念。它何时会出现呢？

对此，Altman是这样回答的——

「当我们越接近AGI出现的节点，我就越难回答这个问题。在我看来，AGI的概念将比人们想象的要模糊得多，同时，它的出现是一个渐进的过程。」

「如果将AGI的发展看做一条上升的折线，我认为在短期内，折线斜率越低，即AGI的发展越低调，越有利于其长期发展，这也是对全社会最安全的一条发展路径。」
「当然，AGI到达哪个阶段，才可以认定其技术上的成功？关于这点，人们会有巨大的分歧。」
参考资料：
https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview
https://smokingrobot.beehiiv.com
https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be
继续阅读
阅读原文
关键词
模型
谷歌
GPT-3
GPT-4
人工智能