（点击小程序或音频收听本期节目👆）


5 月 29 日，人工智能非盈利研究机构 OpenAI 公布了下一代文本生成神经网络 GPT-3 的研究论文。在这两周 GPT-3 的 API 接口开放给越来越多创业者使用以后，GPT-3 的展示案例在 Twitter 上掀起了一阵讨论热潮。

有人工智能公司的创业者们看到这个技术演示以后被吓到了，硅谷的风险投资人们也终于不再讨论政治了，要说它未来去取代深度记者不是没有可能。
作为人工智能又一里程碑式的突破，有人将它称作是 Alpha Go 之后人工智能最大的技术进步，也有人认为它的意义堪比比特币；当然也不乏批评者认为，在现阶段过分高估了这个技术。
但看完它的演示后，正如本期嘉宾徐皞所说：“并不是说它能做什么，是它不能做什么。” 我采访完的感受是，它将会深远影响未来五到十年。
要理解 GPT-3 这个相当技术的话题并不容易。这次对话，《硅谷101》梳理出关于 GPT-3 的八大问题，看完以后，相信大家可以全面而深刻的理解这项技术。

也推荐大家直接收听音频。如果大家对音频中提到的小实验感兴趣，欢迎直接看文末的小测试，我们将在下次更新时公布结果。片尾也给听众发放了一个小福利，大家最想问 GPT-3 什么问题，或者有什么论述想看 GPT-3 续写，欢迎给我们留言，我们会选择一两条最有趣的问题，交给机器回答。
【本期嘉宾】
徐皞
硅谷人工智能创投家
徐皞是一位连续创业者与投资人，曾创建人工智能网络安全公司 TrustPath。在 TrustPath 被硅谷云计算安全上市公司 Zscaler 并购后，现在 Zscaler 是负责人工智能与机器学习的副总裁。徐皞也是硅谷老牌风险投资公司 GreyLock 的入驻企业家。
以下是本期《硅谷101》音频的精彩对话节选：
01
GPT-3及其突破是什么

泓君：GPT-3 是什么？为什么它的出现会让大家眼前一亮？ 
徐皞：这一次 GPT 第三代的模型，是一个比较大的突破。
从技术上来讲，很多人其实有批评的，认为从算法上来讲没什么大的突破，它的算力特别大，大约花了 1200 万美金训练这么一个模型。
1750 亿的参数，它有大量的互联网的数据，他用了 1750 亿个参数去来表达大概 4000 亿个字符串，这个机器人对互联网的理解的深刻程度就比以前大概高很多。 
以前如果说告诉你怎么去翻译，从英文翻到中文，中文翻到英文，还要做一些优化；这一次他把 4000 亿个互联网上的字符串吞进去，花 1200 万美元去计算，去训练这个模型，之后发现它可以做一些很惊人的事情。 
举一个很简单的例子，我们从来没有在标注数据里教过他去怎么做加减乘除，它居然能够做两位数、三位数的加减乘除。两位数的，78+56 是多少，它基本上能够做到正确；即使是三位数，它能够做到大约 80% 的正确。
有几个突破，第一个是，我不需要标注的数据就能够给你答案，以前需要做局部的优化，比如说我来告诉你怎么去做加减乘除，给一些有关加减乘除的数据。但是，这一次没有任何局部优化，它就能够做一些非常通用的任务。 
泓君：根据你说的我可不可以理解成，以前我们觉得 3+3=6 是一个很简单的加减乘除，是因为它是一个特定领域的人工智能，我们去告诉机器计算规则，但是 GPT-3 它不一样，它是一个通用型的人工智能。
它并不是针对数学算法去做的，你去问它，法国的首都在哪里，巴西的首都在哪里；狗有几条腿，它其实都能做，所以它的想象力是更大的。
徐皞：对，它的想象力更加大。但是它只能够理解互联网上看到的知识，互联网上面如果从来没看到过，可能会比较难。 
泓君：我当时看到 GPT-3 的时候，收集到一些反馈，有人说他们当时看到这个技术，“感觉像一个超级电子对撞机”；还有一个朋友说，如何理解它可以做什么，你差不多可以理解成机器就可以自动去续写《红楼梦》的后四十回。 
徐皞：这两个都是很不错的想法。 
它能够写出来《红楼梦》后面两回或者四十回，有可能写得出奇的好，但是也不排除写的有漏洞，或者故事太离谱，让大家觉得可信度减低，都有可能的。
我的朋友圈里面发的几篇文章，都是选他写的比较好的文章，我没有发他写的不好的。我们判断事物的时候，一般容易是把好的东西拿出来吹，不代表机器人所有的文章都是好的。 
02
背后的研究机构 OpenAI
泓君：这个事情出来以后，大家对它有一点质疑，因为它现在 API 测试是邀请的，或者还需要申请，我们普通人很难去验证这样的结果，我们看到的可能是首批试用者测试出来的最好的结果。
徐皞：我个人倒并不怀疑，比如说我朋友圈里面发的卫理公会那篇文章，算是比较优秀的一篇范文，也不是说现在写的所有的文章都好。 
你说是不是它只给少部分人在用，它的主要的出发点并不一定是说他的东西是真是假，主要是有几个考量：
首先，OpenAI 这个组织，有非盈利的那一部分，但它要往前走，盈利那一部分也是非常重要的。哪一些应用场景对人类能够带来很大的进步，它也想学习。 
另外，从安全性角度来讲，人工智能给谁用，怎么用，会产生很大的影响。OpenAI 创始的时候，一个很重要的宗旨是，怎么让人类安全地去用人工智能。
泓君：有必要补充下 GPT-3 的背景，它论文背后的研究机构 OpenAI 是是马斯克联合硅谷大佬，投资 10 亿美元成立的一家非盈利组织。他最开始说他成立这家组织的目的，是防止人工智能去毁灭世界。
除马斯克以外，它的创建者们还包括了很多熟悉的名字：著名孵化器 Y Combinator 前 CEO 山姆·奥特曼（Sam Altman），前 Stripe 的CTO格雷格·布劳克曼（Greg Brockman），被称为“硅谷人脉王”的Linkedin联合创始人瑞德·霍夫曼（Reid Hoffman），以及 Paypal 共同创建者及著名投资人彼得·蒂尔（Peter Thiel）。
Y Combinator、特斯拉会开放数据给 OpenAI，微软与亚马逊也正在变成 OpenAI 的合作伙伴。这次的 GPT-3 就是在微软云上运行的。
03
API接口申请
泓君：你有去申请它的 API 接口吗？
徐皞：对，我有申请，但是还没被批准，大家可以去 openai.com 申请。每个人都可以去申请，写一个用途就可以了。
目前，它只是给少部分的开发者在用。一方面，它自己也想学习一点应用的场景，另外一方面，他也想知道你是坏人还是好人，要做一个过滤。
因为 OpenAI 目前的 CEO 是 Y Combinaor 的前总裁山姆·奥特曼（Sam Altman），前一段时间给 Y Combinator 孵化过的一些公司的 CEO 发过邮件，问他们是不是有兴趣来测试。 
我有一个朋友有 API 的接口，我还让他问了一个问题。
初衷是这样子的，GPT-3 已经能够编程了，今天它编的程序简单一点，5-10 年后可能能够编非常复杂的程序。
我的问题是：今天是不是 90% 的那些程序员做的事情，在 10 年以后会被 AI 给取代了？
它的回答是：基本上这是一个已经不可逆转的事实了，尤其是一些简单的编程会被 AI 取代，它还引用了一个例子，我还要去看看，他引用的例子到底是不是靠谱。
（图片内容由嘉宾徐皞提供，限定GPT-3回答100字，《硅谷101》翻译）
从他的回答当中，我发现对 GPT-3 来讲，有点漏洞，它论证看上去缜密，有一些比较深的思路，还是匮乏的。 
比如，程序员 90% 的工作是不是能够取代掉，表面上可能是 90% 的工作是简单的。但你要知道对于一个程序员来讲，我们其实花了 10% 的时间在做那些简单的事情，90% 的时间是在做一些非常复杂事，比如修 Bug 挑参数。
并不是 90% 的事情能够被取代掉，我认为可能是 90% Code（代码）能被取代掉。 
泓君：我刚刚看到你之前问 GPT-3 的问题，我的第一反应是，它是在顺着你的意思去说。如果我们给它一个相反的表达：AI 在未来的 10~20 年只能取代少量的程序员的工作，我好奇他会怎么说的，它会不会批判性思维。
徐皞：你这个问题很好，等到节目以后，我问一下 GPT-3。
（
节目后与GPT-3的聊天，图片内容由嘉宾徐皞提供，《硅谷101》翻译
）

04
GPT-3 可以取代 VC 和深度记者吗？

泓君：我们刚刚提到它的 API 接口，它可以做这种提问回答模型的，它还可以做翻译模型和协作模型，现在他总共能做的事情是不是就是这么多？ 
徐皞：对，主要是你刚才说的这三件事情。
翻译模型人工智能早就能够做的比较好了，这一次比较大的提高，更多是写作，不是写一点没有头脑的，它写的东西看上去是非常像人类写出来的东西。
这一次问卫理公会怎么样了，卫理公会说它要分裂。因为卫理公会大约在    2020 年 1 月份有过讨论。GPT-3 列举的数字是假的，因为《华盛顿邮报》并没有说这些话，但是它能够有板有眼的说，《华盛顿邮报》报道了过去两天，他们开了一个什么会，因为什么样的原因分裂，显然它是捕捉了互联网上的信息。多数的人都没有判断出来这是一篇机器人写的文章。
泓君：我们之前半开玩笑的说，风险投资人看到这个模型以后担心自己会被取代，为什么？ 
徐皞：表面上来讲，这个担心非常可以理解。这是上面最近几天推特上面的一个人给 GPT-3 问题。因为 VC（风险投资）做的很多事情，一年见个成百上千个创业者和公司，见到下一个公司的时候，我就看这个人是不是靠谱，是不是有可能成为独角兽，是不是以后能够成为一个上市公司的 CEO，然后做判断。
他之所以能够做这些判断，有一个很重要的原因是他们每年能够看成百上千个创业者和公司。
GPT-3 它做的事情是一样的，它看了互联网所有的网页，你今天来问他一个问题：我今天出门是不是要戴口罩，它大概知道是什么情况，回答你也是做这么一个匹配。 
实际上今天的 GPT-3 远远到不了取代 VC。因为 VC 要做的事情，还要看为什么别人不能做，你的竞争者不能。这不像下围棋或者象棋还有一个规则，创业环境规则并不明显，今天还没有到这么一个程度，机器人可以去推演没有规则的场景。 
最近两三年自然语言处理飞速发展，我一点都不奇怪，等四年以后，它能够做很多投资人能够做的事情。 
泓君：你说到这个，我也有想到一个例子，有一个推特网友叫 Delina，他也是家风险投资公司的创始人，他就用 GPT-3 做了一个问题的开始，说如何召开董事会的会议，他自己在 GPT-3 上输入怎么开会的前三段，GPT-3 根据它输入的前几段列出了剩下的，具体怎么操作，你的目标清单是怎么样，资格清单是怎样的，以及什么样的人可以进董事会。 
GPT-3 自己写了一个这样的文本，Delina 看了演示的结果以后，他就说 GPT-3 呈现出的结果是远超他的预期的。他有一个比喻：GPT-3 就像一个 iPhone，将全世界的知识装进了你的口袋，给你提供了 1 万个可以回答任何领域的专家。
我当时看到这个的时候，再结合你朋友圈发的它的一些写作，我当时都在想它是不是都可以取代一个深度记者。我们的工作也是在热点新闻出现以后去跟各行各业的专家聊，把它总结成一篇深度的文章，可能说它短期还达不到这样的智力水平，但是长期如果不断训练，也是有可能的。 
徐皞：你刚才问到的是不是能够取代记者，目前还是停留在，归纳已经有的知识上面。
比如说作为一个记者，你想去采访百度过去发展怎么样，有可能机器人记者能够写出来一篇很深度的报道。
因为对百度的采访网上已经有很多了，李彦宏是怎么样一个 CEO，他的性格怎么样，他内部发生过一些什么事情能够写出来，确实机器人记者能够写出来蛮深度的一件事情。
但是对一些正在发展一些新鲜的事物，疫情是最近几个月的事情，GPT-3 的数据是到 1 月份为止，还没有记录。
泓君：总结来说，他在总结人类的已有知识的提问回答模型和写作上，还是有经验的，但是对人类的未知领域，现在互联网上没有数据的新的知识，他就不是那么了解了。 
徐皞：对，他还是从互联网上面给你什么样的数据，你能够学到什么样的知识。他的学习能力很强，归纳能力很强，表达能力很强。
05
不是 GPT-3 能做什么，而是它不能做什么
泓君：我们可以来畅想一下未来 GPT-3 它可以应用到哪些领域，会诞生哪些创业类型的机会？
徐皞：这个话题也是最近推特上面不断在争论或者思考的话题。我的想法很简单，我的想法就是说并不是说它能做什么，是它不能做什么，只有很少有事情它不能做。
今天还是一个自然语言的处理的系统，它不能做物理世界或者说化学世界的一些事情。但它如果能够思考，它还是能够做很多事情的。
它写文章我们已经说了很多遍了，但是除了写文章之外，还有你刚才说的我建一个初创公司，初创公司我明天需要做什么事情，我的侧重点是怎么样？我写一个市场调研，如果机器人能够给我写这些报告自动的写出来，这都是非常有用的。
从我的角度来讲，并不是说只是一个好玩的，能不能写一个曲子出来，能不能写一篇文章出来，而是说我们每天的吃喝住行工作，每一个时刻我都去想，机器人能不能做。
GPT-3 让我们看到了一个希望：一个机器人能够取代我，做很多日常想做的事情。刚才我们提到记者的一些报道，如果是写程序的，还是有蛮大的一部分会被取代。 
泓君：这个模型它我看见它其实是 5 月 30 号发布出来的，这周或者说从上一周开始才成为大家的讨论的热点话题的，尤其是在推特这样的社交网络上，是因为跟它最近开放 API 接口以及它的很多 Demo 出来有关系吗？ 
徐皞：对，大家都是要试一下，百闻不如一见。
从 GPT-2 的模型，我们已经知道他能够写文章，而且写的不错。这一次更大的惊喜，是觉得机器人写出来的东西很不错，甚至有些段落，超越了绝大多数人类。 
一下子我对机器人能够做的事情，想象空间就从玩玩而已，变成有很多事情，可以用机器学习人工智能的模型去做。
06
再复制一个 GPT-3？完全有可能
泓君：你刚刚提到有 GPT-2，很多人在质疑的时候，也说现在的 GPT-3 论文的主要进步是，花了很多钱，把它训练在了一个更大的数据集、更复杂的模型上，因为它有了更多的数据参数。那这跟 GPT-2 是否有本质的区别呢？ 
徐皞：确实是有些人在批评说 GPT-3 并不是飞跃，因为算法都没有什么太大的改变。
我是这么看的，即使说算法没有改变，也不是一点没改变，如果能够看到这个结果是，我给他的算力能够增长，智能程度也会线性增长，这本身就是一个论证。
做计算机领域的人都知道，很多时候某一个维度提高了算力和储存空间也好，提高了数据源也好，结果并不是提高 10 倍，就有 10 倍的回报，往往没有 10 倍或者远远没有 10 倍的回报。 
这次我们发现，当算力提高 100 倍，从 15 亿到 1750 亿参数级，结果确实是在线性增长。论证本身就给我们打开了一扇天窗，现在我知道我花了 1000 万美元，我就能够做这么伟大的事情，我相信有 1000 万美元的人还是有很多。 
泓君：你刚刚提花 1200 万美元就可以去做这样的一个模型，对大公司来说或者当大家看到一个更大的商机的时候，1000 万美元对大公司或者创业者不是一笔很大的数字，这是不是意味着以后只要有心，所有人都可以去模仿 GPT-3，去训练新的特定领域的模型。
徐皞：如果说我有找到一个好的用途，很多人就能够去做了。相对来讲，今天是一个伪命题。
人工智能发展了几十年，最近十年深度学习的突破，确实是蛮不错的。但从商业用途上来讲还是非常浅的，也就是无人驾驶的汽车、安保安防。如果说对世界上 500 强公司的营收产生正面影响，人工智能今天做到的还是非常浅的。像  Google、Facebook 这样的公司，它确实用了人工智能，使得它广告的精准投入更加精准了，这一点确实是做好了。 
但对 90% 的财富 500 强，不管是 GPT-3 还是其他人工智能方法论，对它的营收产生很大效果，还是在早期阶段。至少今天或者到昨天为止是一个伪命题，明天后天或者说明年我们能够找到一下找到 GPT-3 的用途，完全可能。
泓君：如何防止用 GPT-3 的模型去作恶，或者被恶意使用？
徐皞：商业上面是不是会有人马上开始开做，在找到应用场景之前是一个伪命题。但是你说怎么能够防止被恶意使用？这一点我们想的并不早，也许今天就应该想或者是昨天就应该想，因为坏人能够做的事情很多。
举个例子，做安全的都知道会有恶意软件或者钓鱼邮件。当我为你量身而做的一个邀约邮件，知道你大概去年在哪里工作，做了一件什么事情，网上我能够知道你的家庭、朋友、工作的一些背景，你对这个钓鱼邮件的相信程度就会提高。
否则，一个尼日利亚的客人说你给我 5 万美金，你不会打你不会付款。但有人对你这么了解，你给他付钱 5 万块钱可能性就会高很多。


如果能够用 GPT-3 来做，它能够写很精准的钓鱼邮件。这是对我们社会安全领域的潜在威胁。广泛的商业应用，我们还在寻寻觅觅。 
泓君：现在 GPT-3 也把一部分的 API 接口放出去了，如果 OpenAI 发现有人作恶，封锁这个接口来得及吗？
徐皞：今天肯定来得及，它能够跟踪到你大概怎么用，用于什么，问一些什么问题。
潜在的来不及是另外一层，大家已经看到了 GPT-3 天花板很高，根据算力提高、数据增加也能线性增长，说不定我自己也能去做。 
泓君：数据好收集吗？
徐皞：数据是标准的互联网上面的这些数据。现在去爬整个互联网，并不是一件难事情，难的是收集好的数据怎么整理，一些学术机构都已经有这些数据了。
泓君：现在虽然没有公布 GPT-3 的算法，但是因为 GPT-2 的算法已经公开了，加上互联网上又有这么多的数据，当人们看到了一个利益点的时候，它还是很有可能会被去恶意使用的。
徐皞：对，是这样子的。刚才我提到有一个标准的数据库，Comman Crwal，很多人工智能的项目都在用这些数据。GPT-2 的源代码也有。算力的话，有那么多的公有云，就是花钱。
从这个角度上来讲，如果说你是恶意的，应该是有能力自己去做。
泓君：恶意是一方面，你之前发的那几张图片，GPT-3 自己写的文章中，他写到了《华盛顿邮报》的数据源，那个数据源是假的，会不会以后也产生一些用它去写新闻，新闻材料一部分是真的，另一部分不管是出于有意还是无意的，会出现大量的假新闻。
徐皞：对，我完全同意。怕的不是假新闻，怕的是有板有眼的假新闻。GPT-3 能够做到的是有板有眼的假新闻，这是一个很大的危害。 
另外一个危害不一定是给坏人拿去，有可能是善良的人，或者普通人，在一些本来应该是好的场景，产生坏的作用。
比如你从互联网上写东西，是根据互联网上面的知识去归纳。互联网上面有一些偏见，它在制造真新闻的时候，无意有意因为数据源的问题，会把一些偏见放大。
当人工智能越来越强大的时候，这些偏见或者政治不正确所带来的危害也越来越大，要比以前一些并不那么智能的模型所带来的危害更大。 
07
当软件增速超过硬件会发生什么？

泓君：当这个语言模型每年在超过 10 倍速度增长的时候，硬件是不是能跟的过来？以前大家知道摩尔定律，硬件成本是每隔 18 个月减一半，现在当软件增长速度超过了硬件速度会发生什么？
徐皞：这个问题很好。摩尔定律是在减缓，所谓摩尔定律就是硬件的成本每隔 18 个月会减半，也就是说你更加能够负担，每隔 18 个月你够负担的算力就会增长一倍。 
从物理的角度上来讲，硅的宽度是有限的，现在已经是 7 纳米了，我们也想达到 5 纳米。我们已经非常接近物理极限了，摩尔定律要到底了，这是一个事实。 
总体来讲，担心还太早，大家有各种方法去开拓摩尔定律，比如说不用硅，用另外的材料。
另外，最终我们要提高效率，我做这些算力成本是不是减半。成本减半可以从很多方面来，可以从软件来，可以从硬件来，可以从软件跟硬件的结合来。
人过去四五十年，我们更多的是从晶体管的密度去来拿到摩尔定律的红利，今后的四五十年我可能是从其他方面拿到类似的红利。
这些都是次要的，今后 5 年对人工智能、对 GPT-3，它的瓶颈是在怎么去找到商业用途，这是最关键的问题。 
泓君：刚刚说到硬件，我看到他们训练 GPT-3 使用的是英伟达的特斯拉V100的芯片，仅仅是 GPU 成本就超过了 460 万美元。也有很多创业者说，这个消息出来以后，对英伟达这样的公司是非常利好的。 
徐皞：对英伟达这样的公司，它最近 10 年最大的用途并不是卖一张卡给人打游戏，而是给人做人工智能，这对它来说是一个利好。
这也是为什么过去一个月，它的市值已经超过了英特尔的市值，这是硬件行业的里程碑：一个以人工智能为核心用途的硬件厂商，市值超过了英特尔这个传统 PC 通用计算的硬件厂商。
08
商业化是最大的问题

泓君：前两年在大家提到人工智能，最火的是 Alpha Go，GPT-3 出来了，如果从意义上来对比的话，GPT-3 与 Alpha Go 的意义分别在哪里？
徐皞：Alpha Go 或者 GPT-3 也好，从算法上面来讲是有很大突破的，并不是传统你给我样本，我来给你训练一个模型。
从中文翻成英文，英文翻成中文，能够找到很多样本。但比如董事会开会应该做什么，哪里找得到那么多的样本。
过去，我能够左手跟右手，用强化学习的方法下围棋，证明人工智是不是能够赢过人脑，赢过了，我们的天花板一下子就升高了很多。 
这一次发现机器人能够做的事情很多，不只是写一篇文章。像你刚才说的，董事会在商业领域对话也好，决定也好，人工智能在自然语言处理方面，一下子把天花板给升高了很多。 
具体怎么商业化，还要思考，因为这里面很复杂的。比如我 97% 的时候都对正确，有 3% 不正确，在商业化的时候你是不是能够容忍 3% 的错误。
人工智能到今天为止最大的商业用途的转化是卖广告，这是从金额上来讲最大的，为什么？因为 3% 的错误，对广告不是一件大事。但是如果 3% 的错误给医生看片子，用决定开刀或者不开刀，商业化的时候，要去思考 0.1% 或者 0.01 %的假阴性假阳性的这些案例。
刚才我们讨论的这些问题，总体我还是蛮乐观的，再给我 5-10 年，我们讨论这个话题，会有很多问题是迎刃而解，我们的阶段是非常早期的。
泓君：过去我看到图形图像识别的突破，带来了很多的创业机会，安防、自动驾驶、智能医疗等。现在自然语言处理它又有一些新的突破了，我想会有更多的聪明人能够想出它的商机所在。
【相关资料】
GPT-3 paper 链接：
https://arxiv.org/abs/2005.14165

GPT-3 github 链接：

https://github.com/openai/gpt-3
【小测试】
以下四张图来自徐皞朋友圈，其中有三张是机器人写的，有一张是人写的。请大家猜一猜哪一张是人写的？欢迎大家留言。

图一

图二
图三
图四

大家记得留言以及提出你认为最有趣的问题哦！
关于《硅谷101》
失败、背叛、不被理解，硅谷精神领袖一直都不是完美的存在；他们是科学家，创造者，行动派，他们有独立的价值观。《硅谷101》是一档在美国硅谷诞生的访谈节目，一周一更，与各个领域的实干派聊聊天。这档节目创建的初衷是，听一听这些亲历者与硅谷一线的人怎么说。
国内：苹果Podcast|喜马拉雅|小宇宙

海外：苹果Podcast|Google Play|Spotify

联系我们：[email protected]
点击图片收听声动活泼的其它节目

运营  Akida ｜编辑  AMD 
另外，「到海外去」第二季已正式回归！欢迎大家试听、订阅 🏄🏻 🏄🏻‍♂️ 🏄🏻‍♀️ 
点击下文了解更多详情  ⬇️
来来我是一颗菠菜
扫码添加出海小助手
新浪微博@声动活泼
「寻找海外新机遇」
· END ·
继续阅读
阅读原文