「OpenAI内部对于AI安全的看法存在分歧」
撰文：何昕晔
编辑：吴洋洋
Key Points
开除了自己的董事会，正是Sam Altman一手创立的；
首席科学家Ilya Sutskever可能是罢免风波的关键人物；
AlphaGo下出的那个人类没有下过的棋彻底改变了Ilya Sutskever对AI的看法；
Ilya声称，他现在的首要任务「不是构建下一个GPT或DALL-E，而是找出如何阻止AI失控的方法」；
Sam 5月曾保证「未来6个月内，OpenAI不会训练GPT-5」，这一保证已经过期；
ChatGPT发布近一周年之际，整个AI领域都进入了一种军备竞赛的升级状态，包括OpenAI；
Sam Altman被解雇当晚，OpenAI另外3名高级研究人员宣布辞职。
OpenAI的灵魂人物Sam Altman被自己创立的公司开除了。

11月17日，OpenAI在官网宣布，Sam Altman将卸任CEO职务，并离开公司董事会。首席技术官Mira Murati暂时接任CEO一职，公司将继续寻找合适的CEO人选。官网文章同时宣布，OpenAI总裁Greg Brockman将不再担任董事会主席，但继续担任公司总裁，并向新任CEO汇报。
这个突然的巨大变动让Sam和Greg都有些手足无措。前一天，Sam刚参加了两场活动，除了出席亚太经济合作组织首席执行官峰会，他还在加利福尼亚的一次活动上发表了讲话。而就在10天前，Sam Altman还主持了OpenAI的首届开发者大会。此前没有任何迹象表明，他将要离开OpenAI。
消息公布后，Greg Brockman宣布辞职。他在社交媒体上表示：「OpenAI 8年前在我的公寓起步，我们一起经历了起落，我对这项事业感到骄傲。得知今天的新闻后，我选择退出。」
相较于Greg Brockman，Sam Altman的回复则显得平静。他说：「我很喜欢在OpenAI的时光。这对我个人来说是变革性的，希望对世界也是如此。我喜欢与这些才华横溢的人一起工作。」8个小时之后，他补充了自己的感想，称这是一种「奇怪」的经历，「就像你还活着的时候读到了自己的悼词」。他还表示，之后会有重要消息宣布。
从左到右分别为OpenAI首席科学家Ilya Sutskever、原CEO Sam Altman、CTO Mira Murati和原总裁Greg Brockman。
开除Sam的董事会是他一手建立的
OpenAI官网文章称，董事会做出此决定的原因，是Sam Altman在与董事会的沟通中不够坦诚，阻碍了董事会履行职责的能力，董事会不再对他继续领导OpenAI的能力有信心。
开除了自己的董事会，正是Sam Altman一手创立的。
在这次风波之前，OpenAI的董事会成员共有6人，除了Sam Altman和Greg Brockman，还包括Ilya Sutskever、Adam D'Angelo、Tasha McCauley和Helen Toner。
其中，Ilya Sutskever在OpenAI担任首席科学家一职，而其他3人为外部独立董事：Adam D'Angelo是问答社区Quora的联合创始人兼CEO，今年2月，他主导推出了AI聊天机器人Poe；Tasha McCauley是机器人公司Fellow Robots的联合创始人，Helen Toner则是乔治城大学安全与新兴技术中心（CSET）的战略和基础研究基金主任。
也就是说，总共6人的董事会中，3人（Sam、Greg和Ilya）来自OpenAI，另外3位与这家公司没有直接利益关系。
成立之初，OpenAI就被定位为一家非营利性质的公司。到了2019年，为了筹集资金，但又不改变非营利的初衷，Sam决定在董事会设立非营利组织「OpenAI Nonprofit」，由该组织控制和管理新成立的营利性子公司OpenAI Global。该营利性子公司即发布了ChatGPT的那个实体，它被允许将OpenAI的技术商业化，但也必须遵守非营利组织的使命。非营利组织的董事会拥有很大的权力，包括决定公司何时训练和发布AGI（Artificial General Intelligence）。AGI是一种通用人工智能，它能够像人类一样思考和推理，并且这一切是在一个神经网络上进行的，不需要为每个任务都构建一个神经网络（专用智能）。
此次参与将Sam从CEO职位上开除决策的Adam D'Angelo、Tasha McCauley和Helen Toner，都不是OpenAI的持股人。微软向OpenAI投资了130亿美元，拥有其49%的股权，但这部分股权只参与利润分配，在公司董事会中没有一席之地。
OpenAI公司架构。
构建如此公司和董事会架构时，OpenAI对外宣称，董事会成员主要由非持股人组成，因为只有他们才能在有限合伙人的利益与非盈利组织的使命发生冲突时做出公正决策。OpenAI当时认为，保险箱的钥匙应该掌握在那些没有动机去盗取保险箱的人手中。但这一次，他们直接让保险箱不再属于其所有者。
首席科学家Ilya可能是罢免风波的关键人物
Sam虽然是董事会的成员之一，但没有参加罢免自己的投票。
「开除」Sam的消息发出后，Greg在社交媒体平台X（原Twitter）上梳理了事件发生的时间线。周四（即11月16日），Sam收到了来自Ilya的短信，要求在周五（即11月17日）中午交谈。周五中午，Sam加入了一个线上会议，除了Greg外，其他董事会成员都在场。Ilya告知Sam，他被解雇了。没过多久，Greg也在线上会议中被告知，自己已被移出公司董事会。大约同一时间，OpenAI官网发布了对Sam和Greg的解职消息。
这一事件令所有人震惊。据The information报道，OpenAI内部在事件发生后举行了临时全体会议，有员工提问，解雇是否是一次「政变」（coup）或「恶意收购」（hostile takeover）。Ilya否认了这种说法，他解释称，董事会意在履行非营利组织的职责，需要确保OpenAI致力于建立造福全人类的AGI（而非服务于商业利益）。
但当被问及「这样的幕后行动是否是一个好方法」时，Ilya称这样的处理方式并不完全理想，他也很遗憾。
事实上，Sam被赶出公司和Greg选择与之共进退，就意味着Ilya这位OpenAI的首席科学家在董事会对Sam投出了反对票。他如今是唯一一位还留在董事会的OpenAI团队成员。
Ilya是「深度学习之父」Geoffrey Hinton的得意门生。2012年读博时，Ilya就和Hinton的另一位博士生AlexKrizhevsky训练了AlexNet模型，并在机器视觉领域最具权威的学术竞赛ImageNet中赢得了冠军。
Geoffrey Hinton，曾与LeCun、Bengio因对深度学习的贡献共同获得图灵奖。
组建OpenAI前，为了让Ilya加入，Sam费了不少功夫。他通过邮件邀请Ilya一起吃饭，同行的还有Greg和马斯克等人。Sam向Ilya伸出橄榄枝，而老东家Google为了留下Ilya，给他的薪酬是OpenAI的两到三倍，年薪接近200万美元。Ilya犹豫后，还是决定加入OpenAI，因为这家公司一开始就将目光投向开发AGI，而他已工作两年的Google并没有这一愿景。

对于AGI，Ilya经历了从觉得它是胡扯到相信、最近甚至开始认为GPT具有意识的重大转变。
2011年，Ilya曾飞到伦敦的DeepMind找工作。当时，AGI并不是严肃的研究人员会谈论的东西，但DeepMind已忙于构建AGI。与DeepMind创始人Demis Hassabis和Shane LeggIlya交流后，Ilya认为他们已经与现实脱节，他放弃了在那里谋一份工作，选择回到大学。
2013年，与导师Hinton共同创立的公司DNNResearch被Google竞拍到手（百度也是当时参与竞拍的公司之一）后，Ilya加入了Google的人工智能团队Google Brain。
正是在Google工作的两年间，Ilya对AI的想法产生了根本性变化——他开始与DeepMind创始人的想法逐渐一致，相信AGI的未来就在眼前。在Google Brain，Ilya感兴趣的对象从图像转向了语言，他发明了一种神经网络变体，能将英语翻译成法语，并就此提出「序列到序列学习」（Sequence to Sequence Learning），这种思想可被视为Transformer的前身。
OpenAI首席科学家Ilya Sutskever。
在Google的思维转变促使Ilya在2015年收到Sam Altman和Greg Brockman的召集时，选择加入OpenAI。然后，他领导OpenAI先后发明了大语言模型GPT-1、GPT-2、GPT-3，以及文生图模型DALL-E 1。今天广受欢迎的文生图应用MidJourney就是基于DALL-E 1的微调。
一系列突破一方面令Ilya距离AGI更近了，另一方面，也使他对于AI发展的观点逐渐保守。
2016年，AlphaGo在五场围棋比赛中以4-1击败了人类中最好的围棋棋手之一李世石。并且，在与李世石的第二场比赛的第37步棋中，AlphaGo下出了一步让所有懂围棋的人都感到困惑的棋。然而正在所有人都认为AlphaGo搞砸了的时候，AlphaGo最后出奇制胜了。 
「想象一下那种程度的洞察力，并且如果它能在所有领域都发生会怎样。」Ilya说。AlphaGo下出的那个人类没有下过的棋彻底改变了Ilya对AI的态度。
2022年2月，ChatGPT尚未对外发布时，Ilya就在X平台发帖称「今天的大型神经网络可能具有轻微的意识」。10月接受MIT科技评论采访时，他再度重复了这一观点。并声称，他现在的首要任务「不是构建下一个GPT或DALL-E，而是找出如何阻止AI失控的方法」。
对AlphaGo第37步棋的恐惧促使Ilya比周围人更强调「对齐」（Alignment）这一概念，意思是让人工智能与人的价值观实现一致，只做人想做的事。
今年7月，Ilya与同事Jan Leike在OpenAI组建了一个叫「超级对齐」（Superalignment）的团队，意思是要使超级智能也与人类价值观和认知一致。
「AGI可能导致人类丧失权力，甚至灭绝」，持有这种想法的人并不只有Ilya一人。今年5月初，Ilya的老师Hinton也发表过类似看法。他当时选择从已工作了10年的Google离职，因为对于AI的安全风险非常担忧，且对自己毕生工作感到后悔。「我不知道如何阻止作恶者利用AI作恶。我甚至担心，AI未来会对人类的存在构成威胁。」他说。
OpenAI内部对于AI安全的看法存在分歧
作为OpenAI曾经的CEO，Sam也常常呼吁政府对AI要加强监管，不过，他所领导的OpenAI在商业化进程上却越来越快。
9月，OpenAI被爆料称在以900亿美元的估值寻求融资，该数字是公司当前估值的3倍。
11月6日，Sam还带领团队在旧金山召开了OpenAI首届开发者大会。除了降低几乎所有模型的使用价格，Sam还发布了2款重要产品：GPT-4升级版GPT-4 Turbo和GPTs，前者把模型的上下文窗口扩展到了128k，是升级前的4倍；后者则允许用户根据OpenAI提供的工具定制自己的GPT，并发布到公开市场，像苹果的应用商店那样。
由于GPT-4 Turbo比前代更强的代码撰写能力，完全不懂代码的用户，也能「开发」出具有独特功能的GPT。当然，用户需要支付每月20美元的订阅费，成为付费用户，才能用上这一服务。因为广受欢迎，ChatGPT在发布会结束后先是出现长达90分钟的宕机，到了11月15日，涌进的人数使得服务器超载，Sam不得不宣布暂停新的付费订阅。
Ilya一向反对在技术没有「对齐」前向过多用户开放。然而在ChatGPT发布近一周年之际，整个AI领域都进入了一种军备竞赛的升级状态。竞争对手之一Anthropic在10月接连融了两笔资金，亚马逊和Google都出手了，总额高达60亿美元。Anthropic声称其融资是为了开发比当下模型还要强大10倍的下一代新模型，而Google对标OpenAI的多模态模型Gemini也被爆料已进入客户测试阶段。
Anthropic创始人Dario Amodei和Daniela Amodei，二人因OpenAI背离AI安全的初衷离开公司创业。
对Sam来说，若想不陷入竞争而保住领先权几乎是不可能的。开发者大会过后，他就加快了筹集资金的进程。在11月13日《金融时报》的采访中，Sam表示计划寻求微软更多的财务支持，同时透露公司已经在开发下一代AI模型GPT-5。此前5月，面临美国国会质询时，Sam曾保证「未来6个月内，OpenAI不会训练GPT-5」，以缓解外界对AI未知风险的恐惧。11月13日的采访表明，这一保证已经过期。
Sam的焦虑可以理解，然而他显然没有在商业化、竞争和人类安全之间取得平衡。社交媒体X上的消息称，11月2日（OpenAI开发者大会举行半周之前），OpenAI取得了新的重大进步，Sam对最新进展的态度是立刻规划下一步：筹集资金，安排资源。
OpenAI具体又取得了什么「重大进步」外界不得而知，不过，技术进步在这个AI时代越来越不是单向的好词。
Sam在竞争方面的投入可能和董事会出现了分歧。宣布解雇Sam的文章最后指出，OpenAI董事会的基本责任是推进OpenAI的使命并维护其章程，即确保AGI造福全人类。
新上任的CEO Mira Murati于2018年加入OpenAI，此前在特斯拉担任 Model X的高级产品经理。她在此前的采访中表示，AI应该被监管，政府应该在其中发挥更大的作用。
在被逐出公司前，Sam已经掌管OpenAI长达8年。2015年，他和Greg、马斯克、Paypal创始人Peter Thiel、LinkedIn联合创始人Reid Hoffman在内的一批硅谷精英共同创办了OpenAI，目标是「确保AI不会伤害人类」。此前，Sam最为人熟知的工作履历是曾在硅谷的创业加速器机构Y Combinator担任总裁。2019年，他还作为联合创始人创立了加密货币公司Tools for Humanity。
Greg于2010年从麻省理工退学，加入了Stripe，2013年成为公司首席技术官。加入OpenAI后，他一直和Sam并肩作战，帮助他将一些技术落地。
Sam和Greg的离开不是OpenAI危机的结束，而只是开始。解雇风波当晚，OpenAI的另外3名高级研究人员宣布辞职，包括公司研究总监Jakub Pachocki、风险团队负责人Aleksander Madry和研究员Szymon Sidor。Pachocki和Sidor在研发GPT-4过程中发挥了关键作用。
这并不是OpenAI第一次因为AI安全问题出现人事变动。2020年，因为与公司在安全和商业化方面的理念出现冲突，时任OpenAI研究副总裁的Dario Amodei和安全政策副总裁Daniela Amodei就从公司离职，创立了一家新的AI公司——Anthropic，也就是那个令Sam陷入竞争狂热的对手之一。
-END-
若想了解更多当日资讯，请点击阅读往期智能晚报
智能晚报｜Shein营收有望超越Zara；阿里云不再分拆，1688闲鱼钉钉和夸克将独立；微软也允许用户自定义Copilot了..
若想了解头条，请点击阅读往期

AI人物｜Sam Altman：年轻版马斯克
我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。 
和每一位关心技术、关注人类命运的读者一样，我们希望在这个充满不确定性的时代，更好地理解快速变化的科技世界，也更好地理解生而为「高级智能」的我们自己。
在这个目标下，我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意，我们说的智能，不只是 AI。
与记者交流，可添加微信（请备注公司名称和姓名）：
何昕晔 微信号: Hello_xyine
吴洋洋 微信号: qitianjiuye
喜欢就关注我们吧，记得「设为星标」
继续阅读
阅读原文