一大早醒来，没想到 OpenAI 的「宫斗大戏」又迎来了第二季。
本周三，OpenAI 首席科学家 Ilya Sutskever 官宣离职。同一天，超级对齐团队负责人之一 Jan Leike 也宣布离职。
就在吃瓜群众还在为离职的事情猜测纷纷时， Jan Leike 今天凌晨直接在社交平台 X 上连发十三条推文自述心路历程。
现在回看，在前几天 OpenAI 发布惊艳世界的 GPT-4o 时，内部已经在酝酿着一场巨大的风暴。
或许 Ilya 在 GPT-4o 发布后才官宣离职，正是双方达成的最后协议。
先来看看领导超级对齐团队的 Jan Leike 连续发布的多篇推文，矛头直指 OpenAI 和 Sam Altman：
昨天是我担任 OpenAI 公司超级对齐部门负责人、高级领导以及执行层成员的最后一天。
在过去大约 3 年的时间里，我所在的团队经历了一段非常激动人心的旅程。我们推出了首个利用人类反馈强化学习（RLHF）训练的大型语言模型（LLM）——InstructGPT，发表了关于大型语言模型的首个可扩展监督研究，并在自动化可解释性和从弱到强的泛化方面取得了开创性成果。更多令人期待的研究成果即将发布。
我非常珍爱我的团队。我对于能够与众多杰出人士共事感到无比感激，他们既包括超级对齐团队内部的人员，也包括团队外部的合作伙伴。OpenAI 汇聚了众多极其聪明、友善且高效的英才。
放弃这份工作是我人生中最艰难的决定之一，因为我们必须尽快找到方法来引导和控制那些远比我们智能的 AI 系统。
我选择加入 OpenAI，是因为我认为这里是全球最适合开展这项研究的地方。但是，我在公司核心发展重点的问题上与 OpenAI 的领导层长期存在分歧，最终我们之间的分歧发展到了无法调和的地步。
我坚信我们应该将更多的资源和精力投入到为新一代 AI 模型做准备的工作中，这包括安全性、监控、应急准备、安全性研究、对抗性攻击的鲁棒性、AI 对齐问题、保密性、社会影响等方面的研究。
这些问题非常复杂，解决起来颇具挑战，我担心我们目前的发展路径无法顺利达成目标。
在过去的几个月里，我的团队一直面临着巨大的挑战。有时我们在获取足够的计算资源上遇到了困难，这使得完成这项关键研究的难度日益增加。
创造超越人类智能的机器，本质上是一项充满风险的事业。OpenAI 正在代表全人类承担这一重大的责任。
然而，在过去的几年里，安全文化和流程在追求引人注目的产品开发过程中被边缘化了。
我们对于通用人工智能（AGI）可能带来的深远影响，早就应该给予极其严肃的对待。我们必须尽最大努力优先做好应对 AGI 的准备。只有这样，我们才能确保通用人工智能能够惠及全人类。
OpenAI 必须转型为一家将安全放在首位的通用人工智能公司。
我想对所有 OpenAI 的员工说：学会感受通用人工智能（AGI）。以与你所构建之物相称的严肃态度行动。我相信你们能够「推出」所需的文化变革。我寄希望于你们。全世界都在寄希望于你们。:openai-heart:
对于 Jan Leike 的一连串爆料，OpenAI CEO Sam Altman 也紧急发文回应：
我非常感激 Jan Leike 对 OpenAI 在 AI 超级对齐研究和安全文化方面的贡献，对他离开公司感到非常遗憾。
他指出了我们还有很多工作需要完成，我们对此表示认同，并致力于推进这些工作。
在接下来的几天里，我会撰写一篇更详细的文章来讨论这个问题。
OpenAI 的「超级对齐团队」，正是科学家 Jan Leike 和 Ilya 主导成立，并在去年 7 月份大张旗鼓地宣布该项目。
Superalignment. 图片来自：twitter.com
对齐是行话，意味着让 AI 模型做你想做的事，仅此而已。Superalignment 是 OpenAI 应用于超级智能的对齐术语。
目标是提出一套故障安全程序来构建和控制这项未来技术，OpenAI 将把五分之一的庞大计算资源分配给这个问题，并在四年内解决它。
Leike 提出：
现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么。
但随着人工智能系统变得越来越强大，它们将承担更艰巨的任务。这将使人类更难评估它们。在与 Ilya 组建超对齐团队时，我们已着手解决这些未来的对齐挑战。
然而这一观点在 OpenAI 内部也存在不少异议，但是对于 Ilya 来说，超级对齐是不可避免的下一步。
在去年接受专访时 ，Ilya 认为像他这样的核心机器学习研究人员没有足够多的研究资源，超级对齐的工作才刚刚开始，而研究机构需要进行广泛的变革。
并且他心中有一个他想要设计的保护措施：一台机器，以父母看待孩子的方式看待人。
在我看来，这是黄金标准，也是常识：人们真正在关心孩子。
Sutskever. 图片来自：utoronto.ca
Ilya 分享了一个很多人完全没想过的观点。
一旦你克服了流氓人工智能的挑战，那又如何呢？在一个拥有更智能人工智能的世界里，人类还有生存空间吗？
以今天的标准来看可能很疯狂，但按照未来的标准就不会那么疯狂了，许多人会选择成为人工智能的一部分。
值得一提的是，今天的 OpenAI 可谓是「祸不单行」，在 Jan Leike 发难时，外媒 Vox 也同时曝出了 OpenAI 严苛的离职协议。
附上报道来源：https://www.vox.com/future-perfect/2024/5/17/24158478/openai-departures-sam-altman-employees-chatgpt-release
报道称，OpenAI 员工需要签署极其严格的离职协议，其中包括保密和不诋毁条款。
协议禁止他们终身批评他们的前雇主，甚至承认 NDA 的存在也是违反协议的。
如果离职员工拒绝签署文件，或违反文件，他们可能会失去在公司期间获得的所有归属权益，这可能价值数百万美元。
不知道Jan Leike 和 Ilya 是否也签署了这样的协议。
一位前员工 Daniel Kokotajlo 公开表示，他为了在不签署文件的情况下辞职，将不得不放弃可能会变成巨额财富的股权。不过，目前 OpenAI 官方尚未对此作出回应。
实际上，自去年「宫斗大戏」爆发以来，OpenAI 就一直深陷舆论漩涡。
无论是面对马斯克的怒斥，还是始终最近的离职风波，OpenAI 始终无法绕开如何回应「创建造福全人类的安全通用人工智能（AGI）」宗旨问题。
关于此次事件更多背景资料还可以回看 APPSO 此前的文章：
为了避免人类被 AI 灭绝，OpenAI 正在组建「人类护卫队」，你要加入吗？OpenAI 宫斗剧第一季完结，被曝威胁人类的神秘Q*项目到底是什么？| Hunt Good 周报
对于这一连串指控，「救火队长」Sam Altman 届时将会作出什么样的回应，值得拭目以待，APPSO 也将第一时间跟进这场 2.0 版本的「宫斗大戏」。
继续阅读
阅读原文