夕小瑶科技说 原创

作者 | 付奶茶

最近几天，随着超级对齐团队核心成员接连离职，以及首席科学家Ilya Sutskever在周二宣布离职，OpenAI的超级对齐团队目前正面临解散的危机！
昨晚，团队领导者同时也是OpenAI联合创始人的Jan Leike在社交平台X上公开了他的离职原因，这是OpenAI高层首次公开承认公司在安全性和产品开发之间存在权衡问题。
Jan Leike指出，他决定离开的主要原因是与公司在关键的优先事项和资源分配上存在显著分歧。他表达了对于安全性和一致性的强烈关注；同时指出，超级对齐团队在过去几个月中遭遇了巨大挑战，尤其是计算资源的紧张，这严重影响了研究工作的进行；他还提到，近年来公司的安全文化和流程似乎已经被较为耀眼的产品开发所取代。
对此，OpenAI的联合创始人兼首席执行官Sam Altman进行了回应：
接下来，我们一起来看下Jan Leike 自述的离开原因吧～

Jan Leike公开离职原因：

昨晚，Jan Leike在推特上连续发布了13条消息，详述了他离开公司的原因：
  1. 昨天是我作为OpenAI的对齐负责人、超级对齐负责人及执行官任职的最后一天。
  2. 在过去的三年中，这是一段非常疯狂而又精彩的经历。我的团队在这期间推出了InstructGPT，这是我们首个使用RLHF的大型语言模型；我们发布了首个可扩展的大型语言模型监督，并在自动化可解释性及从弱到强的泛化能力上取得了突破。即将有更多激动人心的成果问世。
  1. 我爱我的团队。我非常感谢和我一起工作的许多了不起的人，包括超级对齐团队内部和其他的人。OpenAI拥有如此多非常聪明、善良和高效的人才。
  1. 离开这份工作是我做过的最艰难的事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的AI系统。
  1. 我加入是因为我认为OpenAI将是世界上做这项研究最好的地方。然而，很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。
  1. 我认为，我们应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、对抗鲁棒性、（超级）一致性、保密性、社会影响和相关主题。
  1. 这些问题很难解决，我担心我们没有走在到达那里的轨道上。
  1. 过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。
  1. 开发比人类更智能的机器本身带来了巨大的风险。作为OpenAI，我们承担着对全人类的重大责任。然而，在过去几年中，闪耀的产品已经逐渐取代了对安全文化和流程的重视。我们早应更认真地考虑AGI的潜在影响，并应将预备措施置于首位。只有这样，我们才能确保AGI能够惠及全人类。OpenAI必须坚持安全优先的原则，成为一家以AGI安全为核心的公司
  2. 对所有OpenAI的同事们，我想说：去感受AGI的本质。在行为上要表现出对你们所创造之物的尊重与庄严。我相信你们有能力引领必要的文化变革。我依靠你们，全世界也同样依靠你们。
在Jan Leike和Ilya Sutskever离职后，OpenAI的联合创始人John Schulman可能会接手负责与高级AI模型相关的风险研究。
去年七月成立的超级对齐团队原本由Leike和Sutskever领导，旨在解决控制超级智能AI的核心技术挑战，但团队并未达到预期的计算资源，最近更是出现了大量员工离职的情况。

OpenAI的发展如日中天

在OpenAI展示了其名为GPT-4o的全新“多模式”人工智能模型ChatGPT的最新版本不久后，Sutskever和Leike选择了离职。这款更新后ChatGPT可以更自然、更人性化地与用户互动，在发布会的演示中其模仿人类情绪并与用户调情的能力非常优异。
而且就在昨日，榜上OpenAI大腿的Reddit完成了14%的股价飙升！
这次合作预计会为这个社交媒体平台带来更多用户和更多的广告收入。Reddit通过这次合作，将OpenAI的技术融入到他们的平台中，而OpenAI也将成为Reddit的广告合作伙伴。这种合作是Reddit实现其IPO承诺的一种方式，即利用AI来增强用户体验和扩展内容使用。

OpenAI在让我们失望？

在Jan Leike公开离职原因之后，网络上的舆论几乎一致认为OpenAI正在背离其公开宣称的初衷和它应承担的使命。
这些致力于超级对齐的科学家的离开反映出OpenAI内部对其核心使命的分歧：是应该专注于发展AGI和超级对齐，还是应该扩展ChatGPT的服务。服务的扩展无疑需要占用更多计算资源，这会直接削减用于AGI安全研究的资源。
如果OpenAI仅仅是一个专注于研究的非营利组织，保障安全并为超级对齐投入资金理应简单直接。
然而，现实情况是，OpenAI似乎更关注于超越竞争对手，推出新的企业和消费者服务，其目标是成为全球科技巨头。
尽管Ilya坚信机器意识的觉醒即将到来，虽然我们无法确定这一天何时会到来，但我们必须保持开放和透明。这样，我们才能确保在构建AGI的过程中的安全性，避免走上秘密的道路。
不幸的是，OpenAI似乎既不追求开源也不足够重视超级对齐的原则。相反，它正在构建自己的壁垒，并全力推进AGI的发展。
大家有什么想法吗～ 欢迎一起讨论～

参考资料

 [1]https://www.theinformation.com/briefings/openai-safety-leader-exits-after-reaching-breaking-point?rc=6ymh11

 [2]https://mp.weixin.qq.com/s/0f_kxCYMJn_ZIeUUhem2DA
继续阅读
阅读原文