" 
如今奥特曼回归，Ilya何去何从，仍无定论。
-----------------------
编辑|Moon
来源|青投创新/APPSO
奥特曼胜利了。
尽管有Open AI 员工92%的超高支持率，但为什么当初作为Open AI灵魂人物的奥特曼会被踢出局？
仍然值得我们深思。
如今，尘埃落定，似乎有更多的内幕浮出水面。
01
被匿名的“内幕”
近日，路透社报道称，在奥特曼被罢免的前几天，OpenAI 几位研究人员致信董事会，警告说他们发现了一种强大的人工智能技术，可能威胁到人类。
这封一直未曝光的信和提到的 AI 技术，可能正是造成奥特曼被罢免的关键原因。
这项技术来自内部一个名为Q*（发音为 Q-Star）的项目，据称 Q* 显示出接近人类的高级推理能力。
但正是这种高度智能化和自主性，引发了对其可能不受控制、对人类构成威胁的担忧。
OpenAI 内部一些员工认为 Q* 可能是该初创公司寻找所谓的人工通用智能（AGI）的重大突破。
来自内部的匿名信源透露，凭借巨大的算力资源，这个新模型能够解决某些数学问题。
虽然目前只有小学生水平，但通过这样的测试让研究人员对 Q* 的未来成功充满乐观。
研究人员认为数学是生成式 AI 发展的前沿。目前，生成式 AI 擅长通过统计预测下一个词来进行写作和语言翻译，对同一个问题的答案可能会有很大差异。
然而，如果能够征服进行数学运算的能力——在数学运算中只有一个正确答案——这意味着 AI 将具有更接近人类智能的推理能力，研究人员认为这可以应用于新的科学研究。
不过路透社并没有拿到这封信的副本，OpenAI 目前也拒绝置评。
对 AGI 发展风险的顾虑，也一直被认为是引发 OpenAI 这次高层动荡的重要原因。
这不得不让人想到，马斯克在 X 上转发的那封据称是 Open AI 前员工的匿名信，信中同样指控奥特曼和格雷格在公司向盈利模式转变期间存在严重的欺骗和操纵行为，并呼吁董事会全面调查，保护揭露者身份，反对不道德做法。
作为 OpenAI 的创始人之一，马斯克曾经自掏腰包投资OpenAI近5000万-1亿美元，然而，2018年，他突然宣布离开Open AI，给出的解释是OpenAI与特斯拉存在利益冲突，不过这个理由显然只是个借口，因为在其离开后与奥特曼的矛盾逐渐曝光，马斯克曾公开痛批 OpenAI 已变质。
据悉，这封匿名信是由董事会转发给马斯克的，然后被马斯克直接曝光，目前转发链接的内容已经被删除。
匿名信中提到了以下几点，似乎也印证了路透社的消息：
1.（希望）扩大 Emmett（新上任的 CEO） 的调查范围，包括审查奥特曼自 2018 年 8 月以来的行为，即 OpenAI 从非营利组织向盈利实体过渡的开始。
2.公开呼吁在此期间辞职、休医疗假或被解雇的前 OpenAI 员工私下提供陈述。
3.我们目睹了奥特曼和格雷格在追求人工普遍智能（AGI）的过程中展现出令人不安的欺骗和操纵行为。
4.奥特曼要求研究人员推迟报告“秘密”研究项目的进展，这些项目最终因未能迅速取得成果而被终止。对此提出质疑的人被视为“文化不适合”，甚至在 2019 年感恩节前夕被解雇。
匿名信中，最明显的指控是奥特曼在有意筛选“自己的人”，也就是符合他主导的公司价值观的人，话里话外的意思，正因如此，才导致了他如今92%的高支持率？
而本次年度大戏中的另一位主角：首席科学家Ilya Ilya，则成为奥特曼反对者们支持的对象。
原因是Ilya一直主张谨慎地应对 AI 和 AGI 的安全隐患，他认为应该将特定价值观「刻」在超级 AI 中，让 AI 像动物一样拥有一些类似「天性」的「铭印」：
“最终，AI 将变得非常、非常、非常强大。我们将无法理解他们。
他们会比我们聪明得多。到那个时候，强烈的铭印至关重要，只有这样，他们对我们的感觉才会像我们对自己的孩子一样。”

Ilya 在奥特曼被解雇前，在 X 发布的最后一条推文也表明了他的态度：
“如果你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕。”
02
Open AI 的另一种声音
就在10月底，Ilya刚刚接受了一次独家专访，我们可以从中看到 Open AI 内部的另一种声音。
本次的专访，Ilya讲述了他对 AI 未来的担忧，以及为什么这些担忧让他改变了一生的工作重点。
作为OpenAI 的联合创始人兼首席科学家 Ilya  ，Ilya说目前他的首要任务不是构建下一个 GPT 或 DALL-E，而是弄清楚如何阻止无赖的超级人工智能。
他认为ChatGPT 可能是有意识的，世界需要知道他的公司和其他公司创造出技术力量的真相。
他觉得总有一天，一些人会选择与机器融合。
ChatGPT 已经改写了很多人未来的期望，将「永远不会发生」变成了「会比你想象的更快」。
去年 11 月，OpenAI 发布了一款免费使用的聊天机器人，重新打包了一些现有技术，ChatGPT 重置了整个行业的议程。
当时，OpenAI 并不知道它要推出什么。
Ilya 觉得公司内部的期望非常低靡：
“我们制作 ChatGPT 时，我不知道它有什么好处。当你问它一个事实性的问题时，它给了你一个错误的答案。我以为它会如此不起眼，以至于人们会说，你为什么要这样做？这太无聊了！"

之后，ChatGPT 引擎盖下的大型语言模型诞生。
将其包装在一个可访问的界面中并免费赠送，才使数十亿人第一次意识到 OpenAI 和其他公司正在构建什么。
“这种初体验吸引了人们，第一次使用它时，我认为这几乎是一种精神体验。”
“你会觉得这台电脑似乎能理解我们。”
Ilya 谈到当时第一次使用 ChatGPT 的体验。许多人被这个惊奇的新玩具吸引，OpenAI 在不到两个月的时间里就积累了 1 亿用户，ChatGPT 改变了人们的视野。
然而，AGI的问题也随之而来。
所谓AGI，就是指通用人工智能，它可以像人类一样学习和推理，有可能解决复杂的问题并独立做出决策。
“你可以用 AGI 做很多不可思议的事情：自动化医疗保健，让它便宜一千倍，好一千倍，治愈这么多疾病，真正解决全球变暖问题。”
最早，在Ilya眼中，AGI是令人着迷的，而且他的志向是研发出超越AGI的超级人工智能：他们会更深入地看待事物，能看到我们看不到的东西。
转折点来自AlphaGo 。
2016 年，DeepMind 的棋盘游戏 AI 在五局比赛中以 4-1 击败了世界上最好的围棋选手之一李世乭。
它想出了如何以不同于人类数千年来共同发展的方式下围棋，它居然提出了新的想法。
正是这件事让Ilya做出了他职业生涯中最大的转变。
他与 OpenAI 的科学家 Jan Leike 一起成立了一个团队，专注于他们所谓的「超对齐」。

对齐是行话，意味着让 AI 模型做你想做的事，仅此而已。
他的目标是提出一套故障安全程序来构建和控制这项未来技术，OpenAI 将把五分之一的庞大计算资源分配给这个问题，并在四年内解决它。
Leike 提出：
“现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么。但随着人工智能系统变得越来越强大，它们将承担更艰巨的任务。
这将使人类更难评估它们。在与 Ilya 组建超对齐团队时，我们已着手解决这些未来的对齐挑战。”
尽管有很多人提出了质疑甚至嘲讽，认为这是不可能的事情，但Ilya始终坚持自己的观点。
但他心中有一个他想要设计的保护措施：
一台机器，以父母看待孩子的方式看待人。
“在我看来，这是黄金标准，也是常识：人们真正在关心孩子。”
我们必须承认，OpenAI是一个值得尊敬的公司，无奈的是，两股不同的理念交织，天秤势必会倾斜。
奥特曼认为技术要无限加速，越快越好；Ilya认为AGI不是普通的技术，可能反噬人类，要确认好安全的进化起点。
有人说：奥特曼可能是最好的CEO，而Ilya可能是最好的AGI引路人。
如今奥特曼回归，Ilya何去何从，仍无定论。
「往期推荐」
AIGC不会是下一个“元宇宙”？
告别元宇宙，Meta拥抱AI
星舰爆掉马斯克3000亿
是任正非怕了，还是余承东输了？
【课程详情】
扫描下方二维码
【马上搞钱】
END
欢迎全国各地以及境外科技、消费、地产、医疗、农业、能源、环保、教育、文化、投行、基金、券商、信托、银行、保险、租赁、投资等产业及金融精英，寻找优质项目、资金及获得全球顶级金融圈层请联系Cathy，或者在菜单中点击【合作】——>【青投服务】，留下您的需求我们将竭诚为您服务。
青投创新，新型科创产业服务平台，以科技、人才、资本为核心，通过内容出版、数据支持、产业咨询、科技转化等业务，为科技人才创业项目提供孵化及加速赋能服务，助力国家科技兴国计划。
继续阅读
阅读原文