“AI确实可能杀死人类。”
这话并非危言耸听，而是OpenAI CEO奥特曼的最新观点。
而这番观点，是奥特曼在与MIT研究科学家Lex Fridman长达2小时的对话中透露。
不仅如此，奥特曼谈及了近期围绕ChatGPT产生的诸多问题，坦承就连OpenAI团队，也根本没搞懂它是如何“进化”的：从ChatGPT开始，AI出现了推理能力。但没人能解读这种能力出现的原因。
唯一的途径是向ChatGPT提问，从它的回答中摸索它的思路。
针对马斯克在推特上的“危险论”，他直言：
马斯克在我心中是英雄，我支持也理解他的担忧。
虽然他在推特上挺混蛋的，但希望马斯克能看到我们在解决AGI安全问题上付出了多大的努力。除此之外，在这场对话过程中，奥特曼还提到了不少刁钻的话题，例如：
ChatGPT、GPT-4开发的内幕
GPT-4是人类迄今所实现的最复杂的软件
如何看待大家拿ChatGPT越狱
……
在看过这场对话之后，网友直呼：
两位AI大佬用大家都能理解的方式聊AI，多来点这样的访谈。
那么接下来，我们就来一同看下他们这场深度对话。
GPT-4内幕大曝光
GPT-4是这场对话中最受关注的部分。
它是如何训练的？如何在训练模型时避免浪费算力？如何解决AI回答不同价值观的人的问题？
首先是训练过程，依旧是预训练+RLHF，不过透露了一点具体细节。GPT-4早在去年夏天就已经训练完成，后面一直在进行对齐工作，让它表现得更符合人类需求。
相比预训练数据集，RLHF所用的数据非常少，但效果是决定性的。
对此，奥特曼透露了一点数据来源，包含一些开源数据集、以及合作商提供的部分数据集。
当然，数据集中也有一点Reddit论坛上出现的迷因梗（meme），但不是很多。对此奥特曼遗憾表示：
如果再多点，它的回答可能会更有趣。‍
即便如此，团队甚至奥特曼自己依旧不能完全解读GPT-4。
目前对它的解读方式，依旧是通过不断问它问题，通过它的回答来判断它的“思路”。
而就在不断测试中，OpenAI发现从ChatGPT开始，GPT系列出现了推理能力。
虽然ChatGPT绝大部分时候都被当做数据库使用，但它确实也出现了一定的推理能力，至于这种能力具体如何出现的，目前却无人能回答。
但大模型的训练往往意味着大量算力需求。对此奥特曼再次提到了OpenAI独特的训练预测方法：即便模型很大，团队目前也有办法只通过部分训练，预测整个模型的性能，就像是预测一名1岁的婴儿能否通过SAT考试一样。
关于这一点，在GPT-4论文和官方博客中也有更详细介绍。
最后奥特曼承认，GPT-4确实存在应对不同价值观的人的问题。
临时解决办法就是把更改系统消息（system message）的权限开放给用户，也就是ChatGPT中经常见到的那段“我只是一个语言模型……”。
通过改变系统消息，GPT-4会更容易扮演其中规定的角色，比在对话中提出要求的重视程度更高，如规定GPT-4像苏格拉底一样说话，或者只用JSON格式回答问题。
所以，对于GPT系列来说，谁最可能载入人工智能史册？奥特曼倒不认为是GPT-4：从可用性和RLHF来看，ChatGPT无疑是最具里程碑的那一个，背后的模型没有产品的实用性重要。
最会打太极的CEO
GPT-4论文中没有透露参数规模、训练数据集大小等更多细节，还被外界吐槽越来越不Open了。
在这次访谈中，面对主持人步步追问，奥特曼依旧守口如瓶。
GPT-4预训练数据集有多大？奥特曼只是很笼统的介绍了有公开数据集、有来自合作伙伴的内容（如GitHub提供的代码）还有来自网络的内容。
活像ChatGPT也能写出来的那种赛博八股文，只有在谈到Reddit的时候透露了网络梗图在训练数据中占比不大，“不然ChatGPT可能更有趣一些”。
GPT-4模型参数量有多大？奥特曼只是说之前疯传的100万亿参数是谣言，然后又糊弄过去了。
我认为人们被参数竞赛所吸引，就像过去被CPU的主频竞赛所吸引一样。现在人们不再关心手机处理器有多少赫兹了，关心的是这东西能为你做什么。
不过奥特曼对于一种说法是持有肯定态度——“GPT-4是人类迄今所实现的最复杂的软件”。
但在主持人Lex突然抛出一些时下针对GPT-4的尖锐观点时，奥特曼的应对也堪称“AI般淡定”（狗头）。
例如，关于前段时间闹得沸沸扬扬的GPT-4越狱问题。
一名斯坦福教授仅仅用30分钟，就诱导GPT-4制定出了越狱计划，并全部展示了出来。
对此奥特曼表示，就如同当年iPhone也面临被“黑”或者说越狱的问题（如当年免费的越狱版App Store）一样，这并非不能解决的事情。
奥特曼甚至坦承，他当年就把自己的第一台苹果手机越狱了——甚至当时觉得这是个很酷的事情。
但现在已经没有多少人去干苹果越狱的事情了，因为不越狱也足够好用了。奥特曼表示，OpenAI的应对思路同样如此，即把功能做的足够强，他甚至表示，愿意在这方面给用户开更多权限，以便了解他们到底想要什么。
除此之外，Lex还提到了马斯克对于奥特曼的批评。
奥特曼虽然是当年被马斯克一手提拔的人才，但如今马斯克不仅退出了他们联手创办的OpenAI，还对OpenAI现状十分不满，经常在推特上阴阳怪气这家公司。
我捐1亿美金成立的非营利组织怎么就变成一个300亿市值的营利性公司了呢？如果这是合法的，为什么其他人不这样做？
作为OpenAI现任CEO，奥特曼并未直接回应此事，而是调侃了一下马斯克在航天领域也经常被“老前辈”们批评的事情。
这一系列采访问答，不禁让人想到在ChatGPT发布后，奥特曼对于记者“将ChatGPT整合进微软必应和Office”问题的回应方式：
你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道我不能对此发表评论。
既然如此，为什么你还要问它呢？
GPT的“偏见”不会消失
GPT在迭代过程中“偏见”必然存在，它不可能保持完全中立。
在主持人提到关于ChatGPT以及GPT-4种存在的偏见问题时，奥特曼这样回应道。
ChatGPT在推出之初，就不是一个成熟的产品，它需要不断迭代，而在迭代的过程中，仅仅依靠内部的力量是无法完成的。
“提前”推出ChatGPT技术，是要借助外部世界的集体智慧和能力，同时也能让全世界参与进“塑造AI”的过程中。
而不同人对于问题的看法也各不相同，所以在这个过程中，“偏见”问题就不可避免。
甚至奥特曼在话里话外也透露着：在GPT中，“偏见”永远不会消失。
他将外部参与建设GPT比作“公开领域建设的权衡”。GPT生成答案是个性化控制的结果，迭代的过程则是更精准地控制“个性化”的过程。
有趣的是，期间奥特曼还暗戳戳“背刺”起了马斯克的推特：
推特摧毁掉的多元性，我们正在将其找回来。
（嗯，奥特曼是懂一些话术的）
当然，谈到ChatGPT，总绕不开其背后的公司OpenAI，在成立之初，它就立下了两个Flag：
1、非营利性
2、通用人工智能（AGI）
如今，已经过去八年之久，这两个Flag也是发生了巨大的变化：AGI的大旗还在高举，而非营利性这面旗则已经摇摇欲坠。
对此，奥特曼也是分别作出了回应。
对于OpenAI“非营利性质”的逐渐削弱，奥特曼直言：很久之前，就已经意识到非营利性不是长久之计。
仅仅依靠非营利筹集到的资金对OpenAI的研究来说远远不够，商业化是必然选择。
但在之后奥特曼也试图“找补”回一些，称目前的商业化的程度仅止于满足投资者与员工的固定回报，剩余资金还是会流向非营利性组织。
提到AGI，一开始在OpenAI声称要做通用人工智能时，还有一堆人在嘲讽，如今做出GPT-4这样的产品，回过头来再看，嘲讽的声音已经越来越少了。
而面对外界询问“GPT-4是AGI吗”这样的问题时，奥特曼则是直接给出了自己理解中的AGI：
AGI所掌握的知识应该是要超过人类科学知识总和的，并且具有创造性，能够推动基础科学的发展；
而目前所有GPT并不能做到这些，想要达到AGI还需要在目前GPT的范式上进行拓展，至于如何拓展，正是目前所缺乏的。
值得一提的是，谈到AGI时，是奥特曼在访谈中鲜有的“两眼放光”的时刻。他抛出了一句极具“科研分子理想情怀”的金句：
也许AGI是永远抵达不了的乌托邦，但这个过程会让人类越来越强大。
但奥特曼并不否认过分强大的AGI“可能杀死人类”这一观点：
我必须承认，（AI杀死人类）有一定可能性。
很多关于AI安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。
One More Thing
在谈话最后，Lex Fridman还试图让奥特曼讲一些给年轻人们的建议，奥特曼直接来了个“反鸡汤文学”：
网络上的“成功学”帖子太诱人，建议不要听太多建议。
我就是无视建议做到现在这样的。
《暂停大型人工智能研究》
3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命。
该机构在信中提到：
我们不应该冒着失去对文明控制的风险，将决定委托给未经选举的技术领袖。只有当确保强大的人工智能系统的效果是积极的，其风险是可控的才能继续开发。
人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。
截止目前，马斯克、苹果联合创始人Steve Wozniak、Stability AI 创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。
以下是公开信原文：
正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。
现在，人工智能在一般任务上变得与人类有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。
因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。
人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。
人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。
同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。
人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天。
本文综合来源：凤凰新闻网-华尔街见闻，量子位
参考链接：
https://www.youtube.com/watch?v=L_Guz73e6fw
业务合作联系Alice老师
觉得好看就点个在看吧
继续阅读
阅读原文