机器之心报道
机器之心编辑部
在今年的 GTC 上，NVIDIA 创始人兼首席执行官黄仁勋与 OpenAI 联合创始人、首席科学家 Ilya Sutskever 进行了一场深度对话，讨论了 GPT-4、ChatGPT 背后的故事，也聊了下深度学习的未来。
如今，OpenAI 可以说是整个 AI 领域最火的研究机构。凭借强大的 GPT-4 以及与微软必应、Office 等产品的融合，这家公司似乎要掀起一场生产力革命。
这一成就是由多方面的力量来驱动的，包括聪明的头脑和强大的基础设施。
在「聪明的头脑」里，Ilya Sutskever 颇具代表性。2012 年，他和他的导师 Geoffrey Hinton 以及同学 Alex Krizhevsky 一起，用深度神经网络刷新了 ImageNet 的历史记录，拉开了卷积神经网络统治计算机视觉的序幕，标志着新一波人工智能浪潮的开始。2021 年，这个名为 AlexNet 的论文被引量突破 10 万。
「为了加速训练，我们用到了非饱和神经元和一个非常高效的 GPU 卷积操作实现。」Ilya Sutskever 等人在 AlexNet 的相关介绍中提到了这样一条关键信息。他们还详细说明了如何将他们的网络映射到多个 GPU 上。从这时起，GPU 和神经网络紧紧地绑定在一起。黄仁勋领导的英伟达自然也成了这波 AI 浪潮中不可或缺的一环。
2015 年，Ilya Sutskever 参与创办了 OpenAI，并带领这家公司一路向着 AI 大模型的方向前进。但随着模型变得越来越大，训练它们所需的算力也急剧增长。
「加速计算并非易事，2012 年，计算机视觉模型 AlexNet 动用了 GeForce GTX 580，每秒可处理 262 PetaFLOPS。该模型引发了 AI 技术的爆炸。十年之后，Transformer 出现了，GPT-3 动用了 323 ZettaFLOPS 的算力，是 AlexNet 的 100 万倍，创造了 ChatGPT 这个震惊全世界的 AI。崭新的计算平台出现了，AI 的 iPhone 时代已经来临。」黄仁勋在 GPT 大会的 Keynote 中说道。在这次大会上，英伟达发布了 ChatGPT 专用的 GPU，推理速度提升了 10 倍。
一路走来，Ilya Sutskever 和黄仁勋都是这波 AI 浪潮的见证者和重要推动者。在即将到来的「AI iPhone 时代」，两人也必将扮演重要的领导者角色。
在这场对话中，两人谈到了深度神经网络的能力、限制和内部工作方式，并勾勒了一些未来的图景。
在打造 GPT-4 的过程中，Ilya Sutskever 坚信「（模型）越大越好，扩大规模是 OpenAI 的目标之一」。这自然是黄仁勋喜闻乐见的。
I had a very strong belief that bigger is better, and a goal at OpenAI was to scale.       ——Ilya Sutskever
两人的谈话进行了大约 1 个小时，就像老朋友边喝咖啡边聊天一样。以下是这次谈话的完整视频（带中文字幕），大家可以在其中感受时代的脉搏。
英伟达博客：https://blogs.nvidia.com/blog/2023/03/22/sutskever-openai-gtc/
视频链接：https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus#/session/1669748941314001t6Nv
探寻隐私计算最新行业技术，「首届隐语开源社区开放日」报名启程
春暖花开之际，诚邀广大技术开发者&产业用户相聚活动现场，体验数智时代的隐私计算生态建设之旅，一站构建隐私计算产业体系知识：
  • 隐私计算领域焦点之性
  • 分布式计算系统的短板与升级策略
  • 隐私计算跨平台互联互通
  • 隐语开源框架金融行业实战经验
3月29日，北京·798机遇空间，隐语开源社区开放日，期待线下面基。
点击阅读原文，立即报名。
© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
继续阅读
阅读原文