点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
点击进入—>CV微信技术交流群
转载自：机器之心 | 编辑：张倩

在外界看来，ChatGPT 是一项巨大突破，但图灵奖得主、Meta 首席人工智能科学家 Yann LeCun 不这么认为。
自从去年底推出以来，对话式 AI 模型 ChatGPT 火遍了整个社区。
用过 ChatGPT 的人都能体会到，它是一个真正的「六边形战士」：不仅能拿来聊天、搜索、做翻译，还能写故事、写代码、debug，甚至开发小游戏、参加美国高考…… 有人戏称，从此以后人工智能模型只有两类 —— ChatGPT 和其他。
由于功能过于强大，ChatGPT 的火爆让顶级科技公司谷歌都如临大敌。谷歌内部将 ChatGPT 称为「red code」，担心它的出现会影响自家的搜索业务。因此，前段时间，许久不出山的两位谷歌创始人 —— 拉里・佩奇和谢尔盖・布林 —— 也被请了回来，就「聊天机器人搜索引擎」召开高层会议。
当然，并不是所有的科技巨头都如此恐慌。在前段时间的一次小型媒体和高管在线聚会上，Meta 首席人工智能科学家 Yann LeCun 也发表了他对 ChatGPT 的看法。
在他看来，「就底层技术而言，ChatGPT 并没有什么特别的创新，」也不是「什么革命性的东西」。许多研究实验室正在使用同样的技术，开展同样的工作。
ZDNet 一篇题为「ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist」的报道披露了 LeCun 演讲的一些细节。
ChatGPT 的背后没有秘密
从报道来看，LeCun 的很多发言都在努力澄清公众对于 ChatGPT 的一些误解。
首先，LeCun 指出，「ChatGPT 并不是什么革命性的东西，尽管公众是这么认为的。」
LeCun 表示，过去很多公司和研究实验室都构建了这种数据驱动的人工智能系统，认为 OpenAI 在这类工作中是孤军奋战的想法是不准确的。「与其他实验室相比，OpenAI 并没有什么特别的进步。」
「不仅仅是谷歌和 Meta，还有几家初创公司基本上都拥有非常相似的技术。」「我不是说这件事做起来很简单，但确实不只是 OpenAI 在做。如果你愿意探索的话，它背后没什么机密。」
此外，LeCun 还进一步指出，ChatGPT 及其背后的 GPT-3 在很多方面都是由多方多年来开发的多种技术组成的。
「你必须意识到，ChatGPT 使用的 Transformer 架构是以这种自监督的方式预训练的，」「自监督学习是我很长一段时间以来一直倡导的，甚至可以追溯到 OpenAI 出现之前，」他说。
另外，「Transformer 是谷歌的发明，」这类语言项目的工作可以追溯到几十年前。
「大型语言模型，第一个神经网络语言模型是由 Yoshua Bengio 在大约 20 年前发明的。以当时的标准来看，这个模型很大，以今天的标准来看，它很小。」Bengio 关于注意力概念的工作后来被谷歌用于 Transformer，并成为所有语言模型的关键元素。
此外，OpenAI 的 ChatGPT 还广泛使用了一种名为「RLHF（通过人类反馈进行强化学习」的技术，即让人类对机器的输出进行排名，以提高模型性能，就像谷歌的网页排名一样。他说，这种方法不是 OpenAI 首创的，而是谷歌旗下的 DeepMind。
「所以，ChatGPT 和其他大型语言模型并不是凭空而来的，而是不同的人数十年贡献的结果。」LeCun 说。
因此，LeCun 认为，与其说 ChatGPT 是一个科学突破，不如说它是一个像样的工程实例。当然，公众体会不到这种循序渐进的感觉也很正常，毕竟不是谁都会一篇一篇去看论文。
或许是由于说话过于直白，LeCun 的言论引来了一些争议。有人批评他太过傲慢，自己没有做出类似的东西，却在别人做出来的广泛可用的产品里挑刺。
OpenAI CEO Sam Altman 似乎也闻到了火药味，专门前来讲和。
看到这些，LeCun 抓紧站出来澄清，表示自己没有「挑事儿」的意思，双方一直相处得很好，还在彼此的工作上构建了自己的项目。
Meta 未来要做什么？
不管是不是可以称之为「突破」，ChatGPT 的成功是毋庸置疑的。因此，大众不免好奇，LeCun 组建的 Meta 人工智能团队 FAIR 是否会像 OpenAI 那样在公众心目中取得突破。
对此，LeCun 的回答是肯定的。「不仅是文本生成，还有创作辅助工具，包括生成艺术，」他说，「我认为这将是一件大事。」
他表示，Meta 将能够通过自动生成宣传品牌的媒体资料来帮助小企业进行自我宣传。
「Facebook 上有 1200 万家商店在做广告，其中大多数是夫妻店，他们没有足够的资源来设计一个全新的、设计精美的广告。所以对他们来说，生成艺术可能会有很大帮助。」
在被问及为什么谷歌和 Meta 没有推出类似 ChatGPT 的系统时，LeCun 回答说，「因为谷歌和 Meta 都会因为推出编造东西的系统遭受巨大损失」。而 OpenAI 似乎没有什么可失去的。
鉴于 Meta 目前的处境，大家对于 LeCun 所描述的愿景多少有些担心。甚至有人劝他早日离开 Meta，去「有资源的地方」，做一些类似 ChatGPT 的项目或者生物医学应用研究。不知道 LeCun 本人是否有此想法。
参考链接：https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
https://twitter.com/scottwww/status/1617924797153050625
点击进入—>CV微信技术交流群
CVPR/ECCV 2022论文和代码下载
后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
继续阅读
阅读原文