Transformer诞生6年:彻底改变AI界,8位作者已创办数家AI独角兽
![](http://static.careerengine.us/api/aov2/https%3A_%7C__%7C_mmbiz.qpic.cn_%7C_mmbiz_jpg_%7C_FAHQFYBTcphq5QYBMZNCK4C0fnkh7ibW4dzSc9f9OAfbJEbiatldIyxS6xHt2ckxbJB11ATMQiczLWlT1x7w7yMPA_%7C_0%3Fwx_fmt%3Djpeg.jpg)
从 ChatGPT 到 AI 画图技术,人工智能领域最近的这波突破或许都要感谢一下 Transformer。
今天是著名的 transformer 论文提交六周年的日子。
六年前,一篇名字有点浮夸的论文被上传到了预印版论文平台 arXiv 上,「xx is All You Need」这句话被 AI 领域的开发者们不断复述,甚至已经成了论文标题的潮流,而 Transformer 也不再是变形金刚的意思,它现在代表着 AI 领域最先进的技术。
六年后,回看当年的这篇论文,我们可以发现很多有趣或鲜为人知的地方,正如英伟达 AI 科学家 Jim Fan 所总结的那样。
Transformer 模型抛弃了传统的 CNN 和 RNN 单元,整个网络结构完全是由注意力机制组成。
虽然 Transformer 论文的名字是《Attention is All You Need》,我们也因它而不断推崇注意力机制,但请注意一个有趣的事实:并不是 Transformer 的研究者发明了注意力,而是他们把这种机制推向了极致。
注意力机制(Attention Mechanism)是由深度学习先驱 Yoshua Bengio 带领的团队于 2014 年提出的:
《Neural Machine Translation by Jointly Learning to Align and Translate》,标题比较朴实。
在这篇 ICLR 2015 论文中,Bengio 等人提出了一种 RNN +「上下文向量」(即注意力)的组合。虽然它是 NLP 领域最伟大的里程碑之一,但相比 transformer,其知名度要低得多,Bengio 团队的论文至今已被引用 2.9 万次,Transformer 有 7.7 万次。
(图源网络)
AI 的注意力机制,自然是仿照人类的视觉注意力而来。人类大脑里有一种天生能力:当我们看一幅图时,先是快速扫过图片,然后锁定需要重点关注的目标区域。
如果不放过任何局部信息,必然会作很多无用功,不利于生存。同样地,在深度学习网络中引入类似的机制可以简化模型,加速计算。从本质上说,Attention 就是从大量信息中有筛选出少量重要信息,并聚焦到这些重要信息上,忽略大多不重要的信息。
近年来,注意力机制被广泛应用在深度学习的各个领域,如在计算机视觉方向用于捕捉图像上的感受野,或者 NLP 中用于定位关键 token 或者特征。大量实验证明,添加了注意力机制的模型在图像分类、分割、追踪、增强以及自然语言识别、理解、问答、翻译中任务中均取得了明显的性能提升。
引入了注意力机制的 Transformer 模型可以看做一种通用序列计算机(general-purpose sequence computer),注意力机制允许模型在处理输入序列时根据序列中不同位置的相关性分配不同的注意力权重,这使得 Transformer 能够捕捉到长距离的依赖关系和上下文信息,从而提高序列处理的效果。
但在当年,不论是 Transformer 还是最初的 attention 论文都没有谈到通用序列计算机。相反,作者们认为它是解决一个狭窄而具体的问题 —— 机器翻译的机制。所以未来的我们追溯起 AGI 的起源时,说不定可以追溯到「不起眼」的谷歌翻译。
(图源网络)
联系我们>>
硅谷高创会企业家全球出海商务考察>>
2023年,硅谷高创会将在美国(硅谷、波士顿、纽约、西雅图、洛杉矶、华盛顿、芝加哥、亚特兰大等城市)、新加坡、德国、法国、以色列、日本、韩国等地组织企业家开展考察,促进优秀企业家、投资人、创业团队及政府代表与世界知名企业零距离接触,扩宽视野,寻觅合作,开拓市场。
硅谷高创会2023年企业家全球出海商务考察详细安排及背景介绍请点击蓝字链接查看:
为充分满足各地、各层次企业海外商务考察需求,硅谷高创会正在招募城市合伙人/合作伙伴,通过与合伙人达成的全方位、多层次的合作,为各地企业提供持续深化且个性化的商务考察服务,实现共赢。若想成为城市合伙人,请扫码联系小助手,备注【合伙人】具体咨询。
工业和信息化部工业文化发展中心主办,北京高创汇智科技有限公司承办,北京大兴国际机场临空经济区管理委员会联合承办,北京大兴区投资促进服务中心支持,共同开展的“专精特新”企业创新特训营第一期在北京大兴成功举办!
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。