LeCun 的小弟 Bengio 为啥能和前辈一起获奖？

by 超神经

场景描述：Bengio 在深度学习的研究，推动了机器翻译的进步，而他的成就也最终让他收获了 2018 年的图灵奖。

关键词：深度学习机器翻译图灵奖

1988 年，正在加拿大麦吉尔大学主修计算机工程学的博士研究生 Yoshua Bengio ，可能没有想到，自己在三十多年后，可以和偶像 Geoffrey Hinton 一起获得图灵奖。

Bengio 在法国出生，他在加拿大法语区蒙特利尔长大。自小他就很喜欢科幻小说，比如科幻作家 Philip K. Dick 的作品《Do Androids Dream of Electric Sheep》，是他印象最深刻的小说，讲的是由一家大型企业创造的有感知力的机器人，最终因为环境影响变成了恶棍。

Bengio 读到了 Hinton 的一篇论文，如被电击，因为他找到了儿时非常喜欢的科幻故事的感觉，让他找了到自己的研究方向。

在 MIT 获得博士后学位后，Bengio 加入了贝尔实验室，成为了 LeCun 的组员，这时他和图灵奖的渊源，才正式开始。

在 Bengio 介入之前，机器翻译只是凑合

Bengio 在选择自己的研究领域时，可能还不知道自己会产生多大的影响。这要从 IBM 的第一台翻译机说起。

这台翻译机诞生到 20 世纪 80 年代，那时的技术主流都是基于规则的机器翻译（ RBMT ）。最常见的作法就是直接根据词典逐字翻译，然后来加入句法规则来修正。但是，翻出来的结果都很令人失望，因为看起来很「智障」，比如：

还有比如肯德基的口号：「We Do Chicken Right」，基于规则的机器翻译结果为：「我们做鸡右」，或者，「我们做鸡对」……

对于这句口号，如果不考虑背景，人工翻译出的结果都五花八门：「我们做鸡好吗？」「我们有做鸡的权利」！「我们做鸡的右半边」……所以更别说基于规则的机器翻译了。

因此，到了80年代这样的翻译法就销声匿迹了。

之后，有了基于语料库的机器翻译，分为基于统计（SBMT）和基于实例的机器翻译（EBMT）方法。通俗点说就是抽取句子的模式，当你输入一句话想要翻译的时候，会在双语语料库中搜索相类似的语句，然后替换不一样的词汇翻译。

举个例子：

I gave Xiao Ming a pen.

I gave Li Ming an apple.

针对此类语句，就可以抽取他们相似的部分，直接替换不一样的地方的词汇就行。

但是这种方法对双语语料库的简历、短语片段粒度的划分、例句对的对齐、片段重组等方面都有着很高的要求，存在着许多问题。因此，彼时的机器翻译与人工翻译之间还有种很大的差距。

注意力机制，改革机器翻译

半个多世纪以来，机器翻译发展几经波折，未有重大起色。

五六年前，谷歌翻译都还是基于短语的统计机器翻译(SMT），而且SMT一直被视为最先进的机器翻译方法。但是，对很多人来说，机器翻译也只是「凑合」使用。

机器翻译简史时间轴概览

直到 2014 年，机器学习终于因为神经网络而迎来了历史性突破。

而这，要归功于 Yoshua Bengio.

2001年，Yoshua Bengio 等人在 NIPS（去年11月已改名为 NeurIPS ）上发表了划时代的论文「A Neural Probabilistic Language Model」，使用高维词向量来表征自然语言。他的团队还引入了注意力机制，让机器翻译获得突破，也成为了让深度学习处理序列的重要技术。

2014年，Yoshua Bengio 的论文「Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation」中，首次奠定了深度学习技术用于机器翻译的基本架构。他主要是使用基于序列的递归神经网络( RNN )，让机器可以自动捕捉句子间的单词特征，进而能够自动书写为另一种语言的翻译结果。

此文一出，Google 如获至宝。很快地，在Google供应充足火药以及大神的加持之下，于 2016 年 9 月在 ArXiv.org 发表论文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》。

与此同时，谷歌正式宣布将所有统计机器翻译下架，神经网络机器翻译上位，成为现代机器翻译的绝对主流。

谷歌方面宣告机器翻译经过 27 年左右的时间，正式从 1989 年的 IBM 机器翻译模型(PBMT，基于短语的机器翻译)，过渡到了神经网络机器翻译模型，最高将翻译准确率提高到 87%，Google 宣称，在「英-法」，「英-中」，「英-西」等多个语对中，错误率跟之前的统计机器翻译系统相比降低了 60%。

这个正确率已经极大接近了普通人的翻译了。 MIT TR 报道称，「几乎与人类无异」，「极好地展示了神经网络机器翻译的实力。」

此消息当时在科技圈炸开了锅，谷歌神经网络机器翻译系统（ GNMT）成为机器翻译历史上一个重大里程碑。不得不提的是，GNMT 采用的便是 Yoshua Bengio 和他在加拿大蒙特利尔大学的深度学习团队开创的神经网络机器翻译（NMT）技术。

因此可以说，Yoshua Bengio 推动了自然语言理解和处理技术的进步，他参与的研究后来陆续进入了许多机器翻译、人工智能助手类产品。

NMT 之后，百家争鸣

在 2016 年的一次采访中，Yoshua Bengio 曾谈到过去让他感到自豪的研究，“说一个比较新的例子，最近在机器翻译方面取得了一些进展，其中有很大部分是得益于我们研究小组的成果 —— 神经机器翻译（ Neural Machine Translation ），这是大约两年前做出来的，现在全世界的实验室都在使用，是最先进的机器翻译技术，也是神经网络首次在机器翻译领域取得重大突破。之前，神经网络在语音识别、计算机视觉这些领域都取得了巨大的突破，但是机器翻译、自然语言处理还尚处于起步阶段。因此，这是我认为我们可以自豪的一项成果。”

基于 NMT 技术，各互联网科技公司也陆续有了新举措。2017 年 10 月，Google 推出了硬件新产品耳机 Pixel Buds，集成谷歌助手，实时翻译功能等功能，可支持 40种语言的实时翻译。

此后几年里，国内的网易有道、科大讯飞、搜狗等公司，也都先后推出了翻译机类产品，其背后的技术都离不开NMT.

2018 年 3 月，微软亚洲研究院雷德蒙研究院的研究人员宣布，其在神经网络机器翻译架构上加入对偶学习（ dual learning ）以及推敲网络（ Deliberation Networks ），研发的机器翻译系统在通用新闻报道测试集 newstest2017 的中英翻译测试集上，达到了可与人工翻译媲美的水平。

想象一下，如果当初没有神经网络翻译的提出，我们现在可能还停留在大段翻译语法错误百出、结果「惨不忍睹」的阶段。而超神经 AI 小编可能也会面临因为英语不过关翻译不力而被开除的危险……

所以，感谢 Bengio，感谢神经网络机器翻译，图灵奖受之无愧。

超神经小百科

机器翻译 Machine Translation

机器翻译是利用计算机来实现不同语言转换的一种技术。通常是将一种语言（称为源语言）翻译为另一种语言（称为目标语言）。

用常规的方式来看，机器翻译的步骤可以细分为：

借译源语言的文字的文意；

重新编译解析后的文意至目标语言。

在深度学习的推动下，为机器翻译带来了新的思路：

以统计机器系统为框架，只利用神经网络来改进其中的关键模块；

直接用神经网络将源语言映射到目标语言。

历史文章（点击图片阅读）