身材单薄,安静,戴着一副厚厚的眼镜,Quoc Le看起来不像是一个正在领导人工智能领域革命的人。
但在2011年,当时还是斯坦福大学博士生的他,和导师吴恩达、谷歌研究员Jeff DeanGregCorrado共同创办了Google Brain的前身Google X,这个项目旨在借助谷歌巨大的强大的算力和数据,探索深度学习的可能性。
在此之前,Le已经在斯坦福大学做出了一些无监督深度学习的开创性工作。
2012年,Le在ICML上发表了一篇论文,引起了人们对深度学习的浓厚兴趣:他开发了一种深度神经网络模型,可以基于从Youtube1000万个图像识别猫,以及ImageNet数据集识别超过3000种物体。这个巨大的系统由16,000个核心和10亿个突触组成,比之前的任何一种模型都要大上至少100倍。 Le的论文,伴随着之后在NIPS上大放异彩AlexNet,开启了整个深度学习领域的黄金时代。
尽管后来证明无监督学习方法,至少从目前来看吗,还远远无法用于商业应用,但Le在2015年与《连线杂志》采访中表示,“如果我们能够找到一种能够以同样的方式学习的算法,那会很棒,因为更实际,我们有比标记数据更多的未标记数据。”
Seq2seqlearning
在2013年毕业后,Le正式加入谷歌成为研究科学家。他很快在机器翻译方面—机器学习领域最活跃的研究领域之一—取得了惊人的突破。
为了实现这一结果,Le必须超越适用于图像和语音的深度学习方法,可以使用固定大小的输入进行分析。机器学习自然语言,句子长度会有所不同,并且单词的顺序很重要。
2014年,Le与Google研究员Ilya Sutskever和Oriol Vinyals一起提出了sequence-to-sequence learning。它是一种通用的编码器—解码器框架,它的训练模型可以将序列从一个域转换为另一个域,例如一句中文句子直接翻译成英文句子。
seq2seq learning使用更少的工程设计选择,并允许谷歌翻译系统高效准确地处理非常大的数据集。它主要用于机器翻译系统,之后又被证明能适用于更广泛的任务,包括文本
摘要,会话人工智能和问答系统。
Le进一步发明了doc2vec,这是一种无监督算法,可以从可变长度的文本片段(如句子,段落和文档)中学习固定长度的特征表示。Doc2vecword2vec的扩展,word2vec由谷歌研究员Tomas Mikolov于2013年推出,将每个单词都用向量表示,可以从集合文本中自动学习。Le的贡献是添加了段落向量(paragraphvector),这样模型就可以生成文档的表示,而不管其长度如何。
Le的研究工作很快得到了回报。2016年,谷歌宣布推出神经机器翻译系统,该系统使用人工智能随着时间的推移学习,以创造更好,更自然的翻译。
2015年,Le入选了麻省理工学院科技评论的“35岁以下创新者”名单,该媒体评价Le一位“让软件足够聪明,以帮助人们生活的更好”的一位天才。
AutoML:神经网络学习自我提升
训练深度神经网络需要大量标记数据和反复实验:你需要选择网络架构,构建隐藏层,并根据输出调整权重。对于机器学习专业知识有限的人来说,这样的训练过程在某种程度上是又费时又费力的。
为了解决这个问题,2016年,Le和另一位Google同事BarretZoph提出了神经架构搜索。他们使用循环网络生成神经网络的模型描述,并使用强化学习训练循环神经网络,从而将验证数据集上生成的体系架构的预期准确性最大化。
Le的论文表示,这种新方法可以帮助研究人员设计一种新颖的网络架构,该架构与CIFA-10数据集中测试集精度的最佳人为发明架构不相上下。一年后,Le和Zoph提出了NASNet-A(大规模图像数据集的可转换架构)将他们的研究提升到了一个新的水平。
Le的研究为AutoML奠定了基础,AutoML是一套谷歌云最新推出的产品,专门为机器学习专业知识和资源有限的开发人员而设计。即使在早期阶段,AutoML也已经能解决许多开发者们在现实生活中遇到的问题:一位数据科学家使用AutoML构建了一个模型,该模型基于拉面的图片能识别出相对应餐厅,准确度几乎达到95%;一位日本开发人员使用AutoML构建了一个可以使用其品牌名称对图像进行分类的模型。
谷歌今年早些时候推出了AutoML Vision。上个月在GoogleCloud Next会议上,该公司又陆续发布了翻译和自然语言工具。
在过去的六年里,Le一直站在深度学习发展的最前沿。这位36岁的谷歌研究科学家现在准备将深度学习提升到一个新的水平。
在即将于119日至1111日举行的AIFrontiers大会上,Le将详细介绍AutoML的发展以及他对机器学习的看法。
机器最终会取代数据科学家吗?我们期待Le的答案。
AI Frontiers Conference将于2018年11月9-11日在美国硅谷最高级别会议中心圣何塞会展中心盛大举行。由Ilya Sutskever,Quoc Le,Pieter Abbeel,李开复,PercyLiang等AI领袖,把人工智能领域最新发展动向和知识带给全世界人工智能参与者。
更多演讲嘉宾,更多精彩内容和购票请报名参加硅谷人工智能前沿
大会官网:
www.aifrontiers.com
商务购票(含Marriot酒店住宿,VIP晚宴请点击https://www.eventbrite.com/e/ai-frontiers-conference-2018-tickets-48904191754
商务合作及企业赞助请联系[email protected]
其他咨询请邮件info@aifrontiers.com
早鸟票8月31号结束
为合作方享有折扣码d100JFan(优惠100美金)
长按二维码
解锁更多精彩
继续阅读
阅读原文