新智元报道  

来源：百度百科、个人主页等
编辑：金磊、小芹、张佳
【新智元导读】近日，三位年轻华人AI博士有了最新的职业规划：陈天奇、朱俊彦双双宣布将于2020年秋季加入CMU，担任助理教授；金驰则宣布今年9月加入普林斯顿，担任助理教授。
优秀，可能是一种习惯。
最近，三位华人AI大牛博士生的职业规划有了最新的进展：
  • XGBoost作者陈天奇宣布2020年秋季加入CMU，担任助理教授；
  • CycleGAN作者朱俊彦宣布2020年秋季加入CMU，担任助理教授；
  • ICML 2018研讨会“RL探索”最佳论文奖得主金驰宣布2019年9月加入普林斯顿，担任助理教授。
三位AI大神的博士生涯即将告一段落，等待他们的是更富挑战、更具意义的科研工作。正如陈天奇和朱俊彦在Twitter中表示，他们都希望在各自的领域做出更多贡献。
恭喜！加油！
XGBoost、TVM作者陈天奇加入CMU
华盛顿大学博士生、著名机器学习算法XGBoost，深度学习编译器TVM等的作者陈天奇近日在Twitter上宣布，将于2020年秋季加入CMU机器学习系担任助理教授。
陈天奇说：
我将于2020年秋季加入CMU担任助理教授。我非常感谢我的导师、合作者和华盛顿大学在我的博士生涯中给予我的帮助。期待与CMU同事合作，为未来的智能系统进行更多研究。
陈天奇博士就读于华盛顿大学保罗·G·艾伦计算机科学与工程学院，在上海交通大学ACM班获得硕士和学士学位。
陈天奇
谷歌AI负责人Jeff Dean、GAN发明者Ian Goodfellow、CMU副教授马坚等人都表示了祝贺。
AI大牛李沐也在知乎上透漏了一点陈天奇加入CMU的历程：
两点感慨：
1. CMU 很早就开始做 system 和 machine learning 结合的研究（2011 年左右吧），经过前期很多探索和弯路（错过了好几个 super star），终于招到了最合适的年轻老师。天奇之前还在纠结要不要去 CMU，终于决定了。这是 CMU 的一大幸事。 
2.比较间接的了解了天奇的找 faculty 之路，感慨是有好的工作是前提，但对方学校欣赏也很重要。至少你去面试的 host 需要很欣赏你的工作。例如我很喜欢 TVM 的工作，我们组也有好几个成员投入在 TVM 上，所以经常出门推销。过程中发现我之前 CMU 的系统方向老板也很喜欢（天奇的 CMU 面试 host），我以前在 CMU 的办公室友很喜欢（天奇纠结的另一个 offer 的 host），我们组 TVM tech leader 的老板也很喜欢（另一个发 offer 的 top 学校的大佬）。此外，比较遗憾是另外几个非常强的学校没有跟进。我个人是很希望天奇能去 standford 或者 berkeley，这样未来合作更方便（CMU 实在是太偏了，湾区去匹兹堡的直达似乎都没了）。没拿到也不意外，之前跟他们几个大佬老师聊的时候，似乎对这一块不感兴趣。
(https://www.zhihu.com/question/329657835/answer/717971252)
“有好的工作是前提”。陈天奇的博士生涯中，做了不少被广泛采用的好工作。在他的主页上，他写道：“我对机器学习和系统的交叉研究十分感兴趣。这个领域真正令人兴奋的地方在于，当我们将先进的机器学习技术和系统结合在一起时，能够实现什么。此外，我也在推动深度学习、知识迁移和终身学习(lifelong learning)等方向。”
陈天奇获得了Google Ph.D. Fellowship、2012年KDDCup冠军、2011年KDDCup亚军等奖项，在ICML、ICLR、NeurIPS、KDD等人工智能顶会发表多篇论文。
陈天奇Google scholar引用数据
陈天奇和团队开发了三个被广泛采用的机器学习系统：
  • TVM stack：一个用于深度学习的自动端到端优化编译器。
  • XGBoost，一个可扩展的、端到端的tree boosting系统。这个工具已经成为数据科学家每天使用的工具之一。
  • Apache MXNet(共同作者)：目前AWS采用的主要深度学习框架之一。
XGBoost
先看XGBoost，XGBoost 最初是一个研究项目，由当时在 Distributed (Deep) Machine Learning Community (DMLC) 组里的陈天奇负责。
2014 年，时为华盛顿大学博士的陈天奇开源 XgBoost 算法，受到大众追捧，之后它也迅速成了 Kaggle 竞赛中的常客。
时至今日，XgBoost 在竞赛中的使用率还是很高，性能也很好，不少夺冠方案中都有它的身影，被誉为比赛夺冠的大杀器。
TVM Stack
陈天奇的另一个重要工作是TVM。
TVM是一个神经网络编译器，它可以直接从其他框架训练好的模型编译到目标平台上的可执行代码，速度和显存的都有大幅优化。TVM使得自动或者半自动生成的代码能够达到手写代码的效果。
TVM的框架
陈天奇把 TVM+NNVM 描述为 “深度学习到各种硬件的完整优化工具链”。他在知乎上对TVM进行了解释：
TVM 尝试从更高的抽象层次上总结深度学习 op 的手工优化经验，用来使得用户可以快速地以自动或者半自动的方法探索高效的 op 实现空间。
TVM 和已有的解决方案不同，以 XLA 作为例子，TVM 走了和目前的 XLA 比更加激进的技术路线，tvm 可以用来使得实现 XLA 需要的功能更加容易：已有的解决方案本身基于高级图表示的规则变换，可以产生一些图级别的组合 op 优化，如 conv-bn fusion，但是依然要依赖于手写规则来达到从图的表示到代码这一步。图的 op 表示到代码本身可以选择的东西太多，如何做线程，如何利用 shared memory，而大部分没有在图语言里面得到刻画，导致难以自动化。 这样下去深度学习系统的瓶颈必然从 op 实现的复杂度变成了实现 graph compiler 中模式生成规则的复杂度。走这个方向需要非常大的工程团队的支持，而我们希望采用更少的人力达到同样甚至更好的效果。
我们采取了风险更大但是回报也更大的长远技术路线。简单地说，TVM 通过把图到 op 生成规则这一步进一步抽象化，把生成规则本身分成各个操作原语，在需要的时候加以组合。基于 tvm 我们可以快速地组合出不同的 schedule 方案。
链接：https://www.zhihu.com/question/64091792/answer/217722459
此外，陈天奇还和李沐一起，是 DMLC(Distributed (Deep) Machine Learning Common) 及其主要项目 MXNet 的主要 发起人和主要贡献者之一。
加入CMU后，陈天奇将继续发表哪些工作令人期待。有人表示，CMU 大概率迎来史上第一门 AI systems 课。
“开拓者”：朱俊彦年仅30岁拿到CMU教职
与此同时，另一位AI大神朱俊彦也表示将在2020年秋季回到CMU，担任助力教授一职。
6月14日，朱俊彦在其Twitter上宣布：
在加州大学伯克利分校和麻省理工学院CSAIL度过了美好的时光之后，我将于2020年秋季回到CMU担任助理教授。我期待在图形、视觉和机器学习的交叉领域做更多的工作。
2012年，朱俊彦获得了清华大学计算机系的工学学士学位。而后便前往CMU和UC Berkeley深造，经过5年的学习，朱俊彦于2017年获得了 UC Berkeley 电气工程与计算机科学系的博士学位(他的导师是 Alexei Efros，博士研究由一项 Facebook 奖学金支持)。
他的博士毕业论文Learning to Generate Images，获得了计算机图形学顶会ACM SIGGRAPH 2018“杰出博士论文奖”。
朱俊彦博士可谓是计算机图形学领域现代机器学习应用的开拓者。他的论文可以说是第一篇用深度神经网络系统地解决自然图像合成问题的论文。
因此，他的研究对这个领域产生了重大影响。他的一些科研成果，不仅为计算机图形学等领域的研究人员所用，也成为视觉艺术家广泛使用的工具。
其中，最为公众所熟知的便是CycleGAN。
CycleGAN利用pixel2pixel技术，能自动将某一类图片转换成另外一类图片，过度真实自然，可以说是2017年最受关注的模型之一。
不仅仅是CycleGAN，朱俊彦还有诸多家喻户晓的科研成果。
英伟达在GTC 2019上推出了一个令人惊叹的图像生成器——GauGAN，可以说是凭借几根线条，草图秒变风景照。而朱俊彦便是作者之一。
论文地址：https://arxiv.org/pdf/1903.07291.pdf
这个软件能够将人类的绘画方式和过程进行编译，在几秒钟内就能画出草图，并将其转换为逼真的照片。从软件的早期演示中，它似乎能够做到这一点。
此外，最近爆火的MIT十美元“灭霸”手套也是朱俊彦的杰作。
这个神奇手套名为“可伸缩触觉手套”(scalable tactile glove，STAG)，使用柔性材料，在几乎整只手上布置了550个微型传感器。仅使用触觉数据，AI系统识别物体的准确率高达76%。
实验还证明，大量的压力图及其空间分辨率是成功识别目标的关键。并且类似的深度学习模型可以估计未知物体的重量。结果显示，重量在60克以内的物体大部分都能准确估计出来。
这项工作还发表在了国际科技期刊《Nature》。
论文地址：
https://www.nature.com/articles/s41586-019-1234-z
除上述这些非常出名的成就外，朱俊彦的其它工作也是非常出彩的。更多科研成果可以访问下方个人主页：
朱俊彦个人主页：
http://people.csail.mit.edu/junyanz/#sect-awards
2018 年，朱俊彦获得了 UC Berkeley 颁发的 David J. Sakrison Memorial Prize，以及英伟达的 Pioneer Research Award。
他还曾获得过以下奖项和奖学金：
  • ACM SIGGRAPH杰出博士论文奖（2018年）
  • 伯克利EECS（2018年）David J. Sakrison杰出博士研究纪念奖
  • NVIDIA先锋研究奖（2018年）
  • Facebook奖学金（2015年）
  • 清华大学优秀本科毕业论文（2012）
  • 清华大学优秀本科生（2012年）
  • 国家奖学金，由中国教育部颁发（2009年和2010年）
  • 新加坡科技工程中国奖学金（2010年，2011年和2012年）
金驰：北大学子到普林斯顿任教
金驰目前是加州大学伯克利分校电气工程与计算机科学（EECS）专业的6年级博士生，师从Michael I. Jordan。他也是RISELab和伯克利人工智能研究（BAIR）的成员。在此之前，金驰获得了北京大学物理学学士学位，并在王立威教授的指导下完成了本科论文。
金驰的研究兴趣在于机器学习、统计和优化。他博士研究的主要目标是设计更好的学习算法，这些算法在理论上是健全的，在样本复杂性、运行时间和空间上是有效的。为了实现这一目标，他的研究重点是提供对非凸优化中基本问题的更深入理解，以及最近的强化学习。
金驰将于2019年9月加入普林斯顿大学电气工程系，担任助理教授。他还将参加2019年秋季IAS的“优化、统计和理论机器学习特别年”。
金驰与导师Michael I. Jordan合作的论文：
  • On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems（关于非凸 - 凹极小极大问题的梯度下降问题）
  • Stochastic Gradient Descent Escapes Saddle Points Efficiently（随机梯度下降有效地逃脱鞍点）
  • A short note on concentration inequalities for random vectors with subgaussian norm（关于具有subgaussian norm的随机向量的集中不等式的简短说明）
  • Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal（Minmax优化：梯度下降上升的稳定极限点是本地最优的）
  • Sampling can be faster than optimization（采样可能比优化更快）
  • On the local minima of the empirical risk（论经验风险的局部极小）
  • Is q-learning provably efficient?（q-learning是否可证明有效？）——2018年ICML研讨会“RL探索”最佳论文
  • Stochastic cubic regularization for fast nonconvex optimization（用于快速非凸优化的随机三次正则化）
  • Accelerated gradient descent escapes saddle points faster than gradient descent（加速梯度下降比梯度下降更快地逃脱鞍点）
  • How to escape saddle points efficiently（如何有效地逃脱鞍点）
  • Gradient descent can take exponential time to escape saddle points（梯度下降可以采用指数时间来逃离鞍点）
更多论文参见金驰谷歌学术主页：
https://scholar.google.com/citations?user=GINhGvwAAAAJ&hl=en
新闻：
  • 2018年10月，在第56届Allerton大会上作了受邀演讲。
  • 2018年7月，论文“Q-Learning是否可证明有效？”在ICML 2018研讨会“RL探索”中获得最佳论文奖。
  • 2018年7月，联合举办了ICML 2018研讨会“机器学习非凸优化的现代趋势”。
  • 2017年7月，关于如何有效逃离鞍点的博客帖子。
教育经历：
  • 2013年至今
    加州大学伯克利分校
    计算机科学博士生
  • 2012-2013
    多伦多大学
    统计学客座学生
  • 2008-2012
    北京大学
    物理学学士
实习经历：
  • 2016年夏季
    微软研究院，Redmond
    Dong Yu研究实习生
  • 2015年夏季
    微软研究院，新英格兰
    Sham Kakade研究实习生
金驰个人主页：
https://sites.google.com/view/cjin/home
继续阅读
阅读原文