MLNLP
(
机器学习算法与自然语言处理
)社区是国内外知名自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
MLNLP 2022学术研讨会 是由 MLNLP（机器学习算法与自然语言处理）社区 和 中国中文信息学会青年工作委员会 联合举办的学术活动。社区会定期举办学术研讨会并邀请国内外机器学习与自然语言处理领域知名青年学者进行报告交流，旨在加强国内外同学们之间的交流。
MLNLP社区将在8月28日于线上举办第十期学术研讨会，由MLNLP学术委员会委员新加坡SEA AI Lab研究员庞天宇和SEA AI Lab研究员任意共同担任本期程序委员会主席。本期研讨会以线上报告的方式进行，分为上下两半场：上半场由庞天宇同学主持；下半场由任意同学主持。具体而言，社区很荣幸邀请到武汉大学国家网络安全学院教授、博士生导师李晨亮老师担任大会主席，并做开场致辞；Meta FAIR研究院研究员刘壮，北京大学前沿计算研究中心助理教授和博士生导师王鹤，微软亚洲研究院研究员宋恺涛，清华大学交叉信息研究院博士徐进，做专题报告。
以下是本次研讨会四场Talk的时间安排和内容摘要。
  • 召开时间：
    • 2022年8月28日 09:00-12:00（北京时间）
  • 主办单位：
    • MLNLP（机器学习算法与自然语言处理）社区
    • 中国中文信息学会青年工作委员会
  • 大会主席：
    • 李晨亮：武汉大学国家网络安全学院教授
  • 程序委员会主席：
    • 庞天宇：新加坡SEA AI Lab研究员
    • 任意：新加坡SEA AI Lab研究员
  • 组委会：
    • MLNLP社区秘书处（魏福煊、王乐涵、陈麒光、黄仕爵、张钰迪、刘洪宇、段然）
  • 社区支持 ：
    • 智源社区
  • 直播平台：
    • 哔哩哔哩：http://live.bilibili.com/23872620
    • 微信视频号：请点击下方卡片预约
1
『Meta FAIR研究院@刘壮：《ConvNeXt: 2020年代的卷积网络》』
8月28日北京时间早上09:05-09:45，Meta FAIR研究院@刘壮为大家带来《ConvNeXt: 2020年代的卷积网络》报告。
  报告摘要
Vision Transformer的出现改变了计算机视觉中神经网络架构的面貌。多尺度层级性的Vision Transformer进一步地取得了在各种各样视觉任务中的成功。然而层级性Vision Transformer又重新引入了很多ConvNet中的先验，比如局部计算和共享权重，并且许多特殊操作模块使得网络更加复杂。尽管它们的成功更多地被归功于自注意力模块的优越性，Vision Transformer和ConvNet还有很多其他不同，比如训练的设置，和一些相对微妙的结构上的设计。本分享中我们将一起探索『现代化』后的ConvNet能否达到与Vision Transformer相同的表现，是否卷积相当于自注意力已经过时，以及Vision Transformer的优越性除了依靠自注意力还可能来自何处。
  讲者介绍
刘壮，Meta FAIR研究院研究员，博士毕业于加州大学伯克利分校计算机系。研究兴趣为深度学习，计算机视觉和表征学习等。发表过神经网络模型架构方法的论文DenseNet, ConvNeXt, Network Slimming等。曾在Intel Labs、Adobe Research、FAIR和康奈尔大学进行研究访问或者实习。本科毕业于清华大学姚班。获得过CVPR最佳论文奖，NeurIPS Workshop最佳论文奖，Snap Research Fellowship等奖项。个人主页：https://liuzhuang13.github.io/
2
『北京大学@王鹤：《SO(3)群上的回归问题与半监督学习》』
8月28日北京时间早上09:45-10:25，北京大学@王鹤为大家带来《SO(3)群上的回归问题与半监督学习》报告。
  报告摘要
三维旋转估计是计算机视觉、图形学和机器人学中的重要问题。近年来，通过深度三维旋转回归进行旋转估计的方法越来越流行，其即插即用和端到端的特性使其被广泛部署到场景理解与交互任务中，如估计物体、人类、相机、机械手抓取的朝向。尽管如此，深度旋转回归仍然面临着几个重大挑战，这些挑战极大地限制了它的性能和使用范围。首先，与预测稠密对应然后拟合旋转的方法相比，直接回归旋转一直受到低精度的困扰。这是因为三维旋转属于一个非欧几里得流形 -- SO(3) 群，而神经网络的直接输出往往处于不受限的欧几里得空间，因此直接回归旋转非常具有挑战性。此外，获得准确的三维旋转注释非常昂贵且耗时，因而完全监督的 三维旋转学习不能规模化。在本次演讲中，我将介绍我们最近为使深度三维旋转回归更准确和更省标注而做的努力：1）我们 CVPR 2022 oral工作 -- 第一个半监督旋转回归框架 FisherMatch 的；2）我们 CVPR 2022 的工作 -- 正则化投影流形梯度 (RPMG)，通过提出一种新颖的梯度层，显着提高了在广泛的 3D 场景理解任务中旋转回归的精确度。
  讲者介绍
王鹤，北京大学前沿计算研究中心（CFCS）助理教授、博士生导师。他创立并领导了具身感知与交互实验室(EPIC Lab)，实验室立足三维视觉感知与机器人学，重点关注机器人具身在三维复杂环境中的感知和交互问题，研究目标是以可扩增地方式发展高泛化性的机器人视觉和控制系统。他已在计算机视觉、机器人学和人工智能的顶级会议和期刊，如CVPR/ICCV/ECCV/RAL/NeurIPS，发表20余篇工作，其中8篇获得CVPR/ICCV oral，1篇获得Eurographics 2019最佳论文提名，并获得ICLR 2021可泛化机器人物体操纵挑战赛ManiSkill无额外标注赛道冠军。他担任了CVPR2022和2023的领域主席和诸多顶会的审稿人、程序委员。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas. J Guibas教授，于2014年从清华大学获得学士学位。
3
『微软亚洲研究院@宋恺涛：《面向自然语言处理任务的预训练方法设计》』
8月28日北京时间早上10:25-11:05，微软亚洲研究院@宋恺涛为大家带来《面向自然语言处理任务的预训练方法设计》报告。
  报告摘要
近年来，预训练语言模型（Pre-trained Language Models）在自然语言处理的任务中，取得了非常惊人的突破。如何更好地设计预训练语言模型，来满足下游任务的需求已成为了当下学术界和工业界的关注重点。在本次报告中，我将介绍如何从自然语言处理的任务角度出发，设计更加合理的预训练方法。其中，我将会分享如何从预训练任务与下游任务的不一致性出发来建模合理的预训练策略，并从语言生成、语言理解以及语言评估这三个不同的任务上介绍我们的相关研究成果。最后，我将介绍预训练模型在当下面临的问题以及未来的发展方向。
  讲者介绍
宋恺涛，博士毕业于南京理工大学（导师陆建峰），现为微软亚洲研究院研究员。研究兴趣为预训练模型、语言生成、语音语义理解等。在ICML/NeurIPS/KDD/ACL/IJCAI/AAAI等会议上发表20余篇工作。Google Scholar总被引1700余次。主页：https://www.microsoft.com/en-us/research/people/kaitaosong/ 
4
『清华大学@徐进：《利用自动架构搜索实现动态BERT模型压缩》』
8月28日北京时间早上11:05-11:45，清华大学@徐进为大家带来《利用自动架构搜索实现动态BERT模型压缩》报告。
  报告摘要
如今，基于Transformer的大规模预训练语言模型如BERT, GPT3等，已经在众多自然语言处理任务上取得了瞩目的结果。然而巨大的模型尺寸使得他们难以在众多不同的下游任务中部署，尤其是很多任务对资源有着严格的限制和要求。同时，不同的设备往往对模型有着不同的要求，比如模型占用的内存大小以及推理时延等。本次报告涉及两个技术: 1) NAS-BERT: 通过一次搜索直接产生众多不通尺寸的模型以满足不同的设备要求，因此资源受限的设备可以动态的选择合适的架构; 2) MAGIC-NAS: 分析NAS搜索的核心问题之一-梯度干扰，并提出高效的算法进一步提高NAS搜索的效率，得到更优的模型。
  讲者介绍
徐进，清华大学交叉信息研究院博士，师从李建副教授。他的研究兴趣是语音和文本序列任务，自动架构搜索，模型压缩，图神经网络。他在ICML/NeurIPS/KDD等会议上发表过10余篇论文。他曾获2020年KDDCUP竞赛冠军。他曾经在微软亚洲研究院实习，多项研究成果应用于微软产品。主页：https://jxu-thu.github.io/
5
『会议报名』
会议报名还可以直接扫描下方二维码添加小助手微信进行报名，备注 单位-昵称-方向 （例如： 清华-张三-对话系统），小助手通过报名并会把你拉进交流群。 会议的观看地址等信息都会在群里通知。 已经加入MLNLP交流群的同学请 不要重复添加 ！
扫描二维码添加小助手微信

关于我们

MLNLP(机器学习算法与自然语言处理) 是由国内外自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外最大的自然语言处理社区之一，旗下包括万人顶会交流群、AI臻选汇、AI英才汇以及AI学术汇等知名品牌，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
继续阅读
阅读原文