MLNLP
(
机器学习算法与自然语言处理
)是国内外知名自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步。
MLNLP学术Talk是MLNLP社区举办的学术交流活动，旨在邀请一线青年学者分享最前沿的技术，期待最精彩的思想火花碰撞。本次MLNLP学术Talk特别邀请了复旦大学计算机科学学院博士生孙天祥为我们带来“预训练语言模型的无梯度优化方法”的主题报告，由南京大学硕士生舒意恒主持。 报告的详细信息如下：
1
『讲者介绍』
孙天祥，复旦大学计算机科学学院博士生，导师为邱锡鹏教授和黄萱菁教授。他的研究兴趣集中于机器学习及其在自然语言处理中的应用，特别是预训练语言模型的高效微调及推理、多任务学习、知识表示学习等。他作为第一作者在ICML, ACL, NAACL, AAAI, COLING等会议发表多篇论文，总被引650余次。个人主页：http://txsun1997.github.io/

2
『报告摘要』
随着预训练语言模型的规模急剧增大，出于商业考虑及高昂的微调成本，很多大规模预训练语言模型（如GPT-3）不再开源其参数，而是以提供模型推理API的方式向下游用户提供服务，这一场景我们称为“语言模型即服务（Language-Model-as-a-Service, LMaaS）”。在这一场景下，用户可以通过构造提示语（Prompt）的方式利用模型服务方提供的推理API来完成各类目标任务。然而，这一方式高度依赖人为构造的提示语，且性能远低于模型微调。在本次报告中，我将介绍一种针对大规模预训练语言模型的黑箱优化方法（Black-Box Tuning），它可以在仅访问模型推理API的情况下完成对连续提示语的优化，在少样本学习场景下达到与模型全参数微调可比的性能。相较于目前主流的梯度下降法，黑箱优化方法具有优化效率高、优化资源少的优势。最后，我将介绍几个针对LMaaS场景的颇具发展前景的研究方向。
3
『主持人简介』
舒意恒，南京大学硕士生，师从瞿裕忠教授。研究兴趣为问答系统和知识图谱。在TOIS、ISWC等期刊会议上发表过论文。曾获国家奖学金、省级优秀毕业生等。

关于我们

MLNLP社区  ( 机器学习算法与自然语言处理 ) 是由国内外自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名自然语言处理社区，旗下包括  万人顶会交流群、AI臻选汇、AI英才汇  以及  AI学术汇  等知名品牌，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。 欢迎大家关注和加入我们。
继续阅读
阅读原文