MLNLP
(
机器学习算法与自然语言处理
)是国内外知名自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步。
MLNLP学术Talk是MLNLP社区举办的学术交流活动，旨在邀请一线青年学者分享最前沿的技术，期待最精彩的思想火花碰撞。本次MLNLP学术Talk特别邀请了剑桥大学三年级博士生苏熠暄为我们带来“基于对比学习的文本生成框架”的主题报告，由哈尔滨工业大学硕士生、MLNLP社区秘书魏福煊主持。 报告的详细信息如下：
1
『讲者介绍』
苏熠暄，剑桥大学三年级博士生，导师为Nigel Collier教授，在此之前他于剑桥大学获得硕士学位，于北京理工大学获得本科学位。他的研究关注于文本生成，大规模语言模型，以及表征学习。到目前为止，他已与ACL, EMNLP, NAACL，EACL等会议上发表十余篇论文。个人主页：https://yxuansu.github.io/

2
『报告摘要』
基于预训练语言模型的文本生成在许多自然语言处理应用中是十分重要的组成部分。然而，直接使用最大化的解码方法（例如Beam Search）通常会导致文本退化的现象---生成的文本不自然并且包含重复。现有的解决方案通常使用sampling的解码方式或者使用unlikelihood的训练目标来训练语言模型。然而，这些解决方案仍然会导致生成的结果不连贯以及不通顺。在我们最新的工作中，我们分析语言模型表示空间的各向同质性是文本退化的一个潜在原因。就此，我们提出了一个基于对比学习的解决框架: （1）一个基于对比学习的训练目标函数---SimCTG以及（2）一个新的解码策略---Contrastive Search。我们在来自两个语言的三个标准数据集上做了大量的实验。实验结果表明我们的方法在人工以及自动指标上大幅超越目前已有的方法。
3
『主持人简介』
魏福煊，哈尔滨工业大学硕士，MLNLP社区秘书处成员。研究兴趣为任务型对话系统、口语语言理解与自然语言处理。在多个国际会议期刊ACL/TALLIP等参与发表相关论文。

关于我们

MLNLP社区  ( 机器学习算法与自然语言处理 ) 是由国内外自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名自然语言处理社区，旗下包括  万人顶会交流群、AI臻选汇、AI英才汇  以及  AI学术汇  等知名品牌，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。 欢迎大家关注和加入我们。
继续阅读
阅读原文
关键词
自然语言处理
报告
论文
方法
语言模型