每天给你送来NLP技术干货!

作者:杜林鸽
学校:苏州大学人工智能实验班
方向:自然语言处理
论文标题:A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond
论文链接:https://arxiv.org/abs/2204.09269

概要

以Transformer为基础的自回归生成(auto-regressive generation,AR)模型,已经被广泛应用到各类机器学习和自然语言处理任务,并取得了令人振奋的效果。
然而,由于在推理过程中逐步解码的特性,导致推理的速度较慢,在现实工业应用中展露弊端。为了加快解码的速度,非自回归生成(non-autoregressive generation,NAR)采用并行解码,推理时只需要过一遍模型就可以得到目标结果,大大提升了推理的效率。其首次在神经机器翻译(neural machine translation,NMT) 中崭露头角,大大提升了翻译的速率,随后被广泛应用到各类生成任务。
然而,这种解码速度的提升往往伴随着生成质量的降低,和传统的自回归生成的效果存在一定差距。为了减小这个差距,提升生成序列的质量,许多新的方法和模型架构被提出来缓解非自回归的质量缺陷。
在这篇论文中,作者对近年来NAR的发展做了全面的调研和系统的梳理,首先从多个角度(训练目标,模型结构和推理策略)比较了AR和NAR的差别,进一步分析了导致NAR生成质量降低的原因(在推理过程中仅仅依赖源端文本序列的信息,缺乏目标端文本序列信息的支撑),接着以NMT工作为例总结了改进NAR模型生成质量的相关工作,具体可分为以下几个方面:数据操纵(data manipulation)、建模方法(modeling methods)、训练准则(training criteria)、解码算法(decoding ways)以及利用预训练模型(benefit from pre-training)。
除此以外,作者简要回顾了NAR生成模型在机器翻译任务之外的其他应用,如对话生成、文本摘要、语法纠错、语义分析、语音合成和自动语音识别等。最后,该论文讨论了NAR未来探索的潜在方向,包括减少对知识蒸馏(knowledge distillation,KD)的依赖性、动态解码长度预测、NAR的预训练和更广泛的应用等。

关键挑战

作者通过对比AR和NAR模型在训练目标、模型结构、推理策略等方面的联系和不同,将NAT模型的主要挑战归结为“难以建模目标端文本序列内部的依赖信息”。由训练目标来讲,AR模型对于每一个目标位置的文本,同时建模了源端文本信息和目标端当前位置的历史文本信息的关系,NAR模型仅仅建模了源端文本信息与目标端整个序列的关系。
由模型结构相比,主要差别体现在注意力机制(attention module)上,AR模型需要避免当前位置的文本与后面位置文本信息的关联,而NAR模型则并不需要。由推理策略来讲,也是体现推理速率差别的地方所在。AR模型由于建模方法的特点,在推理时过一次模型仅生成后一个位置的文本,依次生成整个序列,而NAR模型则单步推理,整个序列生成只要过一次模型。由此可以看到,NAR模型在推理时所有位置的文本都仅仅依赖于源端信息,并没有目标端的文本信息的支持,也就是上文提到的“难以建模目标端文本序列内部的依赖信息”,导致了生成质量的降低。

非自回归生成方法分类

如下图所示,作者主要从以下角度对现在有的非自回归生成方法进行整理,主要分为:
(1) 数据操纵(data manipulation),由于NAR模型的训练难度,研究者拟采用蒸馏数据作为训练集合来降低训练数据的复杂性,或提出一些辅助技巧来改善模型的学习水平,如针对特殊词的选择,模型学习的策略等,缓解NAT模型学习难度,提升NAT模型的效果;
(2) 建模方法(modeling methods),单纯建模源端文本信息与目标端整个序列的关系往往不是最优的,研究者提出了包括迭代生成模型,隐变量模型和其他增强模型的方案来改善NAR模型的建模方法,其中迭代生成模型建模源端文本信息与特定部分目标端文本的关系,推理的每一次迭代中,将上一轮迭代的结果作为目标端的提示信息,而隐变量模型通过特定隐变量帮助建模,推理时可以将隐变量作为目标端的提示信息;
(3) 训练准则(training criteria),针对传统的交叉熵损失函数做出改进,提出了包括基于CTC、n-gram、以及引入顺序无关的损失函数,来更好地匹配训练过程中模型生成结果和真实结果之间的对齐和位置关系,补充了传统的交叉熵损失函数中缺失的全局信息,使得训练准则更好地匹配NAR模型的建模特点,实现对NAR模型更好地优化;
(4) 解码算法(decoding ways),包括NAR模型的长度预测模块改进,以及对完全NAR模型单步解码改进。首先NAR模型在推理时需要提前预测目标语句的长度,然而在这个过程中容易产生长度的偏差,研究提出了不同的预测方案和改进策略。其次针对单次解码,研究者提出了半自回归解码,迭代解码,混合解码等多种方案,可以在一定程度上缓解生成的难度;
(5) 利用预训练模型(benefit from pre-training),包括利用AR模型和利用大规模预训练语言模型的方法,其中,AR模型的训练难度比NAR模型小,而且结果普遍会优于NAR模型,但是结构是相似的,于是研究者借助AR模型来帮助NAR模型的训练,比如引入额外监督信息,基于课程学习的迁移学习方法,共享参数等。

代表性方法汇集

如下表所示,作者汇集和整理了代表性方法的分类、特点、解码方案、速度和性能等信息。读者从中快速获取到相关模型的信息,进一步根据自己需求来选择相应的模型作进一步的探索和改进。

非自回归方法质量趋势

如下图所示,从中获取相关NAR模型在NMT任务上随着时间发展生成质量的变化,包括完全NAR模型(Fully NAT,单步解码)以及迭代NAR模型(Iterative NAT,多步解码),可以看出,由于迭代NAR模型的解码过程中可以获得上一轮迭代的结果作为目标信息,同时期迭代NAR模型的效果普遍优于完全NAR模型,但是迭代会降低推理效率。同时,迭代NAR模型在近年来的提升实际并不明显,反观完全NAR模型获得进一步的提升,并与迭代NAR模型的差异越来越小,由此可见完全NAR模型的潜力还很大。

NAT模型总览

正如我们所讨论的 NAT 模型难以对目标端依赖进行建模,因此为了解决该问题前人已经提出了各种方法来通过减少不同级别的目标token的依赖来缓解这个问题,从而提高了 NAT 模型的能力。为了对这些方法有一个清晰的了解,我们在图中展示了各种 NAT 模型的总体框架和数据流,如下图所示。

代表性方法汇集非自回归方法性能比较

如下图所示,作者比较了相关NAR模型在NMT任务上两个重要性能(推理速度和翻译质量)的关系,其中图中右上角的区域应该是性能发挥较好的模型,即相比较传统AR模型,解码速度有10倍以上的提升,且翻译质量较高。同时有一些迭代NAR模型的效果已经超过了Transformer基础模型,速度方面仍然有接近4倍提升,一些完全NAR模型也可获得类似的效果。可以看出NAR模型的发展潜力很大,值得后续研究和改进。

总结和展望

总结来看,该篇综述以NAR机器翻译为基础,完整地阐述了NAR模型近年来的发展历程,通过分析NAR模型的特点和挑战以及介绍了相关改进策略来进一步提升读者对于NAR工作的理解,接着扩展到了其余各种任务的应用场景。同时,作者也对NAR地发展提出了展望,包括:
(1)NAR模型当前质量的提升依赖于蒸馏数据的效果,使用原始训练数据生成质量往往会明显地降低,如何摆脱对于蒸馏数据的依赖性值得进一步研究。
(2)近期研究表明迭代NAR模型相比较AR模型解码速率在增大句子数的场景下并没有很大提升,于是如何进一步提升完全NAR模型的效果,充分发挥其潜力值得研究。
(3)相比较自回归模型,需要提前进行长度预测的特性往往会带来生成质量的降低,而且固定的目标长度会损害其生成的灵活性,动态长度预测机制可以进一步提升NAR模型的效果以及更容易应用到其他广泛的生成任务。
(4)如何将NAR模型像AR模型一样应用到多场景、多样化的任务值得进一步的探索,当前NAR模型仅在NMT和语音相关的任务上被广泛使用,但是对于其他任务才刚起步。
(5)当前只有很少的论文应用强大的预训练模型来帮助NAR模型,并且对NAR模型的预训练技术只有初步的探索,如何有效地结合这两个技术希望被进一步地探索。
希望通过本篇综述,不同领域进行生成任务研究的学者们能够对非自回归生成有更全面的认识,并且激发创造更为先进的NAR模型,以促进NAR未来更广阔的发展。

相关资源

除以上信息以外,作者还维护了一个GitHub项目,全面整理了相关的论文和代码。
链接(左下角阅读原文直达):

https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications
原文介绍NMT任务篇幅较多,在GitHub主页作者同时提供了其他相关任务的信息,包括:Text to speech;speech translation; automatic speech recognition;Text Summarization; Dialogue and Intent Detection; Grammatical Error Correction; Text Style Transfer; Parsing等众多任务,读者可以从中快速地获得相关论文和代码的链接。该项目保持长期更新,定期添加最新的相关工作。

📝论文解读投稿,让你的文章被更多不同背景、不同方向的人看到,不被石沉大海,或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。
最近文章

下载一:中文版!学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套!后台回复【五件套
下载二:南大模式识别PPT后台回复南大模式识别

投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等
记得备注呦
整理不易,还望给个在看!
继续阅读
阅读原文