每天给你送来NLP技术干货!

论文:Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks
录取:ACL2022

链接:https://arxiv.org/pdf/2202.13840.pdf
大家都知道,数据增强的方法有很多,比如EDA方法(增删改插),回译(Back Translation,就是翻译到一种语言,再翻译回来),CBERT(通过BERT寻找语义相关的替换词),GPT2context(给一个提示(prompt)生成相关文本)等。
比如一个情感分类的一个例子:

The quality of this shirt is average

这里average就起决定性作用,但是针对于训练数据量少的任务来说,像normal、middle等词汇不会都能出现在训练集里的,那么怎么办呢?之前的数据增强方法感觉有点hard,有没有稍微soft的方法,于是作者通过label smoothing的灵感想到了text是否也可以来做smoothing?
于是作者提出了一种Text Smoothing的方法,具体如下:
其实该方法借鉴了CBERT的灵感,就是通过mask language model (MLM)的方法,将文本输入并得到每一个token对应的在vocab size维度预测的概率,这里区别于CBERT的是没有mask任何一个token,以及不是选择最佳候选token来替换,而是通过mixup的方法,将所有的概率融合到一起,具体如下:

其中mixup融合公式为:

其中ti为BERT的正常的one-hot输入,最后将所有概率归一为新的embedding形成新的representation,最终参与训练的每条文本只使用其洗呢representation即可。

实验

本文在低资源的公开数据集上得到了非常好的效果,远高于其他方法。
使用的数据统计:

纯Text Smoothing方法:

Text Smoothing方法结合其他方法:

效果非常好吧?

总之,该方法非常适用于数据量较小的任务,感兴趣的可以尝试下~

最近文章

下载一:中文版!学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套!后台回复【五件套
下载二:南大模式识别PPT后台回复南大模式识别

投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等
记得备注呦
整理不易,还望给个在看!
继续阅读
阅读原文