ACL'22 | 快手+中科院提出一种数据增强方法:Text Smoothing,非常简单且有效尤其在数据不足的情况下
每天给你送来NLP技术干货!
论文:Text Smoothing: Enhance Various Data Augmentation Methods on Text
Classification Tasks
录取:ACL2022
链接:https://arxiv.org/pdf/2202.13840.pdf
大家都知道,数据增强的方法有很多,比如EDA方法(增删改插),回译(Back Translation,就是翻译到一种语言,再翻译回来),CBERT(通过BERT寻找语义相关的替换词),GPT2context(给一个提示(prompt)生成相关文本)等。
比如一个情感分类的一个例子:
The quality of this shirt is average
这里average就起决定性作用,但是针对于训练数据量少的任务来说,像normal、middle等词汇不会都能出现在训练集里的,那么怎么办呢?之前的数据增强方法感觉有点hard,有没有稍微soft的方法,于是作者通过label smoothing的灵感想到了text是否也可以来做smoothing?
于是作者提出了一种Text Smoothing的方法,具体如下:
其实该方法借鉴了CBERT的灵感,就是通过mask language model (MLM)的方法,将文本输入并得到每一个token对应的在vocab size维度预测的概率,这里区别于CBERT的是没有mask任何一个token,以及不是选择最佳候选token来替换,而是通过mixup的方法,将所有的概率融合到一起,具体如下:
其中mixup融合公式为:
其中ti为BERT的正常的one-hot输入,最后将所有概率归一为新的embedding形成新的representation,最终参与训练的每条文本只使用其洗呢representation即可。
实验
本文在低资源的公开数据集上得到了非常好的效果,远高于其他方法。
使用的数据统计:
纯Text Smoothing方法:
Text Smoothing方法结合其他方法:
效果非常好吧?
总之,该方法非常适用于数据量较小的任务,感兴趣的可以尝试下~
阅读原文
关键词
方法
文本
任务
数据增强
数据集
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。