目录
  • 层次递归网络序列标注的转移学习
  • 注意力神经网络序列标记模型中的特征
  • 基于双向LSTM-CNNs的命名实体识别
  • 通过双向LSTM-CNNs-CRF进行端到端序列标记
  • 更好的物体表征，更好地从纯图像重建世界
层次递归网络序列标注的转移学习
论文名称：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS
作者：Zhilin Yang /Ruslan Salakhutdinov
发表时间：2017/3/18
论文链接：https://arxiv.org/pdf/1703.06345.pdf
核心问题：在序列标注问题中，为了解决传统的机器学习存在的需要手动构建特征的问题，这里常常使用神经网络的方式，但是神经网络常常需要大量的数据才可以，那么现在就面临一种情况，当数据量不足的时候，如何才可以解决这个问题呢？
创新点：在计算机视觉中，当面临数据不足的时候，我们常常使用迁移学习的方式，本论文也将探讨迁移学习的方法，其中使用具有丰富注释的源任务来改善具有较少可用注释的目标任务的性能
研究意义：通过这种方式可以将训练的模型参数和架构迁移过来，并且取得了不错的效果，事实上现在nlp中的重要预训练模型兴起，这也一定程度上证明了这种方向的可行性。

注意力神经网络序列标记模型中的特征

论文名称：Attending to Characters in Neural Sequence Labeling Models
作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo
发表时间：2016/11/14
论文链接：https://www.aclweb.org/anthology/C16-1030.pdf
推荐原因
核心问题：序列标注问题有一个问题需要处理，这个问题就是当一句话中出现的单词是陌生词的时候，那么此时就会出现问题。这种词称为OOV问题
创新点：创新点就是为了解决这个问题，首先单词有OOV问题，但是字符没有OOV问题，这里引入了字符级别的信息。然后引入了注意力机制，使用经典的attention+RNN+CEF的组合方式，这样通过将词级别和字符级别的向量相结合，从而达到非OVV的词的字符向量与其词向量相近。
研究意义：在许多数据集上达到了很好的效果，并且这种模型的参数较少。

基于双向LSTM-CNNs的命名实体识别

论文名称：Named Entity Recognition with Bidirectional LSTM-CNNs
作者：Jason P.C. Chiu /Eric Nichols
发表时间：2016/7/19
论文链接：https://arxiv.org/pdf/1511.08308.pdf
推荐原因
核心问题：本文解决的是命名实体识别的任务，这是nlp中非常具备挑战性的工作，传统的机器学习方法需要使用手工的方式，但是这种方式并不好。
创新点：本论文使用的是深度学习的方式，和传统的深度学习方法不同的是，这里搭建了一个新的神经网络结构，能够自动检测字级和字符级特征使用双向LSTM和CNN混合架构，消除了大多数特征工程的需要。除此之外本文还提出了一种新的方法，使用这个方法在神经网络中对部分词典匹配进行编码，可以取得较好的效果。
研究意义：实验表明，这种模型效果超过当前的模型，并且在多个数据集中取得了最佳的效果。

通过双向LSTM-CNNs-CRF进行端到端序列标记

论文名称：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
作者：Xuezhe Ma /Eduard Hovy
发表时间：2016/5/29
论文链接：https://arxiv.org/pdf/1603.01354.pdf
核心问题：本文核心是解决nlp领域中的命名实体识别的问题
创新点：在之前的常用的模型是LSRM+CRF，本论文搭建了一个端到端的神经网络模型，引入了CNN结构，这可以很好的处理局部信息
研究意义：这个模型的效果超过之前的模型效果。

更好的物体表征，更好地从纯图像重建世界

论文名称：Contrastive Learning of Structured World Models
作者：Thomas Kipf /Elise van der Pol /Max Welling
发表时间：2019/9/26
论文链接：https://openreview.net/forum?id=H1gax6VtDB
人类可以从眼睛观察到的视觉信号理解还原出世界中的物体、物体间的关系、层次等等，这是人类认知能力的重要组成部分，也是机器学习、深度学习、计算视觉仍面对的一大挑战（从原始的像素输入还原带有结构的世界模型）。
维吉尼亚大学的作者们在这篇论文中提出了一个基于对比度训练的有结构的世界模型C-SWM，它使用了一种对比度方法来用组合式的结构学习环境的表征。它可以不需要直接的监督，只通过对原始像素的观察就发现提取环境中的物体。
作者们在含有多个独立、可控制的物体的交互环境中评价了模型的表现，既包括了简单的Atari游戏，也包括了多物体的物理仿真环境。实验表明，这个模型可以克服以往的基于像素重建的模型的很多不足，在高度结构化的环境中也发挥了比同类表征模型更好的表现，同时它学习到的基于物体的表征还是具有可解释性的。
这篇论文的方法实际、效果出色，得到了审稿人的高度评价，被ICLR2020接收为口头报告论文。

# 论文作者团队招募

为了更好地服务广大 AI 青年，AI 研习社正式推出全新「论文」版块，希望以论文作为聚合 AI 学生青年的「兴趣点」，通过论文整理推荐、点评解读、代码复现。致力成为国内外前沿研究成果学习讨论和发表的聚集地，也让优秀科研得到更为广泛的传播和认可。
我们希望热爱学术的你，可以加入我们的论文作者团队。
加入论文作者团队你可以获得
    1.署着你名字的文章，将你打造成最耀眼的学术明星
    2.丰厚的稿酬
    3.AI 名企内推、大会门票福利、独家周边纪念品等等等。
加入论文作者团队你需要：
    1.将你喜欢的论文推荐给广大的研习社社友
    2.撰写论文解读
如果你已经准备好加入 AI 研习社的论文兼职作者团队，可以添加运营小姐姐的微信，备注“论文兼职作者”
继续阅读
阅读原文