Category: NLP

2019
0
NLP

Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders

本文是ACL2017上的文章，主要研究对话生成多样性问题，作者提出了基于条件变分自编码器CVAE的对话生成模型，借助于隐变量学习回复的概率分布，同时还引入了回复的diaact信息作为外部语言知识。针对于带RNN decoder的VAE模型训练过程中存在的vanishing latent variable problem，作者引入了一种附加 bag loss。与基线模型相比，本文提出的模型在生成回复的多样性方面有明显提升。 paper linkcode link

0
NLP

Transfer Learning for Sequence Labeling Using Source Model and Target Data

本文来自于AAAI2019，主要研究的是迁移学习在序列标注任务上的应用，仅仅基于source data训练的source model迁移到新的target data（与source data相比，增加了标签的类别，而领域不变），而不直接使用source data来迁移，实验结果证明迁移学习在新标签类别和之前已有的标签类别上都取得了不错的效果。 paper linkcode link

0
NLP

Training Millions of Personalized Dialogue Agents

本文是FAIR发表于EMNLP2018上的文章，主要提出了一个基于Reddit的大规模开放域对话数据集，附带大量的用户个性，实验证明用户个性有助于提高对话系统的性能；同时，基于本数据集的预训练模型也有助于各种任务（FAIR的另一篇文章Wizard of Wikipedia Knowledge-powered conversational agents 使用了基于本数据集的预训练Transformer Encoder）。 paper link

0
NLP

Adversarial Active Learning for Sequence Labeling and Generation

本文发表在IJCAI2018上，主要是关于active learning在序列问题上的应用，现有的active learning方法大多依赖于基于概率的分类器，而这些方法不适合于序列问题（标签序列的空间太大），作者提出了一种基于adversarial learning的框架解决了该问题。 paper

0
NLP

PAY LESS ATTENTION WITH LIGHTWEIGHT AND DYNAMIC CONVOLUTIONS

本文是FAIR发表于ICIR2019上关于轻量卷积和动态卷积的文章，轻量卷积借鉴于深度可分离卷积，在此基础上提出动态卷积，实验结果证明本文提出的两种卷积方式性能不亚于以Transformer为代表的self-attention，可以应用到更多的自然语言处理任务。 papercode

0
NLP

DRr-Net Dynamic Re-read Network for Sentence Semantic Matching

本文是来自于AAAI2019的一篇关于句子语义匹配的文章，提出了Dynamic Re-read Network（DRr-Net），核心是通过多次计算注意力，每一次计算可以获取最重要的词信息，从而得到一句话的动态表征，结合句子的静态表征和动态表征来得到相似度。 paper link