Home

0

Commonsense Knowledge Aware Conversation Generation with Graph Attention

本文研究的是基于大规模常识知识图谱的开放域对话系统,作者在传统的encoder-decoder模型中增加静态图注意力和动态图注意力机制。给定用户的一段输入,该模型从常识知识图谱中检索出相关的子图,进行静态图注意力编码,进而增强对用户输入的语义理解。然后在生成的过程中,模型通过动态的图注意力机制与检索出来的知识图谱以及其中的三元组进行交互。与之前的方法相比,本模型是把一个知识图谱看作一个整体,而不是单独的使用图谱中三元组。paper linkcode link

0

Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

基于Attention的RNN模型在联合意图识别(ID)和槽位填充(SF)上实现最好性能(其ID和SF的attention权重独立)。本文提出slot gate结构,其关注于学习intent和slot attention向量之间的关系,通过全局优化获得更好的semantic frame。通过在ATIS和Snips数据集实验,相比于attention模型semantic frame准确率提升了4.2%。 paper linkcode link

0

Discriminative Deep Dyna-Q Robust Planning for Dialogue Policy Learning

本文是Deep Dyna-Q Integrating Planning for Task-Completion Dialogue Policy Learning 团队的续作,主要解决的是原始DDQ模型对world model生成的simulated dialogues质量好坏的严重依赖,通过引入一个区分真实对话和模拟对话的判别器,进而提高DDQ模型的鲁棒性和有效性。paper linkcode link

0

Multi-task learning for Joint Language Understanding and Dialogue State Tracking

本文是来自于SIGdial的一篇文章,主要研究的是LU和DST的联合建模,在不影响准确率的前提下提高了计算效率,同时在训练阶段引入了Scheduled Sampling,亦是创新点。本篇文章是作者一系列关于LU和DST的最新作,可结合之前两篇对比来看(参见Reference)。paper linkdataset link

0

BERT Pre-training of Deep Bidirectional Transformers for Language Understanding

本文介绍了一种新的语言表征模型 BERT——来自 Transformer 的双向编码器表征。与最近的语言表征模型不同,BERT 旨在基于所有层的左、右语境来预训练深度双向表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型,其性能超越许多使用任务特定架构的系统,刷新了 11 项 NLP 任务的当前最优性能记录。paper linkcode link