Archive: 2018/10

0

BERT Pre-training of Deep Bidirectional Transformers for Language Understanding

本文介绍了一种新的语言表征模型 BERT——来自 Transformer 的双向编码器表征。与最近的语言表征模型不同,BERT 旨在基于所有层的左、右语境来预训练深度双向表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型,其性能超越许多使用任务特定架构的系统,刷新了 11 项 NLP 任务的当前最优性能记录。paper linkcode link

0

Deep Relevance Ranking Using Enhanced Document-Query Interactions

本文提出了几种针对于文档相关性排序问题的新模型,这些模型基于已有的DRMM模型:A Deep Relevance Matching Model for Ad-hoc Retrieval) 。不同之处在于,DRMM模型使用上下文无关的term encoding编码方式,而本文提出的改进模型则借鉴自PACRR的思想,融合n-grams和不同方式编码的上下文信息。实验证明,本文提出的模型优于BM25-baseline,DRMM和PACRR。code link

0

Deep contextualized word representations

本文提出了ELMo(深度上下文词表示)模型,它是由AI2开发的,并在NAACL 2018上被评为最佳论文。在ELMo中,嵌入基于一个双层的双向语言模型(biLM)的内部状态计算,ELMo也是因此得名的:Embeddings from Language Models(来自语言模型的嵌入)。paper linkcode link