Linguistic Knowledge and Transferability of Contextual Representations

本文深入研究了预训练词表征所学习到的语言学知识以及可迁移性，通过大量的对比实验分析ELMo, GPT, BERT等预训练词表征的影响，得出一些有意义的结论。 NAACL2019 paper link