Archive: 2021

2021
0
NLP

Solving Inefficiency of Self-supervised Representation Learning

自监督学习效率比全监督低很多（e.g.，100 epochs v.s. 1000 epochs），论文把这一现象的原因归结为欠聚类（under clustering）或过聚类（over clustering）,并提出了一个median triplet loss来提高训练的效率，同时提升性能。

0
NLPNLU

Energy-based Out-of-distribution Detection

作者提出了一个用energy score检测OOD的统一框架，其既可以用于预训练网络分类器作为scoring fuction，也可以作为一个trainable cost function来微调分类模型。