预训练语言模型-Semi-supervised Sequence Learning Rogerspy 2021-09-07 语言模型 字数统计: 726字 | 阅读时长≈ 2分 之前我们介绍了 Word Embedding,将词转换成稠密向量。词向量中包含了大量的自然语言中的先验知识,word2vec 的成功证明了我们可以通过无监督学习获得这些先验知识。随后很多工作试图将句子、段落甚至文档也表示成稠密向量。其中比较有代表性的,比如: 阅读全文 半监督语言模型