预训练语言模型:CoVe

  |  

上一篇文章我们介绍了预训练词向量,它的缺点很明显:一旦训练完,每个词的词向量都固定下来了。而我们平时生活中面临的情况却复杂的多,一个最重要的问题就是一词多义,即同一个词在不同语境下有不同的含义。CoVe(Contextual Word Vectors)同样是用来表示词向量的模型,但不同于 word emebdding,它是将整个序列作为输入,根据不同序列得到不同的词向量输出的函数。也就是说,CoVe 会根据不同的上下文得到不同的词向量表示。

1. 什么是本体?

“本体”(ontology)的概念来源于哲学对本体论的研究。随着人工智能(AI)的发展,科学家们将“本体”这一概念引入到计算机领域。不同的文献对本体有着不同的定义,甚至有些定义是相互矛盾的。为了方便起见,我们将本体定义为:本体是一系列词汇,这些词汇包括机器可读的概念定义和概念之间的关系

词嵌入(word embedding)是一种用稠密向量来表示词义的方法,其中每个词对应的向量叫做词向量(word vector)。词嵌入通常是从语言模型中学习得来的,其中蕴含着词与词之间的语义关系,比如 “猫” 和 “狗” 的语义相似性大于 “猫” 和 “计算机” 。这种语义相似性就是通过向量距离来计算的。