1. 简介

Bengio 等人使用前馈神经网络构建语言模型，解决了两个问题：参数维度爆炸和词与词之间的语义关系的问题。然我们看到使用神经网络构建语言模型存在的巨大潜力。但是前馈神经网络构建的语言模型同样也存在问题：他只能输入特定长度的上下文（窗口 $n$）。也就是说，它只能用固定长度内的信息来预测下一个词，这与 n-gram 模型有相同的问题。

阅读全文