1. 前言

回想语言模型问题，我们的任务是在给定前 $j-1$ 个词的情况下，预测第 $j$ 个词：

$$p(W_j=w_j|W_1=w_1, W_2=w_2, ..., W_{j-1}=w_{j-1}) = p(w_j|w_1, w_2, ..., w_{j-1})$$

在马尔科夫假设条件下：

$$p(w_j|w_1, w_2, ..., w_{j-1}) \approx p(w_j|w_{j-n+1:j-1})$$

阅读全文