出处见水印

在开始学习算法之前先说一些废话。

1. 一个算法拯救无数生命

第二次世界大战期间，德军使用 AM 进行信息交流，任何掌握对应 AM 频率和摩斯码的人都可以对信号进行解码得到信息。但是由于信息是被加密的，所以需要对信息进行解密。有时候人们很幸运能够猜对，但是很快德军又换了密码。

神经网络三大神器：DNN、CNN、RNN。其中 DNN 和 RNN 都已经被用来构建语言模型了，而 CNN 一直在图像领域大展神威，它是否也可以用来构建语言模型呢？如果要用 CNN 构建语言模型应该怎么做？接下来我们从四篇论文看 CNN 构建语言模型的三种方法。

1. 简介

市面上的专业创建信息图表的工具虽然在努力平衡易用性和功能强大，但是这些工具通常是面向高级用户的，比如设计师、数据科学家等等。对于普通用户非常不友好。

首先推荐两篇论文：

• Samuel L Smith, Benoit Dherin, David Barrett, Soham De (2021) On the Origin of Implicit Regularization in Stochastic Gradient Descent
• David G.T. Barrett, Benoit Dherin (2021) Implicit Gradient Regularization

1. 简介

Mikolov 等人提出的 RNN 语言模型解决了前馈神经网络语言模型的语序问题。但是由于 RNN 神经网络本身存在着长程依赖问题，导致 RNN 语言模型很难学到距离较远的信息。

1. 简介

Bengio 等人使用前馈神经网络构建语言模型，解决了两个问题：参数维度爆炸和词与词之间的语义关系的问题。然我们看到使用神经网络构建语言模型存在的巨大潜力。但是前馈神经网络构建的语言模型同样也存在问题：他只能输入特定长度的上下文（窗口 $n$）。也就是说，它只能用固定长度内的信息来预测下一个词，这与 n-gram 模型有相同的问题。

1. 简介

统计语言模型中，无论是 n-gram 还是对数线性语言模型都面临一个非常严重的问题——维度爆炸。为了解决维度爆炸问题，Bengio & Bengio 2000 年提出了一种使用分布式词特征表示的方法，也就是后来所说的词向量。

1. 前言

回想语言模型问题，我们的任务是在给定前 $j-1$ 个词的情况下，预测第 $j$ 个词：

在马尔科夫假设条件下：

1. N-gram 语言模型