Transformer 的功能强大已经是学术界的共识，但是它难以训练也是有目共睹的。本身的巨大参数量已经给训练带来了挑战，如果我们想再加深深度可谓难上加难。这篇文章将会介绍几篇就如何加深 Transformer 的展开研究论文。从目前的研究来看 Transformer 之所以难训是由于梯度消失的问题，要对 Transformer 进行加深就必须要解决这个问题，今天我们介绍三种方法：
- Depth-Scaled Initialization
- Lipschitz Constrained Parameter Initialization
- Pre-Norm