5.3 参数初始化

参数初始化方案的选择在神经网络学习中起着举足轻重的作用，它对保持数值稳定性至关重要。此外，这些初始化方案的选择可以与激活函数的选择有趣的结合在一起。我们选择哪个激活函数以及如何初始化参数，可以决定优化算法收敛的速度有多快；糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。

5.3.1 常数初始化

5.3.2 秩初始化

5.3.3 正态分布初始化

5.3.4 均匀分布初始化

5.3.5 Xavier初始化（Glorot初始化）

5.3.6 He初始化（Kaiming初始化）