点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自：磐创AI

【导读】神经网络的初始化是训练流程的重要基础环节，会对模型的性能、收敛性、收敛速度等产生重要的影响。本文是deeplearning.ai的一篇技术博客，文章指出，对初始化值的大小选取不当，  可能造成梯度爆炸或梯度消失等问题，并提出了针对性的解决方法。

初始化会对深度神经网络模型的训练时间和收敛性产生重大影响。简单的初始化方法可以加速训练，但使用这些方法需要注意小心常见的陷阱。本文将解释如何有效地对神经网络参数进行初始化。

有效的初始化对构建模型至关重要

要构建机器学习算法，通常要定义一个体系结构（例如逻辑回归，支持向量机，神经网络）并对其进行训练来学习参数。下面是训练神经网络的一些常见流程：

初始化参数

选择优化算法

然后重复以下步骤：

1、向前传播输入

2、计算成本函数

3、使用反向传播计算与参数相关的成本梯度

4、根据优化算法，利用梯度更新每个参数

然后，给定一个新的数据点，使用模型来预测其类型。

初始化值太大\太小会导致梯度爆炸或梯度消失

初始化这一步对于模型的最终性能至关重要，需要采用正确的方法。比如对于下面的三层神经网络。可以尝试使用不同的方法初始化此网络，并观察对学习的影响。

在优化循环的每次迭代（前向，成本，后向，更新）中，我们观察到当从输出层向输入层移动时，反向传播的梯度要么被放大，要么被最小化。

假设所有激活函数都是线性的（恒等函数）。则输出激活为：

其中 L=10 ，且W[1]、W[2]…W[L-1]都是2*2矩阵，因为从第1层到L-1层都是2个神经元，接收2个输入。为了方便分析，如果假设W[1]=W[2]=…=W[L-1]=W，那么输出预测为

如果初始化值太大或太小会造成什么结果？

情况1：初始化值过大会导致梯度爆炸

如果每个权重的初始化值都比单位矩阵稍大，即：

可简化表示为

且a[l]的值随l值呈指数级增长。当这些激活用于向后传播时，会导致梯度爆炸。也就是说，与参数相关的成本梯度太大。这导致成本围绕其最小值振荡。

初始化值太大导致成本围绕其最小值震荡

情况2：初始化值过小会导致梯度消失

类似地，如果每个权重的初始化值都比单位矩阵稍小，即：

可简化表示为

且a[l]的值随l值减少呈指数级下降。当这些激活用于后向传播时，可能会导致梯度消失。也就是说，与参数相关的成本梯度太小。这会导致成本在达到最小值之前收敛。

初始化值太小导致模型过早收敛

总而言之，使用大小不合适的值对权重进行将导致神经网络的发散或训练速度下降。虽然我们用的是简单的对称权重矩阵来说明梯度爆炸/消失的问题，但这一现象可以推广到任何不合适的初始化值。

如何确定合适的初始化值

为了防止以上问题的出现，我们可以坚持以下经验原则：

1.激活的平均值应为零。

2.激活的方差应该在每一层保持不变。

在这两个假设下，反向传播的梯度信号不应该在任何层中乘以太小或太大的值。梯度应该可以移动到输入层，而不会爆炸或消失。

更具体地说，对于层l，其前向传播是：

我们想让下式成立:

确保均值为零，并保持每层输入方差值不变，可以保证信号不会爆炸或消失。该方法既适用于前向传播（用于激活），也适用于向后传播（用于关于激活的成本梯度）。这里建议使用Xavier初始化（或其派生初始化方法），对于每个层l，有：

层l中的所有权重均自正态分布中随机挑选，其中均值 μ=0 ，方差E= 1/( n[l−1])，其中n[l−1] 是第l-1层网络中的神经元数量。偏差已初始化为零。

下图说明了Xavier初始化对五层全连接神经网络的影响。数据集为MNIST中选取的10000个手写数字，分类结果的红色方框表示错误分类，蓝色表示正确分类。

结果显示，Xavier初始化的模型性能显著高于uniform和标准正态分布（从上至下分别为uniform、标准正态分布、Xavier）。

结论

在实践中，使用Xavier初始化的机器学习工程师会将权重初始化为N（0，1/( n[l−1])）或N（0，2/（n[l-1]+n[1]））,其中后一个分布的方差是n[l-1]和n[1]的调和平均。

Xavier初始化可以与tanh激活一起使用。此外，还有大量其他初始化方法。例如，如果你正在使用ReLU，则通常的初始化是He初始化，其初始化权重通过乘以Xavier初始化的方差2来初始化。虽然这种初始化证明稍微复杂一些，但其思路与tanh是相同的。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~