Batch Normalization究竟学到了数据的什么信息？

原文链接：
Batch Normalization究竟学到了数据的什么信息？

大家好，我是泰哥。上节为大家介绍了数据归一化的发展历程，本节就讲讲Batch Normalization的计算思路，看看它究竟强在哪里？为什么它可以使模型梯度保持平稳。

1 归一化不会改变数据分布

任何归一化的本质都是对数据进行平移和放缩。

平移：数据集每一列数据统一加上或减去某一个数
缩放：数据集每一列数据统一除以或乘以某一个数

import torch
import matplotlib.pyplot as plt# 生成200个黄色数据集，标签为1
yellow = torch.normal(mean = 2, std = 2, size=(200, 2))
yellow_label = torch.ones(size = (yellow.shape[0], 1))# 生成200个紫色数据集，标签为0
purple = torch.normal(mean = 8, std = 2, size=(200, 2))
purple_label = torch.zeros(size = (purple.shape[0], 1))# 合并数据集
data = torch.cat((yellow, purple), dim = 0)
label = torch.cat((yellow_label, purple_label), dim = 0)# 查看其分布
plt.scatter(data[:, 0], data[:, 1], c = label)
而数据的平移和放缩，不会影响数据特征的分布情况。

接下来，我们使用Z-score对其进行归一化操作，然后对比查看归一化前后数据集分布:

def z_score(t):std = t.std(0)mean = t.mean(0)ans = (t - mean) / stdreturn ans zs_data = z_score(data)# 然后对比查看归一化前后数据集分布
plt.figure(figsize=(12, 6))
plt.subplot(121)
plt.scatter(data[:, 0], data[:, 1], c = label)
plt.title('data distribution')
plt.subplot(122)
plt.scatter(zs_data[:, 0], zs_data[:, 1], c = label)
plt.title('zs_data distribution')

可以发现，数据在坐标中的绝对值会发生变化，但是归一化前后数据分布不变。

2 归一化其实是仿射变化

数据的仿射变换用矩阵形式来进行表示就是： x ^ = x ∗ w + b \hat x = x * w + b x^=x∗w+b其中x是原数据，w是参数矩阵，b是截距， x ^ \hat x x^是经过变换之后的数据。此处以Z-Score为例，探讨归一化操作转化为仿射变换的方法。

在归一化运算时，我们进行了如下操作：
x − m e a n ( x ) s t d ( x ) \frac{x-mean(x)}{std(x)} std(x)x−mean(x)

稍作变换，就可以写成如下表达式：

x s t d ( x ) − m e a n ( x ) s t d ( x ) = x ⋅ 1 s t d ( x ) − m e a n ( x ) s t d ( x ) \begin{aligned} \frac{x}{std(x)} - \frac{mean(x)}{std(x)} \\ = x \cdot\frac{1}{std(x)}- \frac{mean(x)}{std(x)} \\ \end{aligned} std(x)x−std(x)mean(x)=x⋅std(x)1−std(x)mean(x)
与 x ^ = x ∗ w + b \hat x = x * w + b x^=x∗w+b形式相同了，但在BN中会写作 x ⊗ γ + β x \otimes \gamma + \beta x⊗γ+β，其中 ⊗ \otimes ⊗表示逐个元素相乘， γ 和 β \gamma 和\beta γ和β为指代参数。

3 将平移与缩放设为参数

那么在归一化的过程中，放缩的部分可以通过矩阵乘法来完成，而平移部分则更加简单，让数据集加上由每一列平移幅度所构成的向量即可完成。

在实际操作中，我们将归一化操作看成一个特殊的线性层，也将极大拓展归一化操作可以出现的位置。在经典机器学习领域，对数据的归一化只停留在输入数据时对数据进行统一处理，那么在迭代过程中，数据会逐渐失去初始化之后所带来的良好特性，此时如果我们可以像添加线性层一样，在任意隐藏层前后添加归一化层进行处理，就能避免迭代过程中数据逐渐偏移所导致的梯度不平稳问题。
g r a d 3 = ∂ l o s s ∂ y ^ ⋅ F ( F ( X ∗ w 1 ) ∗ w 2 ) grad_3 = \frac{\partial loss}{\partial \hat y} \cdot F(F(X * w_1) * w_2) grad3=∂y^∂loss⋅F(F(X∗w1)∗w2)
实际上均值为0、方差为1的归一化不一定是最优选择，根据各层梯度计算公式不难看出，最佳的数据归一化方法并不是绝对的0均值1方差，而是能够使得最终各变量（输入、参数、激活函数）相乘之后梯度保持均衡。

4 BN实际流程

BN的平移和放缩分为两个阶段：

第一个阶段是先将数据进行Z-Score处理
第二阶段则是在此基础上在对数据的均值进行参数平移，并对其方差进行参数放缩

其实两个阶段做的是一件事，就是对参数进行平移和缩放。我们可以将第一阶段理解为将数据本身的均值与方差设为了初始值，第二阶段则是根据反向传播来不断的更新参数。

最终训练结束，数据将朝向方差为 γ \gamma γ、均值为 β \beta β的分布方向靠拢。

5 BN的衍生

在BN诞生之后，根据不同的业务场景，又衍生出了原理相同的一些方法，比如Layer Normalization、instance normalization、Group Nomalization。

它们只是选择了数据的不同维度进行了缩放与平移，但是与BN的原理一致。

原文链接：
Batch Normalization究竟学到了数据的什么信息？