BN层如何进行归一化

BN层通过对每一个batch的数据进行归一化，使得数据的均值为0，方差为1。具体步骤如下：

1. 对于输入的数据x，计算其均值μ和方差σ^2。

2. 对于每一个输入的数据x，进行归一化，即将其减去均值μ并除以方差σ。

3. 对于归一化后的数据，进行缩放和平移，即将其乘以一个可学习的缩放因子γ并加上一个可学习的平移因子β。

4. 输出归一化后的数据。

在训练过程中，BN层会根据每一个batch的数据计算均值和方差，并更新缩放因子γ和平移因子β。在测试过程中，BN层会使用整个数据集的均值和方差进行归一化，并使用训练时学习到的缩放因子γ和平移因子β对数据进行缩放和平移。