BN层为什么分批归一化而不是整体归一化

BN层为了解决深度神经网络中的梯度消失和梯度爆炸问题，需要对每个batch的数据进行归一化。分批归一化可以减少计算量，提高训练速度，同时也避免了对整个数据集的统计量的依赖，使得网络更具有泛化能力。如果使用整体归一化，需要对整个数据集进行统计，计算均值和方差，这样会增加计算量，同时也会使得网络更加依赖于训练集，可能会导致过拟合问题。因此，分批归一化是更为合适的选择。