PyTorch BatchNorm 中的 num_batches_tracked 属性详解

num_batches_tracked 是 PyTorch 中 BatchNorm 层的一个属性，表示当前 BatchNorm 层已经处理过的 batch 数量。这个属性主要用于在训练过程中计算移动平均值和方差，以便在推断时使用。具体而言，它记录了当前 BatchNorm 层已经处理过多少个 batch，用于计算均值和方差的累积次数。