Softmax 多分类回归反向传播中的 num_samples 解释

在使用 Softmax 进行多分类回归时，反向传播公式中经常会看到 grad_scores = probabilities; grad_scores[range(num_samples), y] -= 1; grad_scores /= num_samples 这样的计算。其中 num_samples 表示样本的数量，它应该被设置为你的训练集中样本的数量。

简单来说，num_samples 用于将梯度进行平均化，从而避免因为样本数量过多而导致梯度过大。这有助于模型的稳定训练，并提高泛化能力。