PyTorch SGD 梯度更新详解：参数对损失函数求导

在 PyTorch 中，sgd 函数用于实现随机梯度下降 (Stochastic Gradient Descent) 优化器。该函数的代码片段如下：

def sgd(params, lr, batch_size):
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()

这段代码的核心在于 梯度更新 部分：param -= lr * param.grad / batch_size。

这里的梯度更新是参数对损失函数求导。

具体来说：

param.grad 表示参数 param 的梯度，它是由损失函数对 param 求导得到的。
lr 是学习率，控制着每次更新的步长。
batch_size 是训练数据批次的大小，用于对梯度进行平均。

因此，lr * param.grad / batch_size 表示使用学习率和批次大小对梯度进行缩放后的更新值。通过将该更新值减去参数 param 的值，就可以实现参数的更新。

最后，param.grad.zero_() 用于将梯度清零，以便在下次迭代中重新计算梯度。

总结：

PyTorch 中的 SGD 梯度更新实质上是使用参数对损失函数的梯度来更新参数的值，从而使模型的预测结果逐渐接近真实标签。