随机梯度下降法 (SGD) 简介 - 机器学习优化算法

随机梯度下降法 (Stochastic Gradient Descent，简称 SGD) 是一种常用的优化算法，用于训练机器学习模型。它是梯度下降法的一种变体，通过每次迭代随机选择一部分样本来计算梯度，从而降低了计算成本，并且可以更快地收敛到局部最优解。与批量梯度下降法 (Batch Gradient Descent) 相比，SGD 的计算效率更高，但是收敛速度可能会受到随机性的影响，因此需要调整学习率等超参数以获得更好的结果。