随机梯度下降法 (SGD) 与小批量梯度下降法 (MBGD) 的区别

随机梯度下降法 (Stochastic Gradient Descent，SGD) 是一种经典的优化算法，它在每一次迭代中随机选择一个样本来计算梯度并更新模型参数，因此它具有很好的收敛速度和较小的内存占用，但是也容易受到噪声的影响。

小批量梯度下降法 (Mini-batch Gradient Descent，MBGD) 是介于批量梯度下降法和随机梯度下降法之间的一种优化算法，它在每一次迭代中选择一小批数据来计算梯度并更新模型参数，因此既可以减小噪声的影响，又可以保持较快的收敛速度。

两者的主要区别在于每次更新模型参数所采用的样本数量不同，SGD采用单个样本，而MBGD采用一小批样本。另外，MBGD可以通过调整小批量大小来平衡收敛速度和准确性，而SGD一般只能通过调整学习率来控制收敛速度。