nesterov加速程序是怎么回事

Nesterov加速算法是SGD（随机梯度下降）的一种改进方法，它在更新权重的时候采用了一种更加精细的方式，使得收敛速度更快。

具体来说，Nesterov加速算法根据当前的梯度估计出下一步的位置，然后计算该位置的梯度，并用这个梯度来更新权重。这样做的好处是可以更加准确地估计梯度，从而加速收敛。

Nesterov加速算法的数学表达式为：

v_t = gamma * v_{t-1} + lr * grad(w_{t-1} - gamma * v_{t-1})

w_t = w_{t-1} - v_t

其中，v_t表示上一步的速度，gamma表示动量因子，lr表示学习率，grad表示梯度，w_t表示当前的权重。