计算 $Jw$ 对 $w$ 的梯度 $nabla Jw$
设 $J(w)$ 表示某个函数关于 $w$ 的损失函数,$w$ 是一个 $n$ 维向量,则其梯度 $\nabla J(w)$ 是一个 $n$ 维向量,每个维度表示 $J(w)$ 对 $w_i$ 的偏导数,即:
$$\nabla J(w) = \begin{pmatrix} \frac{\partial J(w)}{\partial w_1} \ \frac{\partial J(w)}{\partial w_2} \ \vdots \ \frac{\partial J(w)}{\partial w_n} \end{pmatrix}$$
具体计算方法需要根据 $J(w)$ 的表达式进行求导。例如,若 $J(w) = \frac{1}{2} \sum_{i=1}^{m} (y_i - \mathbf{x}_i^\top w)^2$,其中 $\mathbf{x}_i$ 是一个 $n$ 维向量,$y_i$ 是一个标量,则有:
$$\frac{\partial J(w)}{\partial w_j} = \sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)(-x{ij})$$
其中 $x_{ij}$ 表示 $\mathbf{x}_i$ 的第 $j$ 个分量。因此,$\nabla J(w)$ 的第 $j$ 个分量为:
$$\frac{\partial J(w)}{\partial w_j} = -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{ij}$$
最终得到:
$$\nabla J(w) = \begin{pmatrix} -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{i1} \ -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{i2} \ \vdots \ -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{in} \end{pmatrix}$$
这就是 $J(w)$ 对 $w$ 的梯度。
原文地址: http://www.cveoy.top/t/topic/4g4 著作权归作者所有。请勿转载和采集!