设 $J(w)$ 表示某个函数关于 $w$ 的损失函数,$w$ 是一个 $n$ 维向量,则其梯度 $\nabla J(w)$ 是一个 $n$ 维向量,每个维度表示 $J(w)$ 对 $w_i$ 的偏导数,即:

$$\nabla J(w) = \begin{pmatrix} \frac{\partial J(w)}{\partial w_1} \ \frac{\partial J(w)}{\partial w_2} \ \vdots \ \frac{\partial J(w)}{\partial w_n} \end{pmatrix}$$

具体计算方法需要根据 $J(w)$ 的表达式进行求导。例如,若 $J(w) = \frac{1}{2} \sum_{i=1}^{m} (y_i - \mathbf{x}_i^\top w)^2$,其中 $\mathbf{x}_i$ 是一个 $n$ 维向量,$y_i$ 是一个标量,则有:

$$\frac{\partial J(w)}{\partial w_j} = \sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)(-x{ij})$$

其中 $x_{ij}$ 表示 $\mathbf{x}_i$ 的第 $j$ 个分量。因此,$\nabla J(w)$ 的第 $j$ 个分量为:

$$\frac{\partial J(w)}{\partial w_j} = -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{ij}$$

最终得到:

$$\nabla J(w) = \begin{pmatrix} -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{i1} \ -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{i2} \ \vdots \ -\sum_{i=1}^{m} (y_i - \mathbf{x}i^\top w)x{in} \end{pmatrix}$$

这就是 $J(w)$ 对 $w$ 的梯度。

计算 $Jw$ 对 $w$ 的梯度 $nabla Jw$

原文地址: http://www.cveoy.top/t/topic/4g4 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录