最速下降法在二元二次函数上的应用：奇偶次迭代点共线及极小点

设把最速下降法施用于具有对称正定矩阵Q的二元二次函数f(x)=1/2x'Qx+b'x+c上。试证偶次迭代点和奇次迭代点分别共线，而且这两条直线的交点就是目标函数的极小点。

对于最速下降法，我们的目标是通过迭代来寻找函数的极小点。下面我们来证明奇次迭代点和偶次迭代点分别共线，并且这两条直线的交点就是目标函数的极小点。

首先，令$x_0$为初始点，我们通过最速下降法进行迭代，其更新规则为：

$$x_{k+1} = x_k - \alpha_k \nabla f(x_k)$$

其中，$\alpha_k$是第k次迭代的步长，$\nabla f(x_k)$是函数$f(x)$在点$x_k$处的梯度。

我们知道，函数$f(x)$的梯度可以表示为：

$$\nabla f(x) = Qx + b$$

现在，我们来证明奇次迭代点和偶次迭代点分别共线。假设在第k次迭代时，$x_k$和$x_{k+1}$分别为奇次迭代点和偶次迭代点。

根据迭代规则，我们有：

$$x_{k+1} = x_k - \alpha_k \nabla f(x_k)$$

代入梯度的表达式，得到：

$$x_{k+1} = x_k - \alpha_k (Qx_k + b)$$

将上式两边同时乘以$Q$，得到：

$$Qx_{k+1} = Qx_k - \alpha_k Q(Qx_k + b)$$

将$x_{k+1}$替换为$x_{k+2}$，$x_k$替换为$x_{k+1}$，得到：

$$Qx_{k+2} = Qx_{k+1} - \alpha_k Q(Qx_{k+1} + b)$$

将上述两式相减，得到：

$$Q(x_{k+2} - x_{k+1}) = Q(x_{k+1} - x_k) - \alpha_k Q(Qx_{k+1} + b) + \alpha_k Q(Qx_k + b)$$

整理上式，得到：

$$Q(x_{k+2} - x_{k+1}) = Q(x_{k+1} - x_k) - \alpha_k Q^2(x_{k+1} - x_k)$$

上式左边可以进一步简化为：

$$Q(x_{k+2} - x_{k+1}) = Q^2(x_{k+1} - x_k)$$

因为矩阵$Q$是对称正定矩阵，所以可以对上式两边同时左乘$(x_{k+1} - x_k)'$，得到：

$$(x_{k+1} - x_k)' Q(x_{k+2} - x_{k+1}) = (x_{k+1} - x_k)' Q^2(x_{k+1} - x_k)$$

左边可以进一步化简为：

$$(x_{k+1} - x_k)' Q(x_{k+2} - x_{k+1}) = (x_{k+1} - x_k)' Q^2(x_{k+1} - x_k)$$

因为$Q$是对称矩阵，所以可以交换$(x_{k+1} - x_k)'$和$Q$的位置，得到：

$$(x_{k+2} - x_{k+1})' (x_{k+1} - x_k) = (x_{k+1} - x_k)' Q(x_{k+1} - x_k)$$

上式左边是奇次迭代点和偶次迭代点之间的内积，右边是目标函数$f(x)$的二次型。根据二次型的性质，当内积为0时，二次型取得极小值。

因此，奇次迭代点和偶次迭代点分别共线，交点即为目标函数的极小点。证毕。