最速下降法在二元二次函数上的应用：奇偶迭代点共线及极小点证明

根据最速下降法，我们知道在每一次迭代中，搜索方向是当前点到极小点的负梯度方向。

设第 k 次迭代的点为 x_k，则迭代式为：x_{k+1} = x_k - α_k∇f(x_k)， 其中 α_k 为步长（学习率），∇f(x_k) 为 f(x_k) 的梯度。

对于二次函数 f(x) = 1/2x^TQx + b^Tx + c，根据梯度的计算公式，我们有： ∇f(x) = Qx + b

现在我们来证明偶次迭代点和奇次迭代点分别共线。假设第 2k 次迭代的点为 x_{2k}，第 (2k+1) 次迭代的点为 x_{2k+1}。

对于偶次迭代点 x_{2k}，根据迭代式，有 ∇f(x_{2k}) = Qx_{2k} + b。 对于奇次迭代点 x_{2k+1}，根据迭代式，有 ∇f(x_{2k+1}) = Qx_{2k+1} + b。

我们可以发现，偶次迭代点和奇次迭代点的梯度只相差一个常数项，即 ∇f(x_{2k+1}) = ∇f(x_{2k}) = Qx_{2k} + b。

由此可得，偶次迭代点和奇次迭代点的梯度方向相同，即二者共线。

接下来我们来证明这两条直线的交点就是目标函数的极小点。

假设极小点为 x*，则根据最速下降法的收敛性质，我们有极限：lim(k→∞) x_k = x*。

假设偶次迭代点和奇次迭代点的交点为 x'，即 x_{2k} = x_{2k+1} = x'。

我们知道，在最速下降法中，搜索方向是负梯度方向，即搜索方向为 -d_k = -∇f(x_k)。 那么在极小点 x* 处，搜索方向应为零向量，即 -d* = -∇f(x*) = 0。

那么我们来看交点 x' 的搜索方向： -d' = -∇f(x') = -∇f(x_{2k}) = Qx_{2k} + b

由于 x_{2k} 逐渐趋近于极小点 x*，所以当 k 趋近于无穷大时，有 x_{2k} → x*，即 Qx_{2k} + b → Qx* + b = -d*

因此，当 k 趋近于无穷大时，交点 x' 的搜索方向 -d' 也趋近于零向量 -d*，即 -d' → -d* = 0。

综上所述，交点 x' 的搜索方向趋近于零向量，即交点 x' 是目标函数的极小点。

因此，偶次迭代点和奇次迭代点分别共线，而且这两条直线的交点就是目标函数的极小点。