最小二乘法推导详解：公式及直线拟合

最小二乘法是一种常用的线性回归方法，用于拟合数据点并找到最佳拟合曲线。它的推导过程如下：

假设有一组数据点 $(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$，我们要找到一条直线 $y = ax + b$，使得这条直线与这些数据点的误差平方和最小。

误差平方和定义为 $S = \sum_{i=1}^n (y_i - ax_i - b)^2$。

我们可以通过求导来找到 $S$ 的最小值。首先对 $a$ 求导，得到：

$$\frac{\partial S}{\partial a} = -2\sum_{i=1}^n x_i(y_i - ax_i - b)$$

令其等于0，得到：

$$\sum_{i=1}^n x_iy_i - a\sum_{i=1}^n x_i^2 - b\sum_{i=1}^n x_i = 0$$

同理，对 $b$ 求导，得到：

$$\frac{\partial S}{\partial b} = -2\sum_{i=1}^n (y_i - ax_i - b)$$

令其等于0，得到：

$$\sum_{i=1}^n y_i - a\sum_{i=1}^n x_i - nb = 0$$

解这两个方程，得到：

$$a = \frac{\sum_{i=1}^n x_iy_i - \frac{\sum_{i=1}^n x_i \sum_{i=1}^n y_i}{n}}{\sum_{i=1}^n x_i^2 - \frac{(\sum_{i=1}^n x_i)^2}{n}}$$

$$b = \frac{\sum_{i=1}^n y_i - a\sum_{i=1}^n x_i}{n}$$

这就是最小二乘法的推导过程。最终得到的 $a$ 和 $b$ 就是最佳拟合直线的斜率和截距。