多元线性回归中回归参数估计值与残差向量协方差为0的证明

在多元线性回归分析中，一个重要的性质是回归参数的估计值与回归残差向量的协方差为0。本文将详细解释这一性质的由来，并阐述最小二乘法在其中的作用。

1. 多元线性回归模型

多元线性回归模型假设因变量 Y 与多个自变量 X 之间存在线性关系，可以用以下方程表示：

Y = Xβ + ε

其中：

Y 是因变量的观测值向量* X 是自变量的观测值矩阵* β 是回归参数的估计值向量* ε 是误差项的观测值向量

2. 最小二乘法

最小二乘法（OLS）是估计回归参数 β 的常用方法。它的目标是最小化残差平方和（SSE）：

SSE = ε'ε = (Y - Xβ)'(Y - Xβ)

通过最小化 SSE，我们可以得到回归参数 β 的估计值，记作 β̂。

3. 回归参数估计值与残差向量协方差为0

根据最小二乘法的性质，估计值 β̂ 的选择使得样本残差向量的均值为零：

E[ε̂] = E[(Y - Xβ̂)] = 0

这意味着样本残差向量的均值为零。

由于残差向量的均值为零，我们可以推导出回归参数的估计值与回归残差向量的协方差为0：

Cov(β̂, ε̂) = Cov(X'Y, Y - Xβ̂) = Cov(X'Y, Y) - Cov(X'Y, Xβ̂) = X' Cov(Y, Y) - X' Cov(Y, Xβ̂) = X' Cov(Y, Y) - X' Cov(Xβ̂, Y)= X' Cov(Y, Y) - X' Cov(Xβ̂, Xβ̂) = X' Cov(Y, Y) - X'X Cov(β̂, β̂) = 0

4. 结论

综上所述，回归参数的估计值与回归残差向量的协方差为0是由于最小二乘法的性质决定的。这并非偶然，而是最小二乘法推导过程中的必然结果，反映了模型拟合的最佳性质。需要注意的是，其他估计方法可能不会得到相同的结论。