在简单线性回归中,我们有以下公式:

$$\hat{y} = \beta_0 + \beta_1 x$$

其中,$\beta_0$ 和 $\beta_1$ 分别是截距和斜率,$\hat{y}$ 是回归方程的预测值。

我们可以将样本回归系数 $\hat{\beta}_1$ 表示为:

$$\hat{\beta}1 = \frac{\sum{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}$$

其中,$\bar{x}$ 和 $\bar{y}$ 分别是样本的均值。

根据统计学的理论,样本回归系数 $\hat{\beta}_1$ 的标准误可以表示为:

$$SE(\hat{\beta}1) = \sqrt{\frac{\sum{i=1}^{n}(y_i - \hat{y}i)^2}{(n-2)\sum{i=1}^{n}(x_i-\bar{x})^2}}$$

其中,$n$ 是样本大小,$\hat{y}_i$ 是对 $y_i$ 的预测值。

我们知道,残差 $e_i$ 由以下公式给出:

$$e_i = y_i - \hat{y}_i$$

因此,我们可以将上述标准误公式重写为:

$$SE(\hat{\beta}1) = \sqrt{\frac{\sum{i=1}^{n}(e_i)^2}{(n-2)\sum_{i=1}^{n}(x_i-\bar{x})^2}}$$

现在我们来证明标准误与残差均方根是成正比的。

我们知道,残差均方根(Root Mean Square Error,RMSE)是残差平方和与样本大小的比值的算术平方根:

$$RMSE = \sqrt{\frac{\sum_{i=1}^{n}(e_i)^2}{n}}$$

将上述式子代入标准误公式中,得到:

$$SE(\hat{\beta}1) = \sqrt{\frac{RMSE^2}{(n-2)\sum{i=1}^{n}(x_i-\bar{x})^2}}$$

我们可以看到,标准误与 RMSE 成正比,因为它们的比例是 $(n-2)\sum_{i=1}^{n}(x_i-\bar{x})^2$,这是一个固定值。

因此,我们可以得出结论,样本回归系数的标准误与残差均方的算术平方根成正比。

在直线相关与回归里,用公式推导为什么样本回归系数的标准误与残差均方的算术平方根成正比

原文地址: http://www.cveoy.top/t/topic/tjW 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录