当采用第一种方法时每加入一个变量可能会使已存在于模型中的变量单独对因变量的解释度减小当其作用很小不显著时则将其从模型中剔除。而第三种方法就是如此不是一味的增加变量而是增加一个变量后对整个模型中的所有变量进行检验剔除作用不显著的变量。最终尽可能得到一个最优的变量组合。本节采用第三种方式进行特征选择。传统逐步回归分析是以AIC信息统计量为准则通过选择最小的AIC信息统计量来达到删除或增加变量的目的。本

在特征选择过程中，有三种常用方法。第一种方法是逐步回归，它会逐步添加变量到模型中，并根据变量对因变量的解释度来决定是否保留该变量。如果一个变量的作用很小且不显著，那么它会被从模型中剔除。第三种方法和第一种方法类似，但不是仅仅增加变量，而是在增加一个变量后，对整个模型中的所有变量进行检验，剔除作用不显著的变量。这样最终可以得到一个最优的变量组合。

在本节中，我们采用第三种方法进行特征选择。传统的逐步回归分析使用AIC（赤池信息准则）作为指标，通过选择最小的AIC来删除或增加变量。而在本节中，我们考虑同时使用AIC准则和BIC（贝叶斯信息准则）构建逐步回归模型，以进行特征选择。