Boosting和Bagging的异同。
Boosting和Bagging都是集成学习(ensemble learning)的算法,通过结合多个弱学习器来构建一个强学习器。它们的主要区别在于:
-
对样本的处理方式不同:Bagging是通过有放回的随机抽样来构建每个弱学习器的训练集,每个弱学习器学习的是不同的子集;而Boosting则是通过“聚焦”于被前面的弱学习器分类错误的样本,使得后面的弱学习器能够更好地学习这些样本,从而不断提高整个模型的准确率。
-
对弱学习器的权重分配不同:Bagging中,每个弱学习器的权重相等,而在Boosting中,每个弱学习器的权重是根据其在前面的弱学习器中的表现进行调整的,表现好的弱学习器会获得更高的权重。
-
集成方式不同:Bagging是通过简单地将所有弱学习器的输出取平均或投票来得到最终的输出结果;而Boosting则是通过加权平均或者加权投票的方式来得到最终的输出结果,其中权重是根据每个弱学习器的表现来调整的。
总的来说,Bagging更注重通过随机化来减少模型的方差(即对训练数据的过拟合程度),而Boosting更注重通过调整样本权重来减少模型的偏差(即对训练数据的欠拟合程度)
原文地址: https://www.cveoy.top/t/topic/g9Yx 著作权归作者所有。请勿转载和采集!