集成学习：子模型正确率提升带来的巨大收益 - 500个子模型示例

假设一个二分类问题，正例和反例的数量相等。现在训练了 500 个子模型，每个模型权重大小一样。

当每个子模型正确率为 51% 时：

• 每个子模型错误率为 49%。
• 每个子模型正确率乘上权重为 1/500。
• 每个子模型错误率乘上权重为 1/500。

整体正确率可以通过加权平均来计算：

整体正确率 = 0.51 * 1/500 + 0.49 * 1/500 + ... + 0.51 * 1/500 + 0.49 * 1/500

= 0.51 * 500 * 1/500 + 0.49 * 500 * 1/500

= 0.51 * 1 + 0.49 * 1

= 1

因此，当每个子模型正确率为 51% 时，整体正确率也为 1。

当每个子模型正确率为 60% 时：

• 每个子模型错误率为 40%。
• 每个子模型正确率乘上权重为 1/500。
• 每个子模型错误率乘上权重为 1/500。

整体正确率可以通过加权平均来计算：

整体正确率 = 0.6 * 1/500 + 0.4 * 1/500 + ... + 0.6 * 1/500 + 0.4 * 1/500

= 0.6 * 500 * 1/500 + 0.4 * 500 * 1/500

= 0.6 * 1 + 0.4 * 1

= 1

因此，当每个子模型正确率为 60% 时，整体正确率也为 1。

结论:

从上述计算结果可以看出，当子模型数量足够多时，即使每个子模型的正确率只有微小的提升，也能显著提高整体模型的正确率。这体现了集成学习的优势，通过多个弱学习器组合，可以得到一个强学习器，从而提高模型的泛化能力和鲁棒性。