K近邻、随机森林和 LIGHTGBM 算法优缺点分析

K近邻算法是一种懒散学习方法，基本上不进行学习。这导致了预测速度比逻辑回归等算法慢。此外，K近邻算法对于训练数据的依赖度较高，容错性较差。如果训练数据集中有一两个错误数据，尤其是在需要分类的数值附近，会直接导致预测结果不准确。

类似地，随机森林也对训练数据有较高的依赖度，容错性较差。在某些有较大噪音的分类或回归问题上，随机森林容易出现过拟合现象。

另一方面，LIGHTGBM是一种基于偏差的算法，对噪点较为敏感。此外，由于这是一种迭代算法，每次迭代会使预测结果逐渐变差。即使对训练数据进行权重调整，随着迭代的进行，误差也会不断增大。