1. 学习率:首先应该调整学习率。学习率越小,训练速度越慢,但是精度更高。一般可以从0.1开始测试,然后逐步减小。如果训练速度太慢,可以尝试提高学习率。

  2. 最大深度:接下来应该调整最大深度。最大深度越大,模型越复杂,但很容易过拟合。一般可以从5开始测试,然后逐步增加,直到发现模型开始过拟合。

  3. 数量:接下来可以调整树的数量。树的数量越多,模型越复杂,但很容易过拟合。一般可以从100开始测试,然后逐步增加,直到发现模型开始过拟合。

  4. 特征子采样率:特征子采样率是指每个树节点随机选择的特征比例。如果特征子采样率太低,模型容易欠拟合;如果太高,模型容易过拟合。一般可以从0.5开始测试,然后逐步增加或减少。

  5. 行采样率:行采样率是指每棵树随机选择的样本比例。如果行采样率太低,模型容易过拟合;如果太高,模型容易欠拟合。一般可以从0.5开始测试,然后逐步增加或减少。

  6. 正则化参数:正则化参数是指L1和L2正则化的权重。正则化参数越大,模型越简单,但很容易欠拟合。一般可以从0开始测试,然后逐步增加。

  7. 子样本大小:子样本大小是指每个树节点使用的样本数量。如果子样本大小太小,模型容易过拟合;如果太大,模型容易欠拟合。一般可以从1000开始测试,然后逐步增加或减少。

  8. 其他超参数:其他超参数包括min_child_samples、min_child_weight等。这些超参数的影响相对较小,可以在前面的超参数调整完成后再进行微调。

最好以怎样的顺序来调整lightgbm超参

原文地址: http://www.cveoy.top/t/topic/gjx 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录