虽然XGBRegressor模型的拟合效果已经很优秀但为了寻求模型的更好性能可以尝试对模型的参数进行调优使用的调优方法是随机搜索算法。随机搜索的思想与网络搜索比较相似只是不再测试上界和下界之间所有值而是在搜索范围内随机选取样本点。它的理论依据是如果样本点集足够大那么通过随机采样也能大概率地找到全局最优值或近似值。随机搜索一般会比网络搜索要快一些。我们在搜索超参数的时候如果超参数个数较少那么我们可以
虽然XGBRegressor模型已经表现出很好的拟合效果,但为了进一步提高模型性能,可以尝试使用随机搜索算法对模型参数进行调优。随机搜索算法与网格搜索算法类似,但不是在指定的参数网格中搜索,而是在给定的参数范围内随机选取样本点进行搜索。理论上,如果样本点数量足够大,随机搜索也可以找到全局最优值或其近似值。
当超参数个数较少时,网格搜索是一种可行的选择。但当超参数个数较多时,网格搜索的搜索时间将呈指数级上升。此时,使用RandomizedSearchCV是更好的选择。RandomizedSearchCV的使用方法与GridSearchCV类似,但它以随机采样的方式在参数空间中搜索,可以处理连续变量参数并以分布采样的方式进行搜索,这是网格搜索所不能做到的。RandomizedSearchCV的搜索能力取决于设定的n_iter参数。
原文地址: https://www.cveoy.top/t/topic/eeL1 著作权归作者所有。请勿转载和采集!