在建立风控模型的过程中,我们最终的期望是获取一个性能表现较优的模型,但在实际业务场景中,由于很多机器学习模型算法的参数较多,通过手动调参方式来优化模型不仅特别耗时,而且很难得到较为理想的结果。这种情况尤其是针对随机森林、XGBoost、LightGBM等算法模型,在模型训练环节采用默认参数并不能得到较优模型,但为了提升模型效果,参数的不断调优与测试往往是一个重要且必要的任务。本文将围绕此类实际情况,对模型性能优化方面的参数自动化搜索内容进行介绍,描述模型参数调优最常见的两种搜索策略,分别为网格搜索与随机搜索,具体描述将会结合实际案例来进行解读分析。

我们先来了解下案例场景,建模样本数据共包含10000条样本与10个特征,部分数据样例如图1所示,其中ID为样本主键,X01~X10为特征变量,Y为目标变量(取值二分类1/0代表是否违约),场景具体需求是通过特征变量池,建立一个针对风控贷前环节的申请用户违约预测模型。

编辑

添加图片注释,不超过 140 字(可选)

图1 样本数据


根据以上实例数据,现采用XGBoost决策树集成学习算法来实现模型的开发,一方面是XGBoost作为经典的树模型在实际信贷风控应用中较广,而且XGBoost算法的超参数较多,也符合本文要讲解的多参数自动化调优的业务背景。

下面我们将建模数据按照7:3比例随机拆分为训练集与测试集,并采用算法的默认参数组合在训练样本集上来训练拟合模型,同时通过测试样本集上来评估模型的效果,具体实现过程与模型指标结果如图2所示。

编辑切换为居中

添加图片注释,不超过 140 字(可选)

图2 模型训练与评估


XGBoost模型的默认参数如图3所示,在这样输入参数组合下的模型性能指标为accuracy=0.5373、AUC=0.5319(参见上图模型评估print结果)。对于模型的参数调优往往是一个必然过程,而结合实际建模经验,图3中的参数n_estimators(树的数量)、max_depth(树的深度)、learning_rate(学习率)等都是模型调参的主要对象。

编辑

添加图片注释,不超过 140 字(可选)

图3 XGBoost默认参数


接下来我们通过模型参数的自动搜索方法来优化模型,先后介绍网格搜索、随机搜索的原理逻辑与实现过程,并以重要参数n_estimators(树的数量)、max_depth(树的深度)、learning_rate(学习率)为例,对前边默认参数下的XGBoost违约预测模型进行性能优化。


1、网格搜索

网格搜索是将参数对象交叉形成的所有组合进行遍历,比如参数有3个且每个参数有3个取值,那么对应有3*3*3=27种参数组合,网格搜索是尝试将所有组合完成测试与比较。这种方法由于输入参数组合完整度较好,在实际应用中最为常见,在python中可以通过调用sklearn库中GridSearchCV来实现,其中GridSearch代表网格搜索,而CV代表交叉验证(另一种优化模型策略,经常与参数搜索结合应用)。

现对参数n_estimators、max_depth、learning_rate分别各取3种情况,这里需要注意的是,最好将模型默认参数也放入其中(n_estimators=100、max_depth=6、learning_rate=0.3),便于最终的模型性能对比。这里为了提高效率仅做示例,模型调优各参数的取值分布为:n_estimators={50,100,200},max_depth={3,6,10}、learning_rate={0.1,0.3,0.5}。针对模型参数调优的网格搜索实现过程如图4所示,最后通过best_params_输出最优参数组合如图5所示。

编辑

添加图片注释,不超过 140 字(可选)

图4 网格搜索参数调优


编辑

添加图片注释,不超过 140 字(可选)

图5 网格搜索最优参数


通过网格搜索在预先给定的参数范围内得到了最优参数后,然后将其重新入模在训练数据集拟合模型,并在验证数据集评估模型的性能效果,其过程与图2一致,只是模型输入参数进行了调整,具体如图6所示。

编辑切换为居中

添加图片注释,不超过 140 字(可选)

图6 网格搜索模型优化


从模型最终结果来看,调优后模型的accuracy(0.5610)、AUC(0.5395)与之前默认参数下模型的accuracy(0.5373)、AUC(0.5319)均有一定提升,说明网格搜索对模型参数调优的有效性。


2、随机搜索

随机搜索是针对参数取值范围,不需要尝试所有可能的参数组合,而是从搜索参数范围内随机采样进行测试,而且搜索次数是可以通过参数自由指定的。随机搜索与网格搜索相比,效率更为快速,尤其是在参数较多且取值范围较大的情况,随机搜索表现更为高效,因此在类似机器学习树模型参数调优的场景中也经常得到应用。随机搜索在python中可以通过调用sklearn库中RandomizedSearchCV来实现,其中RandomizedSearch代表随机搜索,而CV代表交叉验证。

现采用与网格搜索同样的参数范围,通过随机搜索方法来优化模型,具体实现过程如图7所示,并将最优参数组合输出如图8所示。

编辑

添加图片注释,不超过 140 字(可选)

图7 随机搜索参数调优


编辑

添加图片注释,不超过 140 字(可选)

图8 随机搜索最优参数


通过随机搜索在预先给定的参数范围内得到了最优参数后,同样在测试数据集上来验证下效果,实现过程与结果如图9所示。

编辑切换为居中

添加图片注释,不超过 140 字(可选)

图9 网格搜索模型优化


从模型最终结果来看,调优后模型的accuracy(0.5607)、AUC(0.5478)与之前默认参数下模型的accuracy(0.5373)、AUC(0.5319)均有一定提升,说明随机搜索对模型参数调优也有较好的表现。

综合以上内容,我们先后采用网格搜索、随机搜索两种最常见的参数搜索方法,对默认参数下模型的性能进行了优化,最后通过模型相关指标的对比(如图10)也验证了网格搜索与随机搜索的有效性,即模型的准确度和区分度都有一定的提升。

编辑

添加图片注释,不超过 140 字(可选)

图10 模型优化前后对比


当然,上图展示的模型性能结果,虽然反映了网格搜索、随机搜索在模型参数调优的好处,但本文为了演示整个实现过程与效果,仅仅从模型参数中选择了较为常见的3个参数(n_estimators、max_depth、learning_rate),且各参数的取值范围只有3种取值情况。如果将参数数量与取值类别的范围扩大,模型性能优化后的效果会更为明显。在机器学习模型调优的实际场景中,需要结合模型算法属性、样本数据情况、服务器性能、参数重要程度等维度进行综合考虑,适当选择合理的参数范围,以及参数优化的搜索方法,从而实现模型应用效果的提升。

为了便于大家对常见参数搜索方法下模型性能调优的理解与熟悉,我们准备了与本文内容同步的样本数据和python代码,供大家参考学习,详情请移至知识星球查看相关内容。

编辑切换为居中

添加图片注释,不超过 140 字(可选)

....

~原创文章