机器学习算法七- 基于LightGBM的分类预测基于英雄联盟10分钟数据判断红蓝方胜负.docx

《机器学习算法七- 基于LightGBM的分类预测基于英雄联盟10分钟数据判断红蓝方胜负.docx》由会员分享，可在线阅读，更多相关《机器学习算法七- 基于LightGBM的分类预测基于英雄联盟10分钟数据判断红蓝方胜负.docx（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器学习算法（七）:基于LightGBM的分类预测（基于英雄联盟10分钟数据判断红蓝方胜负）机器学习算法七基于LightGBM的分类预测1.实验室介绍1.1LightGBM的介绍LightGBM是2017年度由微软推出的可扩展机器学习系统是微软旗下DMKT的一个开源工程由2021年度首届阿里巴巴大数据竞赛获胜者之一柯国霖教师带着开发。它是一款基于GBDT梯度提升决策树算法的分布式梯度提升框架为了知足缩短模型计算时间的需求LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用和减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的晋级豪华版在获得与XGBoost近

2、似精度的同时又提供了更快的训练速度与更少的内存消耗。正如其名字中的Light所蕴含的那样LightGBM在大规模数据集上跑起来更加优雅轻盈一经推出便成为各种数据竞赛中刷榜夺冠的神兵利器。LightGBM的主要优点简单易用。提供了主流的PythonCR语言接口用户可以轻松使用LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能获得近似的效果。LightGBM直接支持缺失值与类别特征无需对数据额外进展特殊处理LightGBM的主要缺点相对于深度学习模型无法对时空位置建模不能很好地捕获图像

3、、语音、文本等高维数据。在拥有海量训练数据并能找到适宜的深度学习模型时深度学习的精度可以遥遥领先LightGBM。1.2LightGBM的应用LightGBM在机器学习与数据挖掘领域有着极为广泛的应用。据统计LightGBM模型自2016到2019年度在Kaggle平台上累积获得数据竞赛前三名三十余次其中包括CIKM2017AnalytiCup、IEEEFraudDetection等知名竞赛。这些竞赛来源于各行各业的真实业务这些竞赛成绩说明LightGBM具有很好的可扩展性在各类不同问题上都可以获得非常好的效果。同时LightGBM还被成功应用在工业界与学术界的各种问题中。例如金融风控、购置行

4、为识别、交通流量预测、环境声音分类、基因分类、生物成分分析等众多领域。固然领域相关的数据分析以及特性工程在这些解决方案中也发挥了重要作用但学习者与理论者对LightGBM的一致选择说明了这一软件包的影响力与重要性。2.实验室手册2.1学习目的解析LightGBM的参数与相关知识掌握LightGBM的Python调用并将其运用到英雄联盟游戏胜负预测数据集上2.2代码流程Part1基于英雄联盟数据集的LightGBM分类理论Step1:库函数导入Step2:数据读取/载入Step3:数据信息简单查看Step4:可视化描绘Step5:利用LightGBM进展训练与预测Step6:利用LightGBM

5、进展特征选择Step7:通过调整参数获得更好的效果2.3算法实战2.3.1基于英雄联盟数据集的LightGBM分类实战在理论的最开场我们首先需要导入一些根底的函数库包括numpyPython进展科学计算的根底软件包pandaspandas是一种快速强大灵敏且易于使用的开源数据分析以及处理工具matplotlib以及seaborn绘图。#下载需要用到的数据集!wgets:/tianchi-media.oss-cn-beijing.aliyuncs/DSW/8LightGBM/high_diamond_ranked_10min.csvStep1函数库导入#根底函数库importnumpyasnpi

6、mportpandasaspd#绘图函数库importmatplotlib.pyplotaspltimportseabornassns本次我们选择英雄联盟数据集进展LightGBM的场景体验。英雄联盟是2020年度美国拳头游戏开发的MOBA竞技网游在每局比赛中蓝队与红队在同一个地图进展作战游戏的目的是破坏敌方队伍的防御塔进而摧毁敌方的水晶枢纽拿下比赛的成功。如今共有9881场英雄联盟韩服钻石段位以上的排位比赛数据数据提供了在特别钟时的游戏状态包括击杀数、死亡数、金币数量、经历值、等级等信息。列blueWins是数据的标签代表了本场比赛是否为蓝队获胜。数据的各个特征描绘如下特征名称特征意义取值范

7、围WardsPlaced插眼数量整数WardsDestroyed拆眼数量整数FirstBlood是否获得首次击杀整数Kills击杀英雄数量整数Deaths死亡数量整数Assists助攻数量整数EliteMonsters击杀大型野怪数量整数Dragons击杀史诗野怪数量整数Heralds击杀峡谷先锋数量整数TowersDestroyed推塔数量整数TotalGold总经济整数AvgLevel平均英雄等级浮点数TotalExperience英雄总经历整数TotalMinionsKilled英雄补兵数量整数TotalJungleMinionsKilled英雄击杀野怪数量整数GoldDiff经济差距整

8、数ExperienceDiff经历差距整数CSPerMin分均补刀浮点数GoldPerMin分均经济浮点数Step2数据读取/载入#我们利用Pandas自带的read_csv函数读取并转化为DataFrame格式dfpd.read_csv(./high_diamond_ranked_10min.csv)ydf.blueWinsStep3数据信息简单查看#利用.info()查看数据的整体信息df.info()#进展简单的数据查看我们可以利用.head()头部.tail()尾部df.head()df.tail()#标注标签并利用value_counts函数查看训练集标签的数量ydf.blueWin

9、sy.value_counts()0494914930Name:blueWins,dtype:int64数据集正负标签数量根本一样不存在数据不平衡的问题#标注特征列drop_colsgameId,blueWinsxdf.drop(drop_cols,axis1)#对于特征进展一些统计描绘x.describe()我们发现不同对局中插眼数以及拆眼数的取值范围存在明显差距甚至有前特别钟插了250个眼的异常值。我们发现EliteMonsters的取值相当于DeagonsHeralds。我们发现TotalGold等变量在大局部对局中差距不大。我们发现两支队伍的经济差以及经历差是相反数。我们发现红队以及蓝

10、队拿到首次击杀的概率大概都是50%#根据上面的描绘我们可以去除一些重复变量比方只要知道蓝队是否拿到一血我们就知道红队有没有拿到可以去除红队的相关冗余数据。drop_colsredFirstBlood,redKills,redDeaths,redGoldDiff,redExperienceDiff,blueCSPerMin,blueGoldPerMin,redCSPerMin,redGoldPerMinx.drop(drop_cols,axis1,inplaceTrue)Step4:可视化描绘dataxdata_std(data-data.mean()/data.std()datapd.conc

11、at(y,data_std.iloc:,0:9,axis1)datapd.melt(data,id_varsblueWins,var_nameFeatures,value_nameValues)fig,axplt.subplots(1,2,figsize(15,5)#绘制小提琴图sns.violinplot(xFeatures,yValues,hueblueWins,datadata,splitTrue,innerquart,axax0,paletteBlues)fig.autofmt_xdate(rotation45)dataxdata_std(data-data.mean()/data.s

12、td()datapd.concat(y,data_std.iloc:,9:18,axis1)datapd.melt(data,id_varsblueWins,var_nameFeatures,value_nameValues)#绘制小提琴图sns.violinplot(xFeatures,yValues,hueblueWins,datadata,splitTrue,innerquart,axax1,paletteBlues)fig.autofmt_xdate(rotation45)plt.show()小提琴图(ViolinPlot)是用来展示多组数据的分布状态和概率密度。这种图表结合了箱形图以

13、及密度图的特征主要用来显示数据的分布形状。从图中我们可以看出击杀英雄数量越多更容易赢死亡数量越多越容易输bluekills与bluedeaths左右的区别。助攻数量与击杀英雄数量形成的图形状类似讲明他们对游戏结果的影响差不多。一血的获得情况与获胜有正相关但是相关性不如击杀英雄数量明显。经济差与经历差对于游戏胜负的影响较小。击杀野怪数量对游戏胜负的影响并不大。plt.figure(figsize(18,14)sns.heatmap(round(x.corr(),2),cmapBlues,annotTrue)plt.show()同时我们画出各个特征之间的相关性热力图颜色越深代表特征之间相关性越强我

14、们剔除那些相关性较强的冗余特征。#去除冗余特征drop_colsredAvgLevel,blueAvgLevelx.drop(drop_cols,axis1,inplaceTrue)sns.set(stylewhitegrid,palettemuted)#构造两个新特征xwardsPlacedDiffxblueWardsPlaced-xredWardsPlacedxwardsDestroyedDiffxblueWardsDestroyed-xredWardsDestroyeddataxblueWardsPlaced,blueWardsDestroyed,wardsPlacedDiff,ward

15、sDestroyedDiff.sample(1000)data_std(data-data.mean()/data.std()datapd.concat(y,data_std,axis1)datapd.melt(data,id_varsblueWins,var_nameFeatures,value_nameValues)plt.figure(figsize(10,6)sns.swarmplot(xFeatures,yValues,hueblueWins,datadata)plt.xticks(rotation45)plt.show()我们画出了插眼数量的散点图发现不存在插眼数量与游戏胜负间的显

16、著规律。猜想由于钻石分段以上在哪插眼在哪好排眼都是套路所以数据中前特别钟插眼数拔眼数对游戏的影响不大。所以我们暂时先把这些特征去掉。#去除以及眼位相关的特征drop_colsblueWardsPlaced,blueWardsDestroyed,wardsPlacedDiff,wardsDestroyedDiff,redWardsPlaced,redWardsDestroyedx.drop(drop_cols,axis1,inplaceTrue)xkillsDiffxblueKills-xblueDeathsxassistsDiffxblueAssists-xredAssistsxblueKil

17、ls,blueDeaths,blueAssists,killsDiff,assistsDiff,redAssists.hist(figsize(12,10),bins20)plt.show()我们发现击杀、死亡与助攻数的数据分布差异不大。但是击杀减去死亡、助攻减去死亡的分布与原分布差异很大因此我们新构造这么两个特征。dataxblueKills,blueDeaths,blueAssists,killsDiff,assistsDiff,redAssists.sample(1000)data_std(data-data.mean()/data.std()datapd.concat(y,data_s

18、td,axis1)datapd.melt(data,id_varsblueWins,var_nameFeatures,value_nameValues)plt.figure(figsize(10,6)sns.swarmplot(xFeatures,yValues,hueblueWins,datadata)plt.xticks(rotation45)plt.show()从上图我们可以发现击杀数与死亡数与助攻数和我们构造的特征对数据都有较好的分类才能。datapd.concat(y,x,axis1).sample(500)sns.pairplot(data,varsblueKills,blueDe

19、aths,blueAssists,killsDiff,assistsDiff,redAssists,hueblueWins)plt.show()一些特征两两组合后对于数据的划分才能也有提升。xdragonsDiffxblueDragons-xredDragonsxheraldsDiffxblueHeralds-xredHeraldsxeliteDiffxblueEliteMonsters-xredEliteMonstersdatapd.concat(y,x,axis1)eliteGroupdata.groupby(eliteDiff)blueWins.mean()dragonGroupdata

20、.groupby(dragonsDiff)blueWins.mean()heraldGroupdata.groupby(heraldsDiff)blueWins.mean()fig,axplt.subplots(1,3,figsize(15,4)eliteGroup.plot(kindbar,axax0)dragonGroup.plot(kindbar,axax1)heraldGroup.plot(kindbar,axax2)print(eliteGroup)print(dragonGroup)print(heraldGroup)plt.show()我们构造了两队之间是否拿到龙、是否拿到峡谷先

21、锋、击杀大型野怪的数量差值发如今游戏的前期拿到龙比拿到峡谷先锋更容易获得成功。拿到大型野怪的数量以及胜率也存在着强相关。xtowerDiffxblueTowersDestroyed-xredTowersDestroyeddatapd.concat(y,x,axis1)towerGroupdata.groupby(towerDiff)blueWinsprint(towerGroup.count()print(towerGroup.mean()fig,axplt.subplots(1,2,figsize(15,5)towerGroup.mean().plot(kindline,axax0)ax0.

22、set_title(ProportionofBlueWins)ax0.set_ylabel(Proportion)towerGroup.count().plot(kindline,axax1)ax1.set_title(CountofTowersDestroyed)ax1.set_ylabel(Count)推塔是英雄联盟这个游戏的核心因此推塔数量可能与游戏的胜负有很大关系。我们绘图发现尽管前特别钟推掉第一座防御塔的概率很低但是一旦某只队伍推掉第一座防御塔获得游戏的胜率将大大增加。Step5利用LightGBM进展训练与预测#为了正确评估模型性能将数据划分为训练集以及测试集并在训练集上训练模型在

23、测试集上验证模型性能。fromsklearn.model_selectionimporttrain_test_split#选择其类别为0以及1的样本不包括类别为2的样本data_target_partydata_features_partx#测试集大小为20%80%/20%分x_train,x_test,y_train,y_testtrain_test_split(data_features_part,data_target_part,test_size0.2,random_state2020)#导入LightGBM模型fromlightgbm.sklearnimportLGBMClassif

24、ier#定义LightGBM模型clfLGBMClassifier()#在训练集上训练LightGBM模型clf.fit(x_train,y_train)#在训练集以及测试集上分布利用训练好的模型进展预测train_predictclf.predict(x_train)test_predictclf.predict(x_test)fromsklearnimportmetrics#利用accuracy准确度【预测正确的样本数目占总预测样本数目的比例】评估模型效果print(TheaccuracyoftheLogisticRegressionis:,metrics.accuracy_score(y

25、_train,train_predict)print(TheaccuracyoftheLogisticRegressionis:,metrics.accuracy_score(y_test,test_predict)#查看混淆矩阵(预测值以及真实值的各类情况统计矩阵)confusion_matrix_resultmetrics.confusion_matrix(test_predict,y_test)print(Theconfusionmatrixresult:n,confusion_matrix_result)#利用热力图对于结果进展可视化plt.figure(figsize(8,6)sns

26、.heatmap(confusion_matrix_result,annotTrue,cmapBlues)plt.xlabel(Predictedlabels)plt.ylabel(Truelabels)plt.show()我们可以发现共有718707个样本预测正确306245个样本预测错误。Step7:利用LightGBM进展特征选择LightGBM的特征选择属于特征选择中的嵌入式方法在LightGBM中可以用属性feature_importances_去查看特征的重要度。sns.barplot(ydata_features_part.columns,xclf.feature_importa

27、nces_)总经济差距等特征助攻数量、击杀死亡数量等特征都具有很大的作用。插眼数、推塔数对模型的影响并不大。初次之外我们还可以使用LightGBM中的以下重要属性来评估特征的重要性。gain:当利用特征做划分的时候的评价基尼指数split:是以特征用到的次数来评价fromsklearn.metricsimportaccuracy_scorefromlightgbmimportplot_importancedefestimate(model,data):#sns.barplot(data.columns,model.feature_importances_)ax1plot_importance(

28、model,importance_typegain)ax1.set_title(gain)ax2plot_importance(model,importance_typesplit)ax2.set_title(split)plt.show()defclasses(data,label,test):modelLGBMClassifier()model.fit(data,label)ansmodel.predict(test)estimate(model,data)returnansansclasses(x_train,y_train,x_test)preaccuracy_score(y_test

29、,ans)print(acc,accuracy_score(y_test,ans)这些图同样可以帮助我们更好的解析其他重要特征。Step8:通过调整参数获得更好的效果LightGBM中包括但不限于以下对模型影响较大的参数learning_rate:有时也叫作eta系统默认值为0.3。每一步迭代的步长很重要。太大了运行准确率不高太小了运行速度慢。num_leaves系统默认为32。这个参数控制每棵树中最大叶子节点数量。feature_fraction系统默认值为1。我们一般设置成0.8左右。用来控制每棵随机采样的列数的占比(每一列是一个特征)。max_depth系统默认值为6我们常用3-10之间

30、的数字。这个值为树的最大深度。这个值是用来控制过拟合的。max_depth越大模型学习的更加详细。调节模型参数的方法有贪心算法、网风格参、贝叶斯调参等。这里我们采用网风格参它的根本思想是穷举搜索在所有候选的参数选择中通过循环遍历尝试每一种可能性表现最好的参数就是最终的结果。#从sklearn库中导入网风格参函数fromsklearn.model_selectionimportGridSearchCV#定义参数取值范围learning_rate0.1,0.3,0.6feature_fraction0.5,0.8,1num_leaves16,32,64max_depth-1,3,5,8parame

31、terslearning_rate:learning_rate,feature_fraction:feature_fraction,num_leaves:num_leaves,max_depth:max_depthmodelLGBMClassifier(n_estimators50)#进展网格搜索clfGridSearchCV(model,parameters,cv3,scoringaccuracy,verbose3,n_jobs-1)clfclf.fit(x_train,y_train)#网格搜索后的最好参数为clf.best_params_#在训练集以及测试集上分布利用最好的模型参数进展预

32、测#定义带参数的LightGBM模型clfLGBMClassifier(feature_fraction0.8,learning_rate0.1,max_depth3,num_leaves16)#在训练集上训练LightGBM模型clf.fit(x_train,y_train)train_predictclf.predict(x_train)test_predictclf.predict(x_test)#利用accuracy准确度【预测正确的样本数目占总预测样本数目的比例】评估模型效果print(TheaccuracyoftheLogisticRegressionis:,metrics.acc

33、uracy_score(y_train,train_predict)print(TheaccuracyoftheLogisticRegressionis:,metrics.accuracy_score(y_test,test_predict)#查看混淆矩阵(预测值以及真实值的各类情况统计矩阵)confusion_matrix_resultmetrics.confusion_matrix(test_predict,y_test)print(Theconfusionmatrixresult:n,confusion_matrix_result)#利用热力图对于结果进展可视化plt.figure(fi

34、gsize(8,6)sns.heatmap(confusion_matrix_result,annotTrue,cmapBlues)plt.xlabel(Predictedlabels)plt.ylabel(Truelabels)plt.show()本来有306245个错误如今有287230个错误带来了明显的正确率提升。2.4重要知识点2.4.1LightGBM的重要参数2.4.1.1根本参数调整num_leaves参数这是控制树模型复杂度的主要参数一般的我们会使num_leaves小于2的max_depth次方以防止过拟合。由于LightGBM是leaf-wise建树与XGBoost的dep

35、th-wise建树方法不同num_leaves比depth有更大的作用。、min_data_in_leaf这是处理过拟合问题中一个非常重要的参数.它的值取决于训练数据的样本个树以及num_leaves参数.将其设置的较大可以防止生成一个过深的树,但有可能导致欠拟合.实际应用中,对于大数据集,设置其为几百或者几千就足够了.max_depth树的深度depth的概念在leaf-wise树中并没有多大作用,因为并不存在一个从leaves到depth的合理映射。2.4.1.2针对训练速度的参数调整通过设置bagging_fraction以及bagging_freq参数来使用bagging方法。通过设置

36、feature_fraction参数来使用特征的子抽样。选择较小的max_bin参数。使用save_binary在将来的学习经过对数据加载进展加速。2.4.1.3针对准确率的参数调整使用较大的max_bin学习速度可能变慢使用较小的learning_rate以及较大的num_iterations使用较大的num_leaves可能导致过拟合使用更大的训练数据尝试dart形式2.4.1.4针对过拟合的参数调整使用较小的max_bin使用较小的num_leaves使用min_data_in_leaf以及min_sum_hessian_in_leaf通过设置bagging_fraction以及bagg

37、ing_freq来使用bagging通过设置feature_fraction来使用特征子抽样使用更大的训练数据使用lambda_l1,lambda_l2以及min_gain_to_split来使用正那么尝试max_depth来防止生成过深的树2.4.2LightGBM原理粗略讲解LightGBM底层实现了GBDT算法并且添加了一系列的新特性基于直方图算法进展优化使数据存储更加方便、运算更快、鲁棒性强、模型更加稳定等。提出了带深度限制的Leaf-wise算法抛弃了大多数GBDT工具使用的按层生长(level-wise)的决策树生长策略而使用了带有深度限制的按叶子生长策略可以降低误差得到更好的精度

38、。提出了单边梯度采样算法排除大局部小梯度的样本仅用剩下的样本计算信息增益它是一种在减少数据量以及保证精度上平衡的算法。提出了互斥特征捆绑算法高维度的数据往往是稀疏的这种稀疏性启发我们设计一种无损的方法来减少特征的维度。通常被捆绑的特征都是互斥的即特征不会同时为非零值像one-hot这样两个特征捆绑起来就不会丧失信息。LightGBM是基于CART树的集成模型它的思想是串联多个决策树模型共同进展决策。那么怎样串联呢LightGBM采用迭代预测误差的方法串联。举个通俗的例子我们如今需要预测一辆车价值3000元。我们构建决策树1训练后预测为2600元我们发现有400元的误差那么决策树2的训练目的为400元但决策树2的预测结果为350元还存在50元的误差就交给第三棵树以此类推每一颗树用来估计之前所有树的误差最后所有树预测结果的求以及就是最终预测结果LightGBM的基模型是CART回归树它有两个特点1CART树是一颗二叉树。2回归树最后拟合结果是连续值。LightGBM模型可以表示为以下形式我们约定