(1.1.47)--课程汇报Data Mining the Water Table数据挖掘数据挖掘.ppt

PumpitUp:DataMiningtheWaterTableNUDTNUDT问题背景01 特征选择03 数据分析与处理02数据模型与结果04目 录Drivendata竞赛平台使用来自Taarifa和坦桑尼亚水泵数据，根据涉及泵的运行类型、安装时间以及管理方式，预测水泵功能正常、需要维修、不起作用。明确地了解哪些供水点失效可以改善维护操作并确保坦桑尼亚各社区可以获得清洁的饮用水。问题背景01NUDT竞赛背景竞赛背景数据分析与处理02NUDT数据分析数据分析Train.csv01Train_Labels.csv02共计39个参数，其中大量文本参数；60000训练集，15000测试集amount_tsh-Total static head(amount water available to waterpoint)date_recorded-The date the row was enteredfunder-Who funded the wellgps_height-Altitude of the wellinstaller-Organization that installed the welllongitude-GPS coordinatelatitude-GPS coordinatewpt_name-Name of the waterpoint if there is onenum_private-basin-Geographic water basinsubvillage-Geographic locationregion-Geographic locationregion_code-Geographic location(coded)scheme_management-Who operates the waterpointscheme_name-Who operates the waterpointpermit-If the waterpoint is permitted数据分析与处理02NUDT数据分析数据分析Train.csv01Train_Labels.csv02Test.csv03id:Preidct_group:预测是否可用construction_year-Year the waterpoint was constructedextraction_type-The kind of extraction the waterpoint usesextraction_type_group-The kind of extraction the waterpoint usesextraction_type_class-The kind of extraction the waterpoint usesmanagement-How the waterpoint is managedmanagement_group-How the waterpoint is managedpayment-What the water costspayment_type-What the water costswater_quality-The quality of the waterquality_group-The quality of the waterquantity-The quantity of waterquantity_group-The quantity of waterNUDT数据处理及参数选择03涉及文本类数据，主成分分析法不适用缺省值置为0或者Not known去掉无用特征id以及management_groupNUDT逻辑回归（LR）Extra-tree（ET）随机森林（RF）数据模型与结果04XGB模型随机森林采用双循随机森林采用双循环的方式的方式寻找最找最优节点数和决策点数和决策树数目，最数目，最终结合合电脑性能考性能考虑，确定最，确定最终节点数点数为300-40，精确度，精确度为0.8205以以测试集准确率集准确率为依据依据赋权投投票，取得分最高票，取得分最高0.8273，6000参参赛者，第者，第13名名NUDT数据预处理特征选择补齐去无用特征数据模型与结果04LR决策树RFXGB赋权机制模型训练预测结果数据模型感谢聆听NUDT