统计软件R作业——adult、babiesI数据.pptx

数据分析与统计软件数据分析与统计软件作业作业姓名：杨烨军姓名：杨烨军学号：学号：20101101482010110148adultadult、babiesIbabiesI数据数据第一部分第一部分 adultadult数据数据22.4：组合方法：组合方法：adaboost、bagging、随机森林分析、随机森林分析2.1、2.2、2.3：rpart分析分析2.5：最近邻方法分析：最近邻方法分析2.6：人工神经网络分析：人工神经网络分析2.8：关联规则分析：关联规则分析2.7：支持向量机分析：支持向量机分析1数据简介数据简介目录目录1.1.数据简介数据简介v数据来自于数据来自于19941994年人口普查数据，经过年龄年人口普查数据，经过年龄1616、AGI100AGI100、AFNLWGT1AFNLWGT1和每周工作时间和每周工作时间00等条件筛选。等条件筛选。v共有共有4884248842个观测，其中：训练集个观测，其中：训练集3256132561个观个观测，测试集测，测试集1628116281个观测。个观测。v1 15 5个变量，其中：个变量，其中：6 6个连续性变量，个连续性变量，9 9个名义个名义变量。变量。资料来源：http:/archive.ics.uci.edu/ml/datasets/Adult任务：预测人们收入是否超过任务：预测人们收入是否超过5 5万万/年。年。变量描述变量描述序序号号变量名变量名序序号号变量名变量名1 class:分类（分类（50K,=50K）9 relationship:关系（妻子、丈夫等）关系（妻子、丈夫等）2 age:年龄（连续变量）年龄（连续变量）10 race:种族（白人、黑人等）种族（白人、黑人等）3 workclass:工作类别（私人、不工作等）工作类别（私人、不工作等）11 sex:性别（女、男）性别（女、男）4 fnlwgt:（连续性变量）（连续性变量）12 capital.gain:财产收益（连续变量）财产收益（连续变量）5 education:教育（学士、硕士、博士等）教育（学士、硕士、博士等）13 capital.loss:财产损失（连续变量）财产损失（连续变量）6 education.num:教育年限（连续变量）教育年限（连续变量）14 hours.per.week:每周工作时间（连续变量）每周工作时间（连续变量）7marital.status:婚姻状况（未婚、已婚配婚姻状况（未婚、已婚配偶为军人、已婚配偶为平民等）偶为军人、已婚配偶为平民等）15native.country:国籍（美国、柬埔寨、英国国籍（美国、柬埔寨、英国等）等）8 occupation:职业（技术支持、销售等职业（技术支持、销售等）数据概数据概览 age workclass fnlwgt education education.num marital.status1 39 State-gov 77516 Bachelors 13 Never-married2 50 Self-emp-not-inc 83311 Bachelors 13 Married-civ-spouse3 38 Private 215646 HS-grad 9 Divorced4 53 Private 234721 11th 7 Married-civ-spouse5 28 Private 338409 Bachelors 13 Married-civ-spouse occupation relationship race sex capital.gain capital.loss1 Adm-clerical Not-in-family White Male 2174 02 Exec-managerial Husband White Male 0 03 Handlers-cleaners Not-in-family White Male 0 04 Handlers-cleaners Husband Black Male 0 05 Prof-specialty Wife Black Female 0 0 hours.per.week native.country class1 40 United-States =50K2 13 United-States =50K3 40 United-States =50K4 40 United-States =50K5 40 Cuba =50K2.12.1分类树分类树rpartrpart分析分析:程序程序vlibrary(rpart);vw=read.table(e:/adult.txt,header=TRUE,sep=,);vwt=read.table(e:/adulttest.txt,header=TRUE,sep=,);vsummary(w);vsummary(wt);v(b=rpart(class.,w);vb;vplot(b,uniform=T,branch=1,margin=0.1,cex=0.9);vtext(b,cex=0.85);vtable(predict(b,w,type=class),wclass);vtable(predict(b,wt,type=class),wtclass)2.12.1分类树分类树rpartrpart分析：输出结果分析：输出结果vn=32561 vnode),split,n,loss,yval,(yprob)v *denotes terminal nodev 1)root 32561 7841 =50K(0.75919044 0.24080956)v 2)relationship=Not-in-family,Other-relative,Own-child,Unmarried 17800 1178 =50K(0.93382022 0.06617978)v 4)capital.gain 7073.5 17482 872 =7073.5 318 12 50K(0.03773585 0.96226415)*v 3)relationship=Husband,Wife 14761 6663 =50K(0.54860782 0.45139218)v 6)education=10th,11th,12th,1st-4th,5th-6th,7th-8th,9th,Assoc-acdm,Assoc-voc,HS-grad,Preschool,Some-college 10329 3456 =50K(0.66540807 0.33459193)v 12)capital.gain 5095.5 9807 2944 =5095.5 522 10 50K(0.01915709 0.98084291)*v 7)education=Bachelors,Doctorate,Masters,Prof-school 4432 1225 50K(0.27639892 0.72360108)*关系：未婚、自关系：未婚、自己为孩子、不在己为孩子、不在家庭、其他家庭、其他关系：丈夫、妻关系：丈夫、妻子子学历较高学历较高学历较低学历较低财产收益财产收益大于大于50965096财产收益收益大于大于7074财产收益财产收益小于小于70747074财产收益财产收益小于小于509650962.12.1分类树分类树rpartrpart分析：输出结果分析：输出结果训练集训练集w分类分类结果结果真实真实50K预测预测50K12474025误判率：0.155493测试集集wtwt分分类结果果真真实50K预测50K6301945误判率：0.155457 2.12.1分类树分类树rpartrpart分析：结论分析：结论v可见：年工资收入是否超过可见：年工资收入是否超过5 5万，与个人在家庭中万，与个人在家庭中担任的角色、所受教育和财产收益有关。担任的角色、所受教育和财产收益有关。v个人如果是家庭的丈夫或者妻子，收入相对较高；个人如果是家庭的丈夫或者妻子，收入相对较高；v所受教育越高，收入相对较高；所受教育越高，收入相对较高；v财产收益越高，收入相对较高。财产收益越高，收入相对较高。v判断一个人年收入是否超过判断一个人年收入是否超过5 5万，可从万，可从关系、教育、关系、教育、财产收益财产收益三个变量表现来决定。三个变量表现来决定。2.22.2分类树分类树rpartrpart分析：程序（变量筛选分析：程序（变量筛选1 1）v考考虑到到education（教育）与（教育）与education.num（教育年限）（教育年限）相关性相关性较大，只采用大，只采用education.num（教育年限）。（教育年限）。vsummary(w);v(b1=rpart(classage+workclass+education.num+marital.status+occupation+race+sex+capital.gain+capital.loss+hours.per.week+native.country,w);vb1;vplot(b1);vtext(b1,use.n=T)vtable(predict(b1,w,type=class),wclass);vtable(predict(b1,wt,type=class),wtclass)2.22.2分类树分类树rpartrpart分析：输出（变量筛选分析：输出（变量筛选1 1）vn=32561 vnode),split,n,loss,yval,(yprob)v *denotes terminal nodev 1)root 32561 7841 =50K(0.75919044 0.24080956)v 2)marital.status=Divorced,Married-spouse-absent,Never-married,Separated,Widowed 17562 1139 =50K(0.93514406 0.06485594)v 4)capital.gain 7139.5 17252 840 =7139.5 310 11 50K(0.03548387 0.96451613)*v 3)marital.status=Married-AF-spouse,Married-civ-spouse 14999 6702 =50K(0.55317021 0.44682979)v 6)education.num 12.5 10526 3484 =50K(0.66901007 0.33098993)v 12)capital.gain 5095.5 9998 2967 =5095.5 528 11 50K(0.02083333 0.97916667)*v 7)education.num=12.5 4473 1255 50K(0.28057232 0.71942768)*婚姻状况：离婚、配婚姻状况：离婚、配偶失踪、丧偶等偶失踪、丧偶等婚姻状况：已婚婚姻状况：已婚有配偶有配偶学历学历较高高学历较低学历较低可可见：年工：年工资收入是否超收入是否超过5万，与婚姻状况、万，与婚姻状况、所受教育和所受教育和财产收益有关。收益有关。训练集训练集w分类分类结果结果真实真实50K预测预测50K12774034误判率：0.156138 测试集集wtwt分分类结果果真真实50K预测50K6331953误判率：0.155150 测试集误判率略有降低，变量不筛选时误判率为0.155457 2.22.2分类树分类树rpartrpart分析：结果（变量筛选分析：结果（变量筛选1 1）v再考再考虑到到capital.gain、capital.loss本身与收入本身与收入类别紧密相关，密相关，为挖掘其余挖掘其余变量与收入量与收入类别的关系，的关系，这里分析中不包括里分析中不包括capital.gain与与capital.loss变量。量。v(b2=rpart(classage+workclass+education.num+marital.status+occupation+race+sex+hours.per.week+native.country,w);vb2;vplot(b2);vtext(b2,use.n=T)vtable(predict(b2,w,type=class),wclass);vtable(predict(b2,wt,type=class),wtclass)2.32.3分类树分类树rpartrpart分析：程序（变量筛选分析：程序（变量筛选2 2）vn=32561 vnode),split,n,loss,yval,(yprob)v *denotes terminal nodev1)root 32561 7841 =50K(0.75919044 0.24080956)v 2)marital.status=Divorced,Married-spouse-absent,Never-married,Separated,Widowed 17562 1139 =50K(0.93514406 0.06485594)*v 3)marital.status=Married-AF-spouse,Married-civ-spouse 14999 6702 =50K(0.55317021 0.44682979)v 6)education.num 12.5 10526 3484 =12.5 4473 1255 50K(0.28057232 0.71942768)*婚姻状况：离婚、配婚姻状况：离婚、配偶失踪、分居等偶失踪、分居等婚姻状况：已婚婚姻状况：已婚有配偶有配偶受教育年限受教育年限不考虑财产收益与损耗情况下，收入类不考虑财产收益与损耗情况下，收入类别与婚姻状况、受教育年限关系较强。别与婚姻状况、受教育年限关系较强。2.32.3分类树分类树rpartrpart分析：结果（变量筛选分析：结果（变量筛选2 2）训练集训练集w分类分类结果结果真实真实50K预测预测50K12553218误判率：误判率：0.180523 测试集集wtwt分分类结果果真真实=50K50K50K预测=50K50K50K62462415731573误判率：判率：0.177937 0.177937 与前面分析相比，训练集、测试集误判率均有所上升，因为这里少了财产收益和损失的信息。2.32.3分类树分类树rpartrpart分析：结果（变量筛选分析：结果（变量筛选2 2）vlibrary(adabag);vb4=adaboost.M1(class.,data=w,mfinal=15,maxdepth=5)vb4.pred-predict.boosting(b4,newdata=w);b4.pred-1vb5.pred-predict.boosting(b4,newdata=wt);b5.pred-1vbarplot(b4$importance)vb4$importance训练集：Observed ClassPredicted Class 50K 50K 869 3937$error1 0.1465864测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.2362263测试集中全部判断为 b4$importancev age workclass fnlwgt education education.num v 11.764706 0.000000 0.000000 15.294118 1.176471 vmarital.status occupation relationship race sex v 7.058824 12.941176 9.411765 0.000000 0.000000 v capital.gain capital.loss hours.per.week native.country v 24.705882 9.411765 8.235294 0.000000重要性较强的变量有：capital.gain educationoccupation age2.42.4组合方法之组合方法之adaboostadaboost分析分析vlibrary(mlbench);vb6=adaboost.M1(class.,data=w,mfinal=25,maxdepth=5)vb6.pred-predict.boosting(b6,newdata=w);b6.pred-1vb7.pred-predict.boosting(b6,newdata=wt);b7.pred-1vbarplot(b6$importance)vb6$importance训练集：Observed ClassPredicted Class 50K 50K 1255 4475$error1 0.1419182测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.2362263测试集中仍全部判断为 b6$importancev age workclass fnlwgt education education.num v 10.6666667 0.0000000 0.0000000 12.6666667 2.0000000 vmarital.status occupation relationship race sex v 6.6666667 12.6666667 9.3333333 0.0000000 0.0000000 v capital.gain capital.loss hours.per.week native.country v 26.0000000 10.0000000 9.3333333 0.6666667 重要性较强的变量有：capital.gain occupation educationagecapital.loss2.42.4组合方法之组合方法之adaboostadaboost分析分析vb8=bagging(class.,data=w,mfinal=25,maxdepth=5)vb8.pred=predict.bagging(b8,newdata=w);b8.pred-1vb9.pred=predict.bagging(b8,newdata=wt);b9.pred-1vbarplot(b8$importance)vb8$importanceCompany Logo训练集：Observed ClassPredicted Class 50K 50K 1247 4025$error1 0.1554928测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.2362263测试集中仍全部判断为 b8$importancev age workclass fnlwgt education education.num v 0.000000 0.000000 0.000000 18.518519 3.703704 vmarital.status occupation relationship race sex v 0.000000 3.703704 23.148148 0.000000 0.000000 v capital.gain capital.loss hours.per.week native.country v 49.074074 1.851852 0.000000 0.000000 重要性较强的变量与前面有所差异：capital.gain relationship educationoccupation education.numcapital.loss2.42.4组合方法之组合方法之baggingbagging分析分析v b10=randomForest(class.,data=w,importance=TRUE)v错误于于randomForest.default(m,y,.):v Can not handle categorical predictors with more than 32 categories.vrandomForest不能不能处理理32个分个分类以上的名以上的名义变量的量的预测，native.country（国籍）（国籍）变量有量有41个个类别，剔除，剔除native.country。vb10=randomForest(classage+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=w,importance=TRUE)#剔除剔除native.countryv错误:无法分配大小无法分配大小为248.4 Mb的矢量的矢量v此外此外:警告信息：警告信息：v1:In as.vector(data):v Reached total allocation of 1023Mb:see help(memory.size)vv由于由于训练集集观测较多，多，计32561个个观测，处理量理量较大，无法大，无法处理。理。2.42.4组合方法之随机森林组合方法之随机森林分析：程序分析：程序v考考虑从从w中抽取中抽取1/3为训练集，集，则可运行。可运行。vm=nrow(w);m;set.seed(1);samp=sample(1:m,floor(m/3);vb11=randomForest(classage+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=wsamp,importance=TRUE)vtable(predict(b11,w,type=class),wclass)vtable(predict(b11,wt,type=class),wtclass)w w分分类结果果真真实50K预测50K15595317误判率：0.125395 w wt t分分类结果果真真实50K预测50K1097109721642164误判率：0.170690 0.170690 2.42.4组合方法之随机森林组合方法之随机森林分析：程序分析：程序vpar(mfrow=c(1,2);for(i in 1:2)barplot(t(importance(b11)i,cex.names=0.7)2.42.4组合方法之随机森林组合方法之随机森林分析：输出结果分析：输出结果2.5最近最近邻方法分析：程序方法分析：程序v训练集集w有有32561个个观测，测试集集wt有有16281个个观测，观测较多多R软件件较难处理。理。这里分里分别取取训练集集w和和测试集集wt的的1/10进行行处理。理。vlibrary(kknn);vw=read.table(e:/adult.txt,header=TRUE,sep=,);vwt=read.table(e:/adulttest.txt,header=TRUE,sep=,);vn=nrow(w);set.seed(1);test=sample(1:n,n/10)vn1=nrow(wt);set.seed(2);test1=sample(1:n1,n1/10)va=kknn(class .,wtest,wttest1,)vtable(wttest1,$class,a$fit)2.5最近最近邻方法分析：方法分析：结果果测试集集wtwt分分类结果（果（1/101/10）真真实50K预测50K28278误判率：0.201474 由分由分类结果可以看出，果可以看出，误判率判率为0.201474，与前面不，与前面不平衡数据的平衡数据的组合分析相比，分合分析相比，分类效果好。效果好。2.6人工神人工神经网网络分析：程序分析：程序vlibrary(nnet);library(mlbench);vw=read.table(e:/adult.txt,header=TRUE,sep=,);vwt=read.table(e:/adulttest.txt,header=TRUE,sep=,);vw.nn1=nnet(class .,data=w,size=2,rang=0.1,decay=5e-4,maxit=1000)vtable(w$class,predict(w.nn1,w,type=class)vtable(wt$class,predict(w.nn1,wt,type=class)2.6人工神人工神经网网络分析：分析：结果果sizesize训练集训练集w w误判率误判率测试测试集集wtwt误判率误判率20.24081 0.23623 30.24029 0.23518 40.24075 0.23610 50.24035 0.23543 60.18648 0.19102 70.19757 0.19692 80.19554 0.19403 90.19588 0.19471 隐藏层节点数由隐藏层节点数由2 2至至9 9的训练集的训练集w w、测试集、测试集wtwt的误判率见左下表。节点数为的误判率见左下表。节点数为1010时由于时由于too many(1123)weightstoo many(1123)weights，无法处理。可以看出，节点数为，无法处理。可以看出，节点数为6 6时，时，训练集训练集w w、测试集、测试集wtwt的误判率均最小。的误判率均最小。节点数点数为6 6，训练集集w w分分类结果果真真实50K预测50K33894452误判率：0.186481 节点数点数为6 6，测试集集wtwt分分类结果果真真实50K预测50K17132133误判率：0.191020 2.7支持向量机分析：程序支持向量机分析：程序vlibrary(mlbench);library(e1071);vw=read.table(e:/adult.txt,header=TRUE,sep=,);vwt=read.table(e:/adulttest.txt,header=TRUE,sep=,);vww=rbind(w,wt);summary(ww)vmodel-svm(class .,data=ww1:32561,kernal=sigmoid)vpred.train-fitted(model)v(r1=table(pred.train,ww$class1:32561)vpred.test-predict(model,ww32562:48842,-15)v(r2=table(pred.test,ww$class32562:48842)2.7支持向量机分析：支持向量机分析：结果果训练集训练集w分类分类结果结果真实真实50K预测预测50K14214534误判率：误判率：0.145204 测试集集wtwt分分类结果果真真实=50K50K50K预测=50K50K50K72172121842184误判率：判率：0.146367 0.146367 训练集、测试集误判率均有所下降，但区别不大vlibrary(arules);vw=read.table(e:/adult.txt,header=TRUE,sep=,);summary(w);vwfnlwgt-NULL;vwage-ordered(cut(wage,c(15,25,45,65,100),labels=c(Young,Middle-aged“,Senior,Old);#把年龄数据变换成分类数据把年龄数据变换成分类数据vweducation.num-ordered(cut(weducation.num,c(0,9,13,16),labels=c(low,Middle,up);vwhours.per.week-ordered(cut(whours.per.week,c(0,25,40,60,168),labels=c(Part-time,Full-time,Over-time,Workaholic);vwcapital.gain 0),Inf),labels=c(None,Low,High);vwcapital.loss 0),Inf),labels=c(none,low,high);vww50K&lift 1.2);vinspect(SORT(x,by=lift)1:5);vx=subset(rules,subset=rhs%in%class=1.2);vinspect(SORT(x,by=lift)1:5)2.82.8关联规则关联规则分析：程序分析：程序v lhs rhs support confidence liftv1 age=Middle-aged,v marital.status=Married-civ-spouse,v capital.gain=High,v native.country=United-States =class=50K 0.01087190 1.0000000 4.152659v2 age=Middle-aged,v sex=Male,v capital.gain=High,v native.country=United-States =class=50K 0.01237677 0.9975248 4.142380v3 age=Middle-aged,v marital.status=Married-civ-spouse,v capital.gain=High =class=50K 0.01176254 0.9973958 4.141845v4 age=Middle-aged,v marital.status=Married-civ-spouse,v capital.gain=High,v capital.loss=none =class=50K 0.01176254 0.9973958 4.141845v5 workclass=Private,v relationship=Husband,v race=White,v capital.gain=High =class=50K 0.01170111 0.9973822 4.141788中年、中年、结婚配偶婚配偶为平平民、民、财产收益高的美收益高的美国籍人，年收入一般国籍人，年收入一般会超会超过5万万中年、中年、财产收益高的收益高的美国籍男性，年收入美国籍男性，年收入一般会超一般会超过5万万私人、丈夫、私人、丈夫、财产收收益高的白人，年收入益高的白人，年收入一般会超一般会超过5万万收入较高者的特征：中年、结婚配偶收入较高者的特征：中年、结婚配偶为平民、财产收益高、美国籍为平民、财产收益高、美国籍2.82.8关联规则关联规则分析：结果分析：结果v lhs rhs support confidence liftv1 education=11th,v hours.per.week=Part-time =class=class=class=class=class=50K 0.01114831 1 1.317193受教育受教育11年的年的业余余工作的人，年收入一工作的人，年收入一般会低于般会低于5万万业余工作年余工作年轻人，一般人，一般会低于会低于5万万学学历较低的低的业余工作余工作者，一般会低于者，一般会低于5万万受教育受教育11年、年、业余余工作、美国籍，一工作、美国籍，一般会低于般会低于5万万受教育受教育11年、无年、无财产收益的收益的业余工作者，余工作者，一般会低于一般会低于5万万收入较低者的特征：无稳定工作、学收入较低者的特征：无稳定工作、学历较低、无财产收益历较低、无财产收益2.82.8关联规则关联规则分析：结果分析：结果两点启示：两点启示：1.1.好好学习，天天向上。好好学习，天天向上。2.2.家庭和谐。家庭和谐。第二部分第二部分 babiesIbabiesI数据数据1.1.数据简介数据简介vbwtbwt：婴儿出生时体重，连续变量，单位为盎司：婴儿出生时体重，连续变量，单位为盎司（1 1盎司盎司 =28.3495231=28.3495231 克）；克）；vsmokesmoke：0 0，1 1或或9 9，分类变量。，分类变量。0 0表示不吸，表示不吸，1 1表示表示吸，吸，9 9是不知道。是不知道。资料来源：http:/www.stat.berkeley.edu/users/statlabs/labs.html任务：考察婴儿出生时体重与母亲是否吸烟的关系。任务：考察婴儿出生时体重与母亲是否吸烟的关系。该数据是该数据是1960-19671960-1967年年San FranciscoSan Francisco-East-East Bay AreaBay Area关于婴儿出生时体重与母亲是否关于婴儿出生时体重与母亲是否吸烟的数据，共有吸烟的数据，共有12361236个观测。个观测。2.方差分析方差分析baby=read.table(e:/babiesI.txt,header=TRUE,sep=,)summary(baby)aov1F)as.factor(smoke)2 23911 11955.5 38.109 2.2e-16*Residuals 1233 386811 313.7 -Signif.codes:0*0.001*0.01*0.05.0.1 1 p p值远小于值远小于0.010.01应拒绝原假设，即认为母亲是否吸烟与应拒绝原假设，即认为母亲是否吸烟与婴儿出生时体重有显著的相关关系。婴儿出生时体重有显著的相关关系。3.3.回归分析：程序回归分析：程序v构建构建bwt与与smoke的回归方程，的回归方程，smoke为分类变量，为分类变量，故取故取as.factor(smoke)回归。回归。vbaby=read.table(e:/babiesI.txt,header=TRUE,sep=,)vsummary(baby)vlm1|t|)v(Intercept)123.0472 0.6502 189.237 2e-16*vas.factor(smoke)1 -8.9377 1.0349 -8.636 2e-16*vas.factor(smoke)9 3.6528 5.6386 0.648 0.517 v-vSignif.codes:0*0.001*0.01*0.05.0.1 1 vResidual standard error:17.71 on 1233 degrees of freedomvMultiple R-squared:0.05822,Adjusted R-squared:0.05669 vF-statistic:38.11 on 2 and 1233 DF,p-value:shapiro.test(lm1$residuals)Shapiro-Wilk normality testdata:lm1$residuals W=0.9946,p-value=0.00020544.4.列联表分析：程序列联表分析：程序vbabybwt-ordered(cut(babybwt,c(0,88.18,141.10,180),labels=c(low,“middle,high);#88.18盎司盎司约合合2500克，低于克，低于2500克克为低体重，正常体重是低体重，正常体重是2500-4000克克vbabysmoke chisq.test(y1)v Pearsons Chi-squared testvdata:y1 vX-squared=26.0608,df=4,p-value=3.076e-054.4.列联表分析：输出结果列联表分析：输出结果vchisqchisq检验显示检验显示母亲是否吸烟与婴儿出生体重有较强的母亲是否吸烟与婴儿出生体重有较强的相关关系，对应分析图显示母亲吸烟的婴儿出生体重相相关关系，对应分析图显示母亲吸烟的婴儿出生体重相对对