统计软件R作业-adult、babiesI数据.pptx

《统计软件R作业-adult、babiesI数据.pptx》由会员分享，可在线阅读，更多相关《统计软件R作业-adult、babiesI数据.pptx（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据分析与统计软件作业姓名：杨烨军学号：2010110148adult、babiesI数据第一部分 adult数据22.4：组合方法：adaboost、bagging、随机森林分析2.1、2.2、2.3：rpart分析2.5：最近邻方法分析2.6：人工神经网络分析2.8：关联规则分析2.7：支持向量机分析1数据简介目录1.数据简介v数据来自于1994年人口普查数据，经过年龄16、AGI100、AFNLWGT1和每周工作时间0等条件筛选。v共有48842个观测，其中：训练集32561个观测，测试集16281个观测。v15个变量，其中：6个连续性变量，9个名义变量。资料来源：任务：预测人们收入是否

2、超过5万/年。变量描述序号变量名序号变量名1 class:分类（50K,=50K）9 relationship:关系（妻子、丈夫等）2 age:年龄（连续变量）10 race:种族（白人、黑人等）3 workclass:工作类别（私人、不工作等）11 sex:性别（女、男）4 fnlwgt:（连续性变量）12 capital.gain:财产收益（连续变量）5 education:教育（学士、硕士、博士等）13 capital.loss:财产损失（连续变量）6 education.num:教育年限（连续变量）14 hours.per.week:每周工作时间（连续变量）7marital.statu

3、s:婚姻状况（未婚、已婚配偶为军人、已婚配偶为平民等）15native.country:国籍（美国、柬埔寨、英国等）8 occupation:职业（技术支持、销售等）数据概览 age workclass fnlwgt education education.num marital.status1 39 State-gov 77516 Bachelors 13 Never-married2 50 Self-emp-not-inc 83311 Bachelors 13 Married-civ-spouse3 38 Private 215646 HS-grad 9 Divorced4 53 Priv

4、ate 234721 11th 7 Married-civ-spouse5 28 Private 338409 Bachelors 13 Married-civ-spouse occupation relationship race sex capital.gain capital.loss1 Adm-clerical Not-in-family White Male 2174 02 Exec-managerial Husband White Male 0 03 Handlers-cleaners Not-in-family White Male 0 04 Handlers-cleaners

5、Husband Black Male 0 05 Prof-specialty Wife Black Female 0 0 hours.per.week native.country class1 40 United-States=50K2 13 United-States=50K3 40 United-States=50K4 40 United-States=50K5 40 Cuba=50K2.1分类树rpart分析:程序v library(rpart);v w=read.table(e:/adult.txt,header=TRUE,sep=,);v wt=read.table(e:/adul

6、ttest.txt,header=TRUE,sep=,);v summary(w);v summary(wt);v(b=rpart(class.,w);v b;v plot(b,uniform=T,branch=1,margin=0.1,cex=0.9);v text(b,cex=0.85);v table(predict(b,w,type=class),wclass);v table(predict(b,wt,type=class),wtclass)2.1分类树rpart分析：输出结果v n=32561 v node),split,n,loss,yval,(yprob)v*denotes t

7、erminal nodev 1)root 32561 7841=50K(0.75919044 0.24080956)v 2)relationship=Not-in-family,Other-relative,Own-child,Unmarried 17800 1178=50K(0.93382022 0.06617978)v 4)capital.gain 7073.5 17482 872=7073.5 318 12 50K(0.03773585 0.96226415)*v 3)relationship=Husband,Wife 14761 6663=50K(0.54860782 0.451392

8、18)v 6)education=10th,11th,12th,1st-4th,5th-6th,7th-8th,9th,Assoc-acdm,Assoc-voc,HS-grad,Preschool,Some-college 10329 3456=50K(0.66540807 0.33459193)v 12)capital.gain 5095.5 9807 2944=5095.5 522 10 50K(0.01915709 0.98084291)*v 7)education=Bachelors,Doctorate,Masters,Prof-school 4432 1225 50K(0.27639

9、892 0.72360108)*关系：未婚、自己为孩子、不在家庭、其他关系：丈夫、妻子学历较高学历较低财产收益大于5096财产收益大于7074财产收益小于7074财产收益小于50962.1分类树rpart分析：输出结果训练集w分类结果真实50K预测50K 1247 4025误判率：0.155493测试集wt分类结果 真实 50K预测50K 630 1945误判率：0.155457 2.1分类树rpart分析：结论v可见：年工资收入是否超过5万，与个人在家庭中担任的角色、所受教育和财产收益有关。v个人如果是家庭的丈夫或者妻子，收入相对较高；v所受教育越高，收入相对较高；v财产收益越高，收入相对较

10、高。v判断一个人年收入是否超过5万，可从关系、教育、财产收益三个变量表现来决定。2.2分类树rpart分析：程序（变量筛选1）v 考虑到education（教育）与education.num（教育年限）相关性较大，只采用education.num（教育年限）。v summary(w);v(b1=rpart(classage+workclass+education.num+marital.status+occupation+race+sex+capital.gain+capital.loss+hours.per.week+native.country,w);v b1;v plot(b1);v t

11、ext(b1,use.n=T)v table(predict(b1,w,type=class),wclass);v table(predict(b1,wt,type=class),wtclass)2.2分类树rpart分析：输出（变量筛选1）v n=32561 v node),split,n,loss,yval,(yprob)v*denotes terminal nodev 1)root 32561 7841=50K(0.75919044 0.24080956)v 2)marital.status=Divorced,Married-spouse-absent,Never-married,Sep

12、arated,Widowed 17562 1139=50K(0.93514406 0.06485594)v 4)capital.gain 7139.5 17252 840=7139.5 310 11 50K(0.03548387 0.96451613)*v 3)marital.status=Married-AF-spouse,Married-civ-spouse 14999 6702=50K(0.55317021 0.44682979)v 6)education.num 12.5 10526 3484=50K(0.66901007 0.33098993)v 12)capital.gain 50

13、95.5 9998 2967=5095.5 528 11 50K(0.02083333 0.97916667)*v 7)education.num=12.5 4473 1255 50K(0.28057232 0.71942768)*婚姻状况：离婚、配偶失踪、丧偶等婚姻状况：已婚有配偶学历较高学历较低可见：年工资收入是否超过5 万，与婚姻状况、所受教育和财产收益有关。训练集w分类结果真实50K预测50K 1277 4034误判率：0.156138 测试集wt分类结果 真实 50K预测50K 633 1953误判率：0.155150 测试集误判率略有降低，变量不筛选时误判率为0.155457 2.

14、2分类树rpart分析：结果（变量筛选1）v 再考虑到capital.gain、capital.loss 本身与收入类别紧密相关，为挖掘其余变量与收入类别的关系，这里分析中不包括capital.gain 与capital.loss 变量。v(b2=rpart(classage+workclass+education.num+marital.status+occupation+race+sex+hours.per.week+native.country,w);v b2;v plot(b2);v text(b2,use.n=T)v table(predict(b2,w,type=class),wc

15、lass);v table(predict(b2,wt,type=class),wtclass)2.3分类树rpart分析：程序（变量筛选2）v n=32561 v node),split,n,loss,yval,(yprob)v*denotes terminal nodev 1)root 32561 7841=50K(0.75919044 0.24080956)v 2)marital.status=Divorced,Married-spouse-absent,Never-married,Separated,Widowed 17562 1139=50K(0.93514406 0.0648559

16、4)*v 3)marital.status=Married-AF-spouse,Married-civ-spouse 14999 6702=50K(0.55317021 0.44682979)v 6)education.num 12.5 10526 3484=12.5 4473 1255 50K(0.28057232 0.71942768)*婚姻状况：离婚、配偶失踪、分居等婚姻状况：已婚有配偶受教育年限不考虑财产收益与损耗情况下，收入类别与婚姻状况、受教育年限关系较强。2.3分类树rpart分析：结果（变量筛选2）训练集w分类结果 真实 50K预测50K 1255 3218误判率：0.1805

17、23 测试集wt分类结果 真实 50K预测50K 624 1573误判率：0.177937 与前面分析相比，训练集、测试集误判率均有所上升，因为这里少了财产收益和损失的信息。2.3分类树rpart分析：结果（变量筛选2）v library(adabag);v b4=adaboost.M1(class.,data=w,mfinal=15,maxdepth=5)v b4.pred-predict.boosting(b4,newdata=w);b4.pred-1v b5.pred-predict.boosting(b4,newdata=wt);b5.pred-1v barplot(b4$import

18、ance)v b4$importance训练集：Observed ClassPredicted Class 50K 50K 869 3937$error1 0.1465864测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.2362263测试集中全部判断为=50K。2.4组合方法之adaboost分析v b4$importancev age workclass fnlwgt education education.num v 11.764706 0.000000 0.000000 15.294118 1.176471

19、v marital.status occupation relationship race sex v 7.058824 12.941176 9.411765 0.000000 0.000000 v capital.gain capital.loss hours.per.week native.country v 24.705882 9.411765 8.235294 0.000000重要性较强的变量有：capital.gain educationoccupation age2.4组合方法之adaboost分析v library(mlbench);v b6=adaboost.M1(class.

20、,data=w,mfinal=25,maxdepth=5)v b6.pred-predict.boosting(b6,newdata=w);b6.pred-1v b7.pred-predict.boosting(b6,newdata=wt);b7.pred-1v barplot(b6$importance)v b6$importance训练集：Observed ClassPredicted Class 50K 50K 1255 4475$error1 0.1419182测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.

21、2362263测试集中仍全部判断为=50K。mfinal 增加至25训练集误判率有所下降，相差不大2.4组合方法之adaboost分析v b6$importancev age workclass fnlwgt education education.num v 10.6666667 0.0000000 0.0000000 12.6666667 2.0000000 v marital.status occupation relationship race sex v 6.6666667 12.6666667 9.3333333 0.0000000 0.0000000 v capital.gain

22、 capital.loss hours.per.week native.country v 26.0000000 10.0000000 9.3333333 0.6666667 重要性较强的变量有：capital.gain occupation educationagecapital.loss2.4组合方法之adaboost分析v b8=bagging(class.,data=w,mfinal=25,maxdepth=5)v b8.pred=predict.bagging(b8,newdata=w);b8.pred-1v b9.pred=predict.bagging(b8,newdata=wt

23、);b9.pred-1v barplot(b8$importance)v b8$importanceCompany Logo训练集：Observed ClassPredicted Class 50K 50K 1247 4025$error1 0.1554928测试集：Observed ClassPredicted Class 50K.=50K.12435 3846$error1 0.2362263测试集中仍全部判断为=50K。与adaboost 方法相比，训练集误判率有所上升2.4组合方法之bagging分析v b8$importancev age workclass fnlwgt educa

24、tion education.num v 0.000000 0.000000 0.000000 18.518519 3.703704 v marital.status occupation relationship race sex v 0.000000 3.703704 23.148148 0.000000 0.000000 v capital.gain capital.loss hours.per.week native.country v 49.074074 1.851852 0.000000 0.000000 重要性较强的变量与前面有所差异：capital.gain relations

25、hip educationoccupation education.numcapital.loss2.4组合方法之bagging分析v b10=randomForest(class.,data=w,importance=TRUE)v 错误于randomForest.default(m,y,.):v Can not handle categorical predictors with more than 32 categories.v randomForest 不能处理32个分类以上的名义变量的预测，native.country（国籍）变量有41个类别，剔除native.country。v b1

26、0=randomForest(classage+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=w,importance=TRUE)#剔除native.countryv 错误:无法分配大小为248.4 Mb的矢量v 此外:警告信息：v 1:In as.vector(data):v Reached total allocation of 1023Mb:see help(memory.size)v v 由于训练集观测较多，计32561个观测，处理量较大，无法处理。2.

27、4组合方法之随机森林分析：程序v 考虑从w 中抽取1/3 为训练集，则可运行。v m=nrow(w);m;set.seed(1);samp=sample(1:m,floor(m/3);v b11=randomForest(classage+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=wsamp,importance=TRUE)v table(predict(b11,w,type=class),wclass)v table(predict(b11,wt,type

28、=class),wtclass)w分类结果 真实 50K预测50K 1559 5317误判率：0.125395 wt分类结果 真实 50K预测50K1097 2164误判率：0.170690 2.4组合方法之随机森林分析：程序v par(mfrow=c(1,2);for(i in 1:2)barplot(t(importance(b11)i,cex.names=0.7)2.4组合方法之随机森林分析：输出结果2.5 最近邻方法分析：程序v 训练集w 有32561 个观测，测试集wt 有16281 个观测，观测较多R软件较难处理。这里分别取训练集w 和测试集wt 的1/10 进行处理。v libr

29、ary(kknn);v w=read.table(e:/adult.txt,header=TRUE,sep=,);v wt=read.table(e:/adulttest.txt,header=TRUE,sep=,);v n=nrow(w);set.seed(1);test=sample(1:n,n/10)v n1=nrow(wt);set.seed(2);test1=sample(1:n1,n1/10)v a=kknn(class.,wtest,wttest1,)v table(wttest1,$class,a$fit)2.5 最近邻方法分析：结果测试集wt分类结果（1/10）真实 50K预

30、测50K 282 78误判率：0.201474 由分类结果可以看出，误判率为0.201474，与前面不平衡数据的组合分析相比，分类效果好。2.6 人工神经网络分析：程序v library(nnet);library(mlbench);v w=read.table(e:/adult.txt,header=TRUE,sep=,);v wt=read.table(e:/adulttest.txt,header=TRUE,sep=,);v w.nn1=nnet(class.,data=w,size=2,rang=0.1,decay=5e-4,maxit=1000)v table(w$class,pre

31、dict(w.nn1,w,type=class)v table(wt$class,predict(w.nn1,wt,type=class)2.6 人工神经网络分析：结果size训练集w误判率测试集wt误判率2 0.24081 0.23623 3 0.24029 0.23518 4 0.24075 0.23610 5 0.24035 0.23543 6 0.18648 0.19102 7 0.19757 0.19692 8 0.19554 0.19403 9 0.19588 0.19471 隐藏层节点数由2至9的训练集w、测试集wt的误判率见左下表。节点数为10时由于too many(1123)

32、weights，无法处理。可以看出，节点数为6时，训练集w、测试集wt的误判率均最小。节点数为6，训练集w分类结果 真实 50K预测50K 3389 4452误判率：0.186481 节点数为6，测试集wt分类结果 真实 50K预测50K 1713 2133误判率：0.191020 2.7 支持向量机分析：程序v library(mlbench);library(e1071);v w=read.table(e:/adult.txt,header=TRUE,sep=,);v wt=read.table(e:/adulttest.txt,header=TRUE,sep=,);v ww=rbind(

33、w,wt);summary(ww)v model-svm(class.,data=ww1:32561,kernal=sigmoid)v pred.train-fitted(model)v(r1=table(pred.train,ww$class1:32561)v pred.test-predict(model,ww32562:48842,-15)v(r2=table(pred.test,ww$class32562:48842)2.7 支持向量机分析：结果训练集w分类结果 真实 50K预测50K 1421 4534误判率：0.145204 测试集wt分类结果 真实 50K预测50K 721 21

34、84误判率：0.146367 训练集、测试集误判率均有所下降，但区别不大v library(arules);v w=read.table(e:/adult.txt,header=TRUE,sep=,);summary(w);v wfnlwgt-NULL;v wage-ordered(cut(wage,c(15,25,45,65,100),labels=c(Young,Middle-aged“,Senior,Old);#把年龄数据变换成分类数据v weducation.num-ordered(cut(weducation.num,c(0,9,13,16),labels=c(low,Middle,

35、up);v whours.per.week-ordered(cut(whours.per.week,c(0,25,40,60,168),labels=c(Part-time,Full-time,Over-time,Workaholic);v wcapital.gain 0),Inf),labels=c(None,Low,High);v wcapital.loss 0),Inf),labels=c(none,low,high);v ww-as(w,“transactions”);#转换成交易型数据2.8关联规则分析：程序v rules=apriori(ww,parameter=list(supp

36、ort=0.01,confidence=0.6);v inspect(rules1:10);v x=subset(rules,subset=rhs%in%class=50K&lift 1.2);v inspect(SORT(x,by=lift)1:5);v x=subset(rules,subset=rhs%in%class=1.2);v inspect(SORT(x,by=lift)1:5)2.8关联规则分析：程序v lhs rhs support confidence liftv 1 age=Middle-aged,v marital.status=Married-civ-spouse,v

37、 capital.gain=High,v native.country=United-States=class=50K 0.01087190 1.0000000 4.152659v 2 age=Middle-aged,v sex=Male,v capital.gain=High,v native.country=United-States=class=50K 0.01237677 0.9975248 4.142380v 3 age=Middle-aged,v marital.status=Married-civ-spouse,v capital.gain=High=class=50K 0.01

38、176254 0.9973958 4.141845v 4 age=Middle-aged,v marital.status=Married-civ-spouse,v capital.gain=High,v capital.loss=none=class=50K 0.01176254 0.9973958 4.141845v 5 workclass=Private,v relationship=Husband,v race=White,v capital.gain=High=class=50K 0.01170111 0.9973822 4.141788中年、结婚配偶为平民、财产收益高的美国籍人，年

39、收入一般会超过5 万中年、财产收益高的美国籍男性，年收入一般会超过5 万私人、丈夫、财产收益高的白人，年收入一般会超过5 万收入较高者的特征：中年、结婚配偶为平民、财产收益高、美国籍2.8关联规则分析：结果v lhs rhs support confidence liftv 1 education=11th,v hours.per.week=Part-time=class=class=class=class=class=50K 0.01114831 1 1.317193受教育11 年的业 余工作的人，年收入一般会低于5 万业余工作年轻人，一般会低于5 万学历较低的业余工作者，一般会低于5 万受

40、教育11 年、业余工作、美国籍，一般会低于5 万受教育11 年、无 财产收益的业余工作者，一般会低于5 万收入较低者的特征：无稳定工作、学历较低、无财产收益2.8关联规则分析：结果两点启示：1.好好学习，天天向上。2.家庭和谐。第二部分 babiesI数据1.数据简介vbwt：婴儿出生时体重，连续变量，单位为盎司（1盎司=28.3495231 克）；vsmoke：0，1或9，分类变量。0表示不吸，1表示吸，9是不知道。资料来源：任务：考察婴儿出生时体重与母亲是否吸烟的关系。该数据是1960-1967年San Francisco-East Bay Area关于婴儿出生时体重与母亲是否吸烟的数据，

41、共有1236个观测。2.方差分析baby=read.table(e:/babiesI.txt,header=TRUE,sep=,)summary(baby)aov1F)as.factor(smoke)2 23911 11955.5 38.109 2.2e-16*Residuals 1233 386811 313.7-Signif.codes:0*0.001*0.01*0.05.0.1 1 p值远小于0.01应拒绝原假设，即认为母亲是否吸烟与婴儿出生时体重有显著的相关关系。3.回归分析：程序v构建bwt与smoke的回归方程，smoke为分类变量，故取as.factor(smoke)回归。v b

42、aby=read.table(e:/babiesI.txt,header=TRUE,sep=,)v summary(baby)v lm1-lm(bwtas.factor(smoke),baby)v summary(lm1)v hist(lm1$residuals)v qqnorm(lm1$residuals);qqline(lm1$residuals)v shapiro.test(lm1$residuals)v Coefficients:v Estimate Std.Error t value Pr(|t|)v(Intercept)123.0472 0.6502 189.237 2e-16*v

43、 as.factor(smoke)1-8.9377 1.0349-8.636 2e-16*v as.factor(smoke)9 3.6528 5.6386 0.648 0.517 v-v Signif.codes:0*0.001*0.01*0.05.0.1 1 v Residual standard error:17.71 on 1233 degrees of freedomv Multiple R-squared:0.05822,Adjusted R-squared:0.05669 v F-statistic:38.11 on 2 and 1233 DF,p-value:2.2e-16 3

44、.回归分析：输出结果R-squared=0.05822，较小；F-statistic:38.11,较大，伴随p值小于0.05，说明两变量间的关系较强。截距项系数为123.0472，且0.1%显著性水平下显著；as.factor(smoke)1项系数为-8.9377，且0.1%显著性水平下显著；as.factor(smoke)9项系数不显著。引入两个虚拟变量v残差直方图和QQ图显示残差大致呈正态分布，但shapiro检验显示残差不是正态分布。3.回归分析：输出结果 shapiro.test(lm1$residuals)Shapiro-Wilk normality testdata:lm1$res

45、iduals W=0.9946,p-value=0.00020544.列联表分析：程序vbabybwt-ordered(cut(babybwt,c(0,88.18,141.10,180),labels=c(low,“middle,high);#88.18 盎司约合2500克，低于2500克为低体重，正常体重是2500-4000 克vbabysmoke-ordered(cut(babysmoke,c(-1,0,1,9),labels=c(no,yes,unkown);vy1=xtabs(bwt+smoke,data=baby)vlibrary(MASS);biplot(corresp(y1,nf

46、=2)vchisq.test(y1)v chisq.test(y1)v Pearsons Chi-squared testv data:y1 v X-squared=26.0608,df=4,p-value=3.076e-054.列联表分析：输出结果vchisq检验显示母亲是否吸烟与婴儿出生体重有较强的相关关系，对应分析图显示母亲吸烟的婴儿出生体重相对“不吸烟”和“不知道”两种情况而言要轻。v考虑到smoke=9表示不知道是否吸烟，故这里删去10个smoke=9的观测，以考察母亲是否吸烟对婴儿出生体重的影响，还有1226个观测。v baby=read.table(e:/babiesI.txt,

47、header=TRUE,sep=,)v aa=babybaby,2!=9,#剔除smoke=9的样本，新的数据框为aa;v nrow(aa);summary(aa);v lm2-lm(bwtas.factor(smoke),aa);v summary(lm2);hist(lm2$residuals);v qqnorm(lm2$residuals);qqline(lm2$residuals)v shapiro.test(lm2$residuals)5.回归分析：程序（剔除smoke=9的样本）v Coefficients:v Estimate Std.Error t value Pr(|t|)v

48、(Intercept)123.047 0.649 189.597 2e-16*v as.factor(smoke)1-8.938 1.033-8.653 2e-16*v-v Signif.codes:0*0.001*0.01*0.05.0.1 1 v Residual standard error:17.68 on 1224 degrees of freedomv Multiple R-squared:0.05764,Adjusted R-squared:0.05687 v F-statistic:74.87 on 1 and 1224 DF,p-value:2.2e-16 截距项、as.fa

49、ctor(smoke)1项系数与前面模型相比变化较小，且均0.1%显著性水平下显著。（smoke=1）表明：母亲吸烟会使得婴儿出生体重减轻8.938盎司，约253克。5.回归分析：结论（剔除smoke=9的样本）5.回归分析：残差检验（剔除smoke=9的样本）shapiro.test(lm2$residuals)Shapiro-Wilk normality testdata:lm2$residuals W=0.9944,p-value=0.0001463v残差直方图和QQ图显示残差大致呈正态分布，但shapiro检验显示残差不是正态分布。vaabwt-ordered(cut(aabwt,c(

50、0,88.18,141.10,180),labels=c(low,“middle,high);vaasmoke-ordered(cut(aasmoke,c(-1,0,1),labels=c(no,yes);vsummary(aa);vy2=xtabs(bwt+smoke,data=aa)vlibrary(MASS);biplot(corresp(y2,nf=2)vchisq.test(y2)6.列联表分析：程序（剔除smoke=9的样本）v chisq.test(y2)v Pearsons Chi-squared testv data:y2 v X-squared=21.8115,df=2,p