SAS-EM实现逻辑回归课件.ppt

《SAS-EM实现逻辑回归课件.ppt》由会员分享，可在线阅读，更多相关《SAS-EM实现逻辑回归课件.ppt（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、SAS LOGISTIC 回归模型实现BY 周颖_Copyright 2013,SAS Institute Inc.All rights reserved.CONTENTS Logistic回归模型介绍1.SAS EM实现二分类Logistic回归2.SAS EM实现多分类Logistic回归3._Copyright 2013,SAS Institute Inc.All rights reserved.overview常常需要进行预测 用父母身高预测孩子身高？用各影响因素预测空气的PM2.5值？用客户行为预测是否会流失？u通常将预测问题分为连续变量的预测问题和离散变量的分类问题。_Copyri

2、ght 2013,SAS Institute Inc.All rights reserved.overview通常怎么解决？通常怎么解决？回归分析决策树得出的结果都较易于 展示和理解；自变量可为连续型或 离散型；目标变量可为连续型或离散 型；输入必须为完整的数据；对极值敏感；得到数学模型 ；对于目标变量为连续型目标较难处理；输入数据可存在缺失；对极值有很好的抗干扰性；得到规则；神经网络、支持向量机_Copyright 2013,SAS Institute Inc.All rights reserved.overview一般的回一般的回归分析？分析？一般线性一般线性回归回归广义线性模型：Logi

3、sticLogistic回回归归probitprobit回归、回归、cloglogcloglog回归等回归等链结函数_Copyright 2013,SAS Institute Inc.All rights reserved.overview什么情况下用什么情况下用LOGISTIC回回归？是否通过考试学习时间_Copyright 2013,SAS Institute Inc.All rights reserved.Logistic回回归模型介模型介绍二分二分类LOGISTIC回回归数学数学模型模型 _Copyright 2013,SAS Institute Inc.All rights rese

4、rved.Logistic回回归模型介模型介绍可以怎么分可以怎么分类？_Copyright 2013,SAS Institute Inc.All rights reserved.Logistic回回归模型介模型介绍多分多分类LOGISTIC回回归数学数学模型模型 例如，当y取值1,2,3时，Logistic回归模型是：有序多分类Logistic模型无序多分类Logistic模型疗效：无效有效治愈花朵：玫瑰菊花百合_Copyright 2013,SAS Institute Inc.All rights reserved.Logistic回回归模型介模型介绍LOGISTIC回归分析方法步骤 解释模

5、型实际意义检验参数显著性检验模型显著性模型参数意义；模型统计量；Wald检验；似然比检验；Score检验；拟合优度检验；似然比检验；极大似然估计法；_Copyright 2013,SAS Institute Inc.All rights reserved.overview小小结 pLogistic模型通过分析目标变量取某个值的概率与各效应之间的 关系解决分类问题，包括二分类及多分类问题；pLogistic模型建立包括参数估计、模型检验、参数检验等步骤；_Copyright 2013,SAS Institute Inc.All rights reserved.CONTENTS SAS EM实现二

6、分类Logistic回归2.Logistic回归模型介绍1.SAS EM实现多分类Logistic回归3._Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归提供了哪些模型提供了哪些模型实现？。回归支持多分类逻辑回归LARS（最小角回归）优化的变量选择方法偏最小二乘法共线性、自变量多的回归中有卓越表现；支持多个因变量回归；Dmine回归建模前筛选变量；进行变量分组；_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM

7、实现二分类实现二分类Logistic回归回归案例案例实现源数据源数据说明明 college.dat中有4个变量和1000个观测：NAMEROLELEVELDESCavggr INPUT INTERVAL 高中各门课平均绩点gender INPUT BINARY 性别：1-男，0-女keysch INPUTBINARY 是否重点高中：1-是，0-否college TARGET BINARY 是否进入重点大学：1-进入，0-不进入_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归案例案

8、例实现-建模建模过程程 S数据导入E数据探索M建模A模型评估_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归参数参数设置置回回归 可选择logit/probit/cloglog函数可选择向前/向后/逐步回归可选择Logistic 回归/线性回归回归_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归参数参数设置置DMINE回回归进入模型的变量所满足的R方下限生成分组变量

9、Dmine回归_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归参数参数设置置最小角回最小角回归&偏最小二乘法偏最小二乘法 支持LAR/LASSO等支持PLS/PCR/SIMPLS_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归案例案例实现结果分析果分析uP(y=1)=；u各效应增加时，目标变量为1的优势比增加；参数估计ParameterDF Estimate Sta

10、ndard ErrorWald Chi-Square Pr ChiSq Standardized Estimate Exp(Est)95%Confidence LimitsIntercept1-33.17 3.82 75.44.00010.00-40.66-25.69 avggr10.39 0.05 73.31 ChiSqIntercept OnlyIntercept&Covariates507.938349.66 158.27883 ChiSqavggr173.3143 ChiSq Standardized Estimate Exp(Est)Intercept Iris-virgin1-17

11、.30 489.300.97180Intercept Iris-versic111.96 48900.9805999Calyx_lengthIris-virgin122.27.999Calyx_lengthIris-versic115.29 4.028914.40.000114.963999Calyx_wideIris-virgin120.52 615.300.97348.8194999Calyx_wideIris-versic18.97 615.200.98843.8543999Petal_lengthIris-virgin1-14.76.0Petal_lengthIris-versic1-

12、10.88 3.427210.080.0015-4.69190_Copyright 2013,SAS Institute Inc.All rights reserved.SAS EM实现二分类实现二分类Logistic回归回归案例案例实现结果分析果分析 u当花萼长度或花萼宽度增加时，鸢尾花为其他品种的概率比为Iris-setosa优势变大；u当花瓣长度增加时，鸢尾花为其他品种的概率比为Iris-setosa优势变小；Odds Ratio Estimates EffectclassPoint EstimateCalyx_lengthIris-virgin999Calyx_lengthIris-v

13、ersic999Calyx_wideIris-virgin999Calyx_wideIris-versic999Petal_lengthIris-virgin0.001Petal_lengthIris-versicChiSqIntercept OnlyIntercept&Covariates129.6026.5123.10226 ChiSqCalyx_length114.39840.0001Calyx_wide22.30390.316Petal_length110.07960.0015模型检验结果参数检验结果_Copyright 2013,SAS Institute Inc.All right

14、s reserved.SAS EM实现二分类实现二分类Logistic回归回归案例案例结果分析果分析 拟合统计量统计量标签训练验证测试_AIC_Akaikes Information Criterion22.5._SBC_Schwarzs Bayesian Criterion44.665._MISC_Misclassification Rate3.40%2.30%2.10%响应百分比=预测为1且实际为1的样本数/预测为1的样本数；提升度=响应百分比/（实际为1的样本数/所有样本数）；u模型概率值前20%的样本中，响应率为100%；u模型概率值前20%的样本中，模型提升度达到3；u测试样本正确分类率达到约98%；累积提升度累积响应百分比模型统计量_Copyright 2013,SAS Institute Inc.All rights reserved.overview小小结 pSAS EM中回归、Dmine回归、LARS、偏最小二乘法等模型可以建立Logistic模型；pSAS EM中回归模型可以用来解决无序多分类问题；Tips:可通过sas code中proc genmod或proc logistic等语句实现有序多分类建模。_SAS Logistic 回回归模型模型实现Thank you!_