有序多分类逻辑斯蒂回归模型精选PPT.ppt

《有序多分类逻辑斯蒂回归模型精选PPT.ppt》由会员分享，可在线阅读，更多相关《有序多分类逻辑斯蒂回归模型精选PPT.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于有序多分类逻辑斯蒂回归模型关于有序多分类逻辑斯蒂回归模型第1页，讲稿共32张，创作于星期二Logistic回归回归因变量因变量二项二项Logistic回归回归多项多项Logistic回归回归有序回归有序回归Probit回归回归第2页，讲稿共32张，创作于星期二第第14章章 有序回归有序回归（有序多分类因变量（有序多分类因变量Logistic回归）回归）14.1 有序回归的基本思想有序回归的基本思想14.2 有序回归的案例分析有序回归的案例分析第3页，讲稿共32张，创作于星期二研究中常遇到反应变量为有序多分类（研究中常遇到反应变量为有序多分类（k2）的资料，如城市综合）的资料，如城市综合竞争

2、力等级、满意度等可以划分为低、中、高。竞争力等级、满意度等可以划分为低、中、高。与名义多分类因变量有所不同，定性有序多分类因变量采用与名义多分类因变量有所不同，定性有序多分类因变量采用累积累积logit模型模型，该模型可利用有序这一特点，得到比基线，该模型可利用有序这一特点，得到比基线-类别有更简单类别有更简单解释的模型。解释的模型。Y的累积概率是指的累积概率是指Y落在一个特定点的概率，对结果为类别落在一个特定点的概率，对结果为类别j时，时，其累积概率为：其累积概率为：累积概率满足：累积概率满足：累积概率的模型并不利用最后一个概率，因为它必然等于累积概率的模型并不利用最后一个概率，因为它必然等

3、于114.1 有序回归的基本思想有序回归的基本思想第4页，讲稿共32张，创作于星期二pj=p(yj|x)，它表示，它表示 y 取前取前 j 个值的累积概率个值的累积概率。累积概率函数：累积概率函数：14.1 有序回归的基本思想有序回归的基本思想 J等级分为两类：等级分为两类：1,j 与与 j+1,k在这两类的基础上定义的在这两类的基础上定义的 logit 表示表示:属于后属于后 k-j 个等级的累积概率与个等级的累积概率与前前j个等级的累积概率的优势的对数，故该模型称为累积优势模个等级的累积概率的优势的对数，故该模型称为累积优势模型型(cumulative odds model)。第5页，讲稿

4、共32张，创作于星期二第一个模型表示了第一个模型表示了y 取第一个值的概率取第一个值的概率p1与与x的关系；第二个模型表示的关系；第二个模型表示了了y 取前两个值的累积概率取前两个值的累积概率p2与与x的关系。这两个模型的的关系。这两个模型的常数项不同常数项不同，回归系数完全相同的回归系数完全相同的。y 取第一个值的概率取第一个值的概率p(1)=p1，y 取第二个值的概率取第二个值的概率p(2)=p2-p1，y 取第三个值的概率取第三个值的概率p(3)=1-p2。它们的截距不同，斜率相同，。它们的截距不同，斜率相同，所以是所以是J-1条平行直线族条平行直线族。多值因变量多值因变量logisti

5、c回归模型要求进行数据的平回归模型要求进行数据的平行性检验行性检验。第6页，讲稿共32张，创作于星期二平行性检验（平行性检验（只适用于位置模型只适用于位置模型/位置参数位置参数/斜率系数）斜率系数）当因变量维多值变量时，模型包含多个回归方程。当因变量维多值变量时，模型包含多个回归方程。Logistic回归分回归分析要求这多个回归方程中自变量的系数是相等的。因此需要做析要求这多个回归方程中自变量的系数是相等的。因此需要做平行行检验，也称为比例比数假设检验（平行行检验，也称为比例比数假设检验（test fo the proportional odds assumption），使用的方法是计分检验法

6、。当），使用的方法是计分检验法。当Pa时，接受平行时，接受平行的原假设。否则，应该的原假设。否则，应该将因变量的某些值进行合并，减少因变量的将因变量的某些值进行合并，减少因变量的取值个数取值个数，使得多值变量，使得多值变量logistic回归模型平行性成立。还可以回归模型平行性成立。还可以尝尝试其他链接函数试其他链接函数。如果各种连接函数都无法满足平行性假定，则需要考虑回归系数是否如果各种连接函数都无法满足平行性假定，则需要考虑回归系数是否会随着分割点而发生改变。此时最好会随着分割点而发生改变。此时最好使用无序多分类的使用无序多分类的Logistic 回回归归进行模型拟合，然后再根据系数估计值

7、考虑如何进行处理。进行模型拟合，然后再根据系数估计值考虑如何进行处理。第7页，讲稿共32张，创作于星期二以以4 水平的反应变量为例，假设反应变量的取值为水平的反应变量为例，假设反应变量的取值为1、2、3、4，相应取值水平的概率为，相应取值水平的概率为p1、p2、p3、p4，则则此时进行此时进行Logit 变变换的分别为换的分别为p1、p1+p2、p1+p2+p3，对，对k 个自变量拟合三个模型如下个自变量拟合三个模型如下:常数项不同常数项不同，回归系回归系数完全相同的数完全相同的张文彤版本的常数项前均张文彤版本的常数项前均为负号为负号第8页，讲稿共32张，创作于星期二根据上述公式，可以分别求出

8、：根据上述公式，可以分别求出：第9页，讲稿共32张，创作于星期二由上述建立的模型可以看出，这种模型实际上是依次将反应变由上述建立的模型可以看出，这种模型实际上是依次将反应变量按不同的取值水平分割成两个等级，对这两个等级建立反应量按不同的取值水平分割成两个等级，对这两个等级建立反应变量为二分类的变量为二分类的Logistic 回归模型。回归模型。不管模型中反应变量不管模型中反应变量的分割点在什么位置，模型中各自变量的系数都保持不的分割点在什么位置，模型中各自变量的系数都保持不变，所改变的只是常数项变，所改变的只是常数项。此时求出的。此时求出的OR 值表示自变量每值表示自变量每改变一个单位，反应变

9、量提高一个及一个以上等级的比数比改变一个单位，反应变量提高一个及一个以上等级的比数比。张文彤认为，这里拟合的模型中常数项之前的符号应当是张文彤认为，这里拟合的模型中常数项之前的符号应当是“负负号号”，原因在于此处的常数项正好表示低级别和高级别相比的，原因在于此处的常数项正好表示低级别和高级别相比的情况，且必然有情况，且必然有 ，但由于研究者主要关心的是各参数但由于研究者主要关心的是各参数（系数）的大小，因此这种差异影响不大。并且由（系数）的大小，因此这种差异影响不大。并且由SPSS给出的给出的系数无需再添加符号。系数无需再添加符号。第10页，讲稿共32张，创作于星期二某大学医院外科采用两种不同

10、的绷带和两种不同的包扎某大学医院外科采用两种不同的绷带和两种不同的包扎方式进行腿溃疡的治疗处理。治疗的结果分三种：不愈、方式进行腿溃疡的治疗处理。治疗的结果分三种：不愈、有效和痊愈。试分析治疗方法对治疗效果的影响。有效和痊愈。试分析治疗方法对治疗效果的影响。设因变量设因变量 y 表示治疗效果，表示治疗效果，0=不愈、不愈、1=有效、有效、2=痊愈。痊愈。设自变量设自变量x1表示绷带种类，自变量表示绷带种类，自变量 x2 表示包扎方式。表示包扎方式。对于多值因变量模型，平行性假设决定了每个自变量的对于多值因变量模型，平行性假设决定了每个自变量的OR值对于前值对于前k-1个模型是相同的。例如，变量

11、个模型是相同的。例如，变量x1的的OR=5.172，它，它表示使用第一种绷带治愈腿溃疡的可能性表示使用第一种绷带治愈腿溃疡的可能性是使用第二种绷带的是使用第二种绷带的5.172倍倍；它；它也表示使用第一种绷带也表示使用第一种绷带至少有效的可能性是使用第二种绷带的至少有效的可能性是使用第二种绷带的5.172倍倍。第11页，讲稿共32张，创作于星期二14.1 有序回归的基本思想有序回归的基本思想有序回归模型的类型：有序回归模型的类型：当定性因变量当定性因变量y取取k个顺序类别时，记为个顺序类别时，记为1，2，k，这里的数字，这里的数字1，2，k仅表示顺序的大小。仅表示顺序的大小。因变量因变量y取值

12、于每个类别的概率仍与一组自变量取值于每个类别的概率仍与一组自变量x1,x2,xk 有关，有关，对于样本数据对于样本数据(xi1,xi2,xip;yi)，i=1,2,n，顺序类别回归模型有两，顺序类别回归模型有两种主要类型，种主要类型，位置结构（位置结构（Location component）模型，位置模型，定位模型）模型，位置模型，定位模型规模结构（规模结构（Scale component）模型，尺度模型，定量模型）模型，尺度模型，定量模型第12页，讲稿共32张，创作于星期二l 位置结构模型（位置模型位置结构模型（位置模型/定位模型）：定位模型）：（1）l 规模结构模型规模结构模型(尺度模型尺

13、度模型/度量模型度量模型,Scale)：其中z是x1,x2,xp的一个子集，作为规模结构解释变量，（2）第13页，讲稿共32张，创作于星期二第14页，讲稿共32张，创作于星期二14.2 有序回归的案例分析有序回归的案例分析例：对某地人群调查其对所从事的工作是否满意，可能的影响因素例：对某地人群调查其对所从事的工作是否满意，可能的影响因素有有:年龄、性别、年收入水平、文化程度。变量的赋值情况见下表，年龄、性别、年收入水平、文化程度。变量的赋值情况见下表，数据见文件数据见文件satisfy.sav。试进行统计分析。试进行统计分析。变量的赋值情况如下：变量的赋值情况如下：第15页，讲稿共32张，创作

14、于星期二警告信息说明自变量的各种取值水平组合中有多少其观察频数为警告信息说明自变量的各种取值水平组合中有多少其观察频数为0。由于数据库中变量。由于数据库中变量age 为连续性变量，所以这个比例显得较大，为连续性变量，所以这个比例显得较大，此种情况下属于正常现象。此种情况下属于正常现象。反应变量与离散自变量不同取值水平的边际频数分布反应变量与离散自变量不同取值水平的边际频数分布第16页，讲稿共32张，创作于星期二对模型中是否所有自变量偏回归系数全为对模型中是否所有自变量偏回归系数全为0 进行似然比进行似然比检验（判断规则：检验（判断规则：Pa，拟合较好），结果，拟合较好），结果P a，拟合较好。

15、，拟合较好。当自变量很多或者自变量中存在连续性变量时，这两个统计量不太当自变量很多或者自变量中存在连续性变量时，这两个统计量不太适用。适用。这两个统计量有个致命的缺点是对于自变量取值水平组合的实际观察这两个统计量有个致命的缺点是对于自变量取值水平组合的实际观察频数为频数为0 的比例十分敏感，如果上述比例过高，这两个统计量不一定仍旧的比例十分敏感，如果上述比例过高，这两个统计量不一定仍旧服从卡方分布，因而基于卡方分布计算的服从卡方分布，因而基于卡方分布计算的P 值也不可信。即：这两个统计值也不可信。即：这两个统计量不一定能真实地反映模型拟合情况。当自变量中存在连续性变量时，量不一定能真实地反映模

16、型拟合情况。当自变量中存在连续性变量时，如本例中的年龄，常会导致上述比例过高。与上述两个统计量相比，似如本例中的年龄，常会导致上述比例过高。与上述两个统计量相比，似然比卡方则要稳健得多。本例两个统计量对应的然比卡方则要稳健得多。本例两个统计量对应的P 值均小于值均小于0.050第18页，讲稿共32张，创作于星期二第19页，讲稿共32张，创作于星期二14.2 有序回归的案例分析有序回归的案例分析例：分析债权人如何确定申请者信用风险的问题，例：分析债权人如何确定申请者信用风险的问题，SPSS自带数据文件自带数据文件“信誉评价数据信誉评价数据.sav”因变量因变量Chist（账目情况）取值：没有贷款

17、历史、现在（账目情况）取值：没有贷款历史、现在没有贷款、正在偿还、逾期偿还、拖欠贷款没有贷款、正在偿还、逾期偿还、拖欠贷款因子一般为因子一般为分类变量分类变量协变量一般为连协变量一般为连续变量，也可以续变量，也可以为二分类变量为二分类变量第20页，讲稿共32张，创作于星期二链接：指定链接函数链接：指定链接函数(联系联系函数、连接函数函数、连接函数),即对模即对模型估计中的型估计中的累积概率的转累积概率的转换函数换函数，根据因变量（反，根据因变量（反应变量）的情况选择应变量）的情况选择补充对数补充对数对数对数负对数负对数对数对数第21页，讲稿共32张，创作于星期二输出伪输出伪R方方检验系数在各响

18、应检验系数在各响应类别中是否相同，类别中是否相同，仅适用于位置模型仅适用于位置模型输出累积频数、概输出累积频数、概率的残差、观测概率的残差、观测概率、预测概率等内率、预测概率等内容容把观测记录按因变量进行分类的估计概率，有几把观测记录按因变量进行分类的估计概率，有几个水平就保存几个变量个水平就保存几个变量保存最大的估计响应概率保存最大的估计响应概率保存预测正确时的估保存预测正确时的估计响应概率计响应概率保存模型的预测响应分类保存模型的预测响应分类第22页，讲稿共32张，创作于星期二位置模型设置：用于指定定位模型中的各种效应位置模型设置：用于指定定位模型中的各种效应第23页，讲稿共32张，创作于

19、星期二尺度模型设置：设置与尺度模型有关的参数尺度模型设置：设置与尺度模型有关的参数第24页，讲稿共32张，创作于星期二案例处理摘要：可以看案例处理摘要：可以看出，本例在链接函数的出，本例在链接函数的选择上，可以选择补充选择上，可以选择补充对数对数对数，也可以对数，也可以选择选择Cauchit链接函数链接函数主要输出结果主要输出结果第25页，讲稿共32张，创作于星期二主要输出结果主要输出结果说明最终模型要优于只含说明最终模型要优于只含截距的模型，即模型显著截距的模型，即模型显著成立成立由于本例模型包含连续变由于本例模型包含连续变量，故空单元格较多，影量，故空单元格较多，影响了统计量的计算和有效响

20、了统计量的计算和有效性。因此，本例基于卡方性。因此，本例基于卡方检验的拟合优度统计量不检验的拟合优度统计量不太可信太可信第26页，讲稿共32张，创作于星期二系数大都不够显著，原因可能是因变量的分类顺序不对，也可能是因为链接函数系数大都不够显著，原因可能是因变量的分类顺序不对，也可能是因为链接函数选择不理想。选择不理想。若协变量的参数估计之为正，那么对此变量取值越大的观测目标类别取值也越大，若协变量的参数估计之为正，那么对此变量取值越大的观测目标类别取值也越大，如如age变量显著且为正，表明年龄越大拖欠贷款的概率也越大。变量显著且为正，表明年龄越大拖欠贷款的概率也越大。第27页，讲稿共32张，创

21、作于星期二平行检验：原假设是斜率系数（位置参数）在各响应类别中都是相平行检验：原假设是斜率系数（位置参数）在各响应类别中都是相等的。由于等的。由于Pa,否定原假设，说明各回归方程否定原假设，说明各回归方程不平行不平行如果平行性检验的如果平行性检验的P 值非常小，是不能就这样蒙混过关的。其主值非常小，是不能就这样蒙混过关的。其主要原因是链接函数选择不准确，或者系数的确在随着分割点发要原因是链接函数选择不准确，或者系数的确在随着分割点发生变化。可以考虑其他链接函数以及使用无序多分类模型。生变化。可以考虑其他链接函数以及使用无序多分类模型。第28页，讲稿共32张，创作于星期二根据所得到的模型预测方程

22、和相关个案信息，即可进行根据所得到的模型预测方程和相关个案信息，即可进行预测，预测该个案的信誉属于哪一种类别。这对于银行预测，预测该个案的信誉属于哪一种类别。这对于银行贷款决策具有重要意义。贷款决策具有重要意义。例如，某申请者的信息为：申请例如，某申请者的信息为：申请48个月的贷款，个月的贷款，22岁，岁，有银行贷款，没有其他贷款，有住房，此时可以评估其有银行贷款，没有其他贷款，有住房，此时可以评估其信誉水平。信誉水平。把上述个案信息代入所得到的（把上述个案信息代入所得到的（k-1）个模型预测方程，）个模型预测方程，即可得到（即可得到（k-1）个估计值，再把这些估计值代入所选）个估计值，再把这

23、些估计值代入所选择的链接函数的逆函数中，得到累计概率值，然后再根择的链接函数的逆函数中，得到累计概率值，然后再根据累积概率概率求出每个类别的预测概率，预测概率最据累积概率概率求出每个类别的预测概率，预测概率最大的类别即为该个案的类别，进而做出信誉类别的判断大的类别即为该个案的类别，进而做出信誉类别的判断第29页，讲稿共32张，创作于星期二练习练习1：儿童智力等级与母亲文化程度的关系：儿童智力等级与母亲文化程度的关系智商等级智商等级y母亲文化程度母亲文化程度小学小学初中初中高中或中高中或中专专大专及以上大专及以上合计合计x=0 x=1x=2x=31=中下中下22 57 11 1 912=中等中等

24、81236112 44333=中上中上30135105102804=上等上等 3 26 17 7 53 合计合计1364542452285714.2 有序回归的案例分析有序回归的案例分析第30页，讲稿共32张，创作于星期二练习练习2：某研究者欲比较两个不同的药物治疗病情不同的某病的效：某研究者欲比较两个不同的药物治疗病情不同的某病的效果，临床试验数据如下表，试分析两种药物的治疗效果。果，临床试验数据如下表，试分析两种药物的治疗效果。两种药物对不同病程的某病治疗效果比较两种药物对不同病程的某病治疗效果比较药物药物病情病情疗效疗效痊愈（痊愈（2）有效（有效（1）无效（无效（0）甲药（甲药（0）轻（轻（1）183554重（重（0）51665乙药（乙药（1）轻（轻（1）354616重（重（0）19392414.2 有序回归的案例分析有序回归的案例分析第31页，讲稿共32张，创作于星期二感谢大家观看第32页，讲稿共32张，创作于星期二