线性回归计算方法及公式.pptx

《线性回归计算方法及公式.pptx》由会员分享，可在线阅读，更多相关《线性回归计算方法及公式.pptx（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1线性回归计算方法及公式线性回归计算方法及公式内内容容安安排排n n多多元元线线性性回回归归模模型型与与参参数数估估计计n n回回归归方方程程和和偏偏回回归归系系数数的的假假设设检检验验n n标标准准化化偏偏回回归归系系数数和和确确定定系系数数n n多多元元回回归归分分析析中中的的若若干干问问题题n n回回归归分分析析中中自自变变量量的的选选择择n n多多元元线线性性回回归归分分析析的的作作用用第1页/共34页多元线性回归模型与参数估计多元线性回归模型与参数估计多元线性回归模型与参数估计多元线性回归模型与参数估计n n设有自变量设有自变量x x1 1,x,x2 2,x,xp p和因变量和

2、因变量Y Y以及一份由以及一份由n n个个体构个个体构成的随机样本成的随机样本(x(x1i 1i,x,x2i 2i,x,xpi,pi,，Y Yi i），且有如下关系：），且有如下关系：y=B0+B1x1+B2x2+Bp xp+(模型）模型）B B0 0、B B1 1、B B2 2和和B Bp p为待估参数，为待估参数，为残差。为残差。n n由一组样本数据，可求出等估参数的估计值由一组样本数据，可求出等估参数的估计值b b0 0、b b1 1、b b2 2和和b bp,p,，得到如下回归方程：，得到如下回归方程：i i=b0+b1x1+b2x2+bp xp n n由此可见，建立回归方程的过程就是

3、对回归模型中的由此可见，建立回归方程的过程就是对回归模型中的参数（常数项和偏回归系数）进行估计的过程。参数（常数项和偏回归系数）进行估计的过程。第2页/共34页参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计n n与简单回归类似，我们寻求参数与简单回归类似，我们寻求参数B B0 0、B B1 1、B B2 2和和B Bp p的适宜估计数值的适宜估计数值b b0 0、b b1 1、b b2 2和和b bp,p,，使实际观察值和回归方程估计值之间残差平方和最小，使实际观察值和回归方程估计值之间残差平方和最小，即即 QQ (y(yi i i i)2 2 =(yi i b0b1

4、x1ib2x2ibp xp i i)2 2 对对b b0 0、b b1 1、b bp p分别求偏导数，今偏导数为零可获得分别求偏导数，今偏导数为零可获得P P1 1个正规方个正规方程，求解正规方程可得待估参数值。程，求解正规方程可得待估参数值。第3页/共34页回归方程和偏回归系数的假设检验回归方程和偏回归系数的假设检验回归方程和偏回归系数的假设检验回归方程和偏回归系数的假设检验回归方程的假设检验：回归方程的假设检验：建立回归方程后，须分析应变量建立回归方程后，须分析应变量Y Y与这与这p p个自个自变量之间是否确有线性回归关系，可用变量之间是否确有线性回归关系，可用F F分分析。析。HH0 0

5、：B B1 1B B2 2.=B.=Bp p=0=0 H H1 1：HH0 0不正确不正确 0.050.05 F F MSMS回归回归 /MS/MS误差误差 MSMS回归回归 SSSS回归回归p SSp SS回归回归 =b bj jL Ljy (j=1,2.,P)jy (j=1,2.,P)MSMS误差误差 SSSS误差误差(n-p-1)SS(n-p-1)SS误差误差为残差平方和为残差平方和 第4页/共34页偏回归系数的假设检验 回归方程的假设检验若拒绝回归方程的假设检验若拒绝HH0 0，则可分别对每，则可分别对每一个偏回归系数一个偏回归系数bj bj作统计检验，作统计检验，实质是考察在实质是考

6、察在固定其它变量后，该变量对应变量固定其它变量后，该变量对应变量 Y Y 的影响有的影响有无显著性。无显著性。HH0 0：B Bj j=0=0 H H1 1：B Bj j不为零不为零 0.050.05 F F （X Xj j 的偏回归平方和的偏回归平方和1 1）/MS/MS误差误差 X Xj j 的偏回归平方和：去的偏回归平方和：去XjXj后回归平方和的减少量后回归平方和的减少量 若若HH0 0成立，可把成立，可把XjXj从回归方程中剔除，余下变从回归方程中剔除，余下变量重新构建新的方程。量重新构建新的方程。第5页/共34页标准化偏回归系数和确定系数标准化偏回归系数和确定系数标准化偏回归系数和

7、确定系数标准化偏回归系数和确定系数n n标准化偏回归系数：在比较各自变量对应变量相对贡献大小时，由于各自变量的单位在比较各自变量对应变量相对贡献大小时，由于各自变量的单位不同，不能直接用偏回归系数的大小作比较，须用标准化偏回归不同，不能直接用偏回归系数的大小作比较，须用标准化偏回归系数。系数。b bj j =b =bj j(s(sj j/s/sy y)第6页/共34页确定系数：简记为R2，即回归平方和SS回归与总离均差平方和SS总的比例。R2 SS回归 SS总 可用来定量评价在Y的总变异中，由P个X变量建立的线性回归方程所能解释的比例。第7页/共34页回归分析中的若干问题回归分析中的若干问题回

8、归分析中的若干问题回归分析中的若干问题n n资料要求资料要求：总体服从多元正态分布。但实际：总体服从多元正态分布。但实际工作中分类变量也做分析。工作中分类变量也做分析。n nn n足够大，至少应是自变量个数的足够大，至少应是自变量个数的5 5倍倍n n分类变量在回归分析中的处理方法分类变量在回归分析中的处理方法 有序分类：有序分类：治疗效果：治疗效果：x=0(x=0(无效无效 )x=1()x=1(有效有效)x=2()x=2(控制控制)无序分类：无序分类：有有k k类，则用类，则用k k1 1变量（伪变量）变量（伪变量）第8页/共34页n n如职业,分四类可用三个伪变量：y1 y2 y3 工人

9、1 0 0 农民 0 1 0 干部 0 0 1 学生 0 0 0第9页/共34页n n多元线性回归方程的评价多元线性回归方程的评价 评价回归方程的优劣、好坏可用确定系数R2和剩余标准差Sy,x1,2.p 。Sy,x1,2.p SQRT（SS误差n-p-1）如用于预测，重要的是组外回代结果。第10页/共34页回归方程中自变量的选择回归方程中自变量的选择n n多元线性回归方程中并非自变量越多越好，原因是自变量越多剩余标准差可能变大；同时也增加收集资料的难度。故需寻求“最佳”回归方程，逐步回归分析是寻求“较佳”回归方程的一种方法。第11页/共34页选择变量的统计学标准选择变量的统计学标准n nR2最

10、大 R R2 2 SSSS回归回归 SSSS总总n nadjR2最大：adjR21MS误差/MS总n nCp值最小 CpCp（n-p-1)(MSn-p-1)(MS误差误差.p.p/MS/MS误差误差.全部全部1 1）（）（p+1)p+1)第12页/共34页选择变量的方法选择变量的方法选择变量的方法选择变量的方法n n最优子集回归分析法最优子集回归分析法：p p个变量有个变量有2 2p p1 1个方程个方程n n逐步回归分析逐步回归分析向前引入法(forward selection)向后剔除法(backward selection)逐步引入剔除法(stepwise selection)H0H0：

11、K K个自变个自变 量为好量为好 H1H1：K K1 1个自变量为好个自变量为好第13页/共34页n n向前引入法（forward selection)自变量由少到多一个一个引入回归方程。将 corr(y ,xj)最大而又能拒绝H0者，最先引入方程，余此类推。至不能再拒绝H0为止。第14页/共34页n n向后剔除法（backward selection)自变量先全部选入方程，每次剔除一个使上述检验最不能拒绝H0者，直到不能剔除为止。第15页/共34页n n逐步引入剔除法（stepwise selection)先规定两个阀值F引入和F剔除，当候选变量中最大F值F引入时，引入相应变量；已进入方程的

12、变量最小FF剔除时，剔除相应变量。如此交替进行直到无引入和无剔除为止。（计算复杂）第16页/共34页多元线性回归方程的作用多元线性回归方程的作用n n因素分析 n n调整混杂因素的作用n n统计预测第17页/共34页例：测量例：测量1616名四岁男孩心脏纵径名四岁男孩心脏纵径X1X1（CMCM）、心脏横径）、心脏横径X2X2（CMCM）和心象面积）和心象面积Y Y（CM2CM2）三项指标，得如下）三项指标，得如下数据。试作象面积数据。试作象面积Y Y对心脏纵径对心脏纵径X1X1、心脏横径、心脏横径X2X2多元多元线性回归分析。线性回归分析。例：某科研协作组调查山西某煤矿例：某科研协作组调查山西

13、某煤矿2 2期高血压病患者期高血压病患者4040例，例，资料如下表，试进行影响煤矿工人资料如下表，试进行影响煤矿工人2 2期高血压病病人期高血压病病人收缩压的多元线性回归分析。收缩压的多元线性回归分析。第18页/共34页Logistic回归回归第19页/共34页 多元回归分析可用来分析多个自变量与一个因变量的关系，模型中因变量Y是边连续性随机变量，并要求呈正态分布。但在医学研究中，常碰到因变量的取值仅有两个，如药物实验中，动物出现死亡或生存，死亡概率与药物剂量有关。设P表示死亡概率，X表示药物剂量，P和X的关系显然不能用一般线性回归模型PB0B1X来表示。这时可用Logistic回归分析。第2

14、0页/共34页内容安排内容安排n nLogisticLogistic回归模型回归模型n n模型参数的意义模型参数的意义n nLogisticLogistic回归模型的参数估计回归模型的参数估计n nLogisticLogistic回归方程的假设检验回归方程的假设检验n nLogisticLogistic回归模型中自变量的回归模型中自变量的筛选n nLogisticLogistic回归的应用回归的应用 第21页/共34页Logistic回归模型回归模型n n先引入Logistic分布函数，表达式为：F（x)=ex/(1+ex)X X的取值在正负无穷大之间；的取值在正负无穷大之间；F(x)F(x)

15、则在则在0 01 1之间取值，并呈单调上之间取值，并呈单调上升升S S型曲线。人们正是利用型曲线。人们正是利用LogisticLogistic分布函数这一特征，将其应用到分布函数这一特征，将其应用到临床医学和流行病学中来描述事件发生的概率。临床医学和流行病学中来描述事件发生的概率。第22页/共34页 以因变量以因变量DD1 1表示死亡，表示死亡，DD0 0表示生存，以表示生存，以P P（DD1 1X X）表示暴露于药物剂量）表示暴露于药物剂量X X的动物死亡的概率，设的动物死亡的概率，设 P（D1X）e Bo+BX/(1+e Bo+BX)记Logit(P)=lnp/(1-p),则上式可表示为：

16、Logit(P)Bo+BX 这里X的取值仍是任意的，Logit(P)的值亦在正负无穷大之间，概率P的数值则必然在01之间。p/(1-p)为事件的优势，Logit(P)为对数优势，故logistic回归又称对数优势线性回归第23页/共34页 一般地，设某事件D发生（D1）的概率P依赖于多个自变量（x1,x2,xp)，且 P P（DD1 1）e e Bo+B1X1+BpXpBo+B1X1+BpXp/(1+e /(1+e Bo+B1X1+BpXpBo+B1X1+BpXp)或或 Logit(P)Logit(P)Bo+BBo+B1 1X X1 1+B+Bp p X X p p则称该事件发生的概率与变量间

17、关系符合多元则称该事件发生的概率与变量间关系符合多元LogisticLogistic回归或对数优势线性回归。回归或对数优势线性回归。第24页/共34页 logisticlogistic回归模型参数的意义回归模型参数的意义回归模型参数的意义回归模型参数的意义 优势比（优势比（odds ratio,OR)odds ratio,OR)：暴露人群发病优势与非暴露：暴露人群发病优势与非暴露人群发病优势之比。人群发病优势之比。P(1)/1-p(1)P(1)/1-p(1)OR=OR=P(0)/1-p(0)P(0)/1-p(0)Ln(oR)=logitp(1)-logitp(0)=(B Ln(oR)=logi

18、tp(1)-logitp(0)=(B0 0+B1)+B1)(B(B0 0+B0)=B+B0)=B 可可见见B B是是暴暴露露剂剂量量增增加加一一个个单单位位所所引引起起的的对对数数优优势势的的增增量量，或或单单位位暴暴露露剂剂量量与与零零剂剂量量死死亡亡优优势势比比的的对对数数。e eB B就就是是两两剂剂量量死死亡亡优优势势比比。常常数数项项B B0 0是是所所有有变变量量X X等等于于零零时事件发生优势的对数。时事件发生优势的对数。第25页/共34页Logistic回归的参数估计回归的参数估计n nLogisticLogistic回归模型的参数估计常用最大似然法，最大似然法的基本思想是先建

19、回归模型的参数估计常用最大似然法，最大似然法的基本思想是先建立似然函数或对数似然函数，似然函数或对数似然函数达到极大时参数的取立似然函数或对数似然函数，似然函数或对数似然函数达到极大时参数的取值，即为参数的最大似然估计值。其步骤为对对数似然函数中的待估参数分值，即为参数的最大似然估计值。其步骤为对对数似然函数中的待估参数分别求一阶偏导数，令其为别求一阶偏导数，令其为0 0得一方程组，然后求解。由于似然函数的偏导数为得一方程组，然后求解。由于似然函数的偏导数为非线性函数，参数估计需用非线性方程组的数值法求解。常用的数值法为非线性函数，参数估计需用非线性方程组的数值法求解。常用的数值法为Newto

20、n-RaphsonNewton-Raphson法。不同研究的设计方案不同，其似然函数的构造略有差别，法。不同研究的设计方案不同，其似然函数的构造略有差别，故故LogisticLogistic回归有非条件回归有非条件LogisticLogistic回归与条件回归与条件LogisticLogistic回归两种。回归两种。第26页/共34页Logistic回归的假设检验回归的假设检验1 1、拟合优度检验：目的是检验模型估计值与实际观察值的符合程度。、拟合优度检验：目的是检验模型估计值与实际观察值的符合程度。SASSAS程序提程序提供了下列统计量。供了下列统计量。A A、AICAIC和和SCSC：对同

21、一份资料，在模型比较中，这两个越小，表明模型越合适。：对同一份资料，在模型比较中，这两个越小，表明模型越合适。B B、2LogL2LogL：用于检验全部自变量（协变量）的联合作用。如显著，表明全部协：用于检验全部自变量（协变量）的联合作用。如显著，表明全部协变量的联合作用显著；如不显著，表明全部协变量的联合作用不大，可予忽变量的联合作用显著；如不显著，表明全部协变量的联合作用不大，可予忽视。视。C C、ScoreScore：用于检验全部协变量联合作用的显著性，但不包截距项。：用于检验全部协变量联合作用的显著性，但不包截距项。第27页/共34页2、偏回归系数的显著性检验：目的是检验回归模型中自变

22、量的系数是否为零，等价于总体优势比OR是否为零。H0：B等于零 H1：B不等于零A、wald检验：B、Score test:C、likelihood ratio test(wald chi-square test):第28页/共34页回归模型中自变量的筛选回归模型中自变量的筛选 和多元线性回归分析一样，在Logistic回归分析中也须对自变量进行筛选。方法和多元线性回归中采用的方法一样，有向后剔除法、向前引入法及逐步筛选法三种。筛选自变量的方法有wald检验、Score test、likelihood ratio test(wald chi-square test)三种。第29页/共34页Lo

23、gistic 回归的应用回归的应用n n筛选危险因素n n校正混杂因素n n预测与判别第30页/共34页例例1 1：在饮酒与食道癌的成组病例对照研究中，共有：在饮酒与食道癌的成组病例对照研究中，共有200200例食道癌患者和例食道癌患者和774774例非食道癌对照，年龄是混杂因例非食道癌对照，年龄是混杂因素，按年龄分层后资料如下：素，按年龄分层后资料如下：age age 对象（对象（1=1=病例病例 0=0=对照）对照）饮酒饮酒 不饮酒不饮酒 合计合计 OROR 2534 1 1 0 1 2534 1 1 0 1 0 9 106 115 0 9 106 115 35-44 1 4 5 9 5.

24、05 35-44 1 4 5 9 5.05 0 26 164 190 0 26 164 19045-54 1 25 21 46 5.6745-54 1 25 21 46 5.67 0 29 138 167 0 29 138 16755-64 1 42 34 76 6.3655-64 1 42 34 76 6.36 0 27 138 165 0 27 138 16565-74 1 19 36 55 2.5865-74 1 19 36 55 2.58 0 18 88 106 0 18 88 10675-1 5 8 1375-1 5 8 13 0 0 31 31 0 0 31 31 第31页/共34

25、页 例2：研究女生月经初潮与体质关系的调查中，某地调查了23名1115岁女生的月经和体质情况，脉搏X1为30秒脉搏数，体重X2单位为公斤，年龄X3单位为岁。月经Y为0表示未来月经，1表示已来月经。试用非条件Logistic 回归进行分析。（X1=40 X2=40 X3=13 p=0.92;X1=39 X2=35 X3=11 p=0.23)第32页/共34页n n例例3 3：在研究新生儿出生时体重、妊娠周数与支气管肺的发育不：在研究新生儿出生时体重、妊娠周数与支气管肺的发育不良病（良病（BPDBPD）的关系时，得下表资料。）的关系时，得下表资料。n n出生时体重（组中值）出生时体重（组中值）妊娠

26、周数妊娠周数 观察人数观察人数 患患BPDBPD人数人数 n n birth weight age n BPD birth weight age n BPD n n 750 27 41 33 750 27 41 33n n 750 29.5 21 15 750 29.5 21 15n n 750 32 6 1 750 32 6 1n n 1150 27 17 7 1150 27 17 7n n 1150 29.5 36 7 1150 29.5 36 7n n 1150 32 27 4 1150 32 27 4n n 1550 27 0 0 1550 27 0 0n n 1550 29.5 16 4 1550 29.5 16 4n n 1550 32 59 5 1550 32 59 5第33页/共34页