多元回归模型与建模52756.pptx
多元回归模型与建模多元回归模型与建模2005年年5月月5/22/20231AppliedStatforMBA05D1一、多元线性回归问题一、多元线性回归问题 1.一元回归问题的困惑巴特勒(Butler)运输公司的例子(p661)：行驶距离(英里)运送货物次数行驶时间(小时)10049.35034.810048.910026.55024.28026.27537.465469037.69026.15/22/20232AppliedStatforMBA05D12.做行驶时间-行驶距离的一元回归CoefficientstStatP-valueIntercept1.273913 0.9094540.389687行驶距离(英里)0.0678263.9767550.00408回归方程为可以看出方程整体检验和自变量检验的P值为0.0041,一元回归能够显著成立。但是判定系数偏小,说明有些因变量的解释因素（例如运货次数）没有引入。5/22/20233AppliedStatforMBA05D15/22/20234AppliedStatforMBA05D14.来自p元回归模型的容量为n的样本注意：的第1个脚码k表示变量编号，k=1,p;第2个脚码i=1,n表示样本编号。5/22/20235AppliedStatforMBA05D15.多元回归总体模型和古典假定总体模型表示式为古典假定1)E(ei)=0;(E(yi)=x1i+pxpi)；2)对于所有的i，Var(ei)=；3)ei是服从正态分布N(0,)的；4)对于不同的ei,ej(ij)是相互独立的。5/22/20236AppliedStatforMBA05D16.多元线性回归方程的估计5/22/20237AppliedStatforMBA05D1巴特勒公司二元线性回归模型的估计自变量：x1-行驶距离,x2-运货次数。回归方程：5/22/20238AppliedStatforMBA05D17.多元回归方程变差分解和判定系数R2总变差的分解：SST=SSR+SSE；多元判定系数：R2=SSR/SST；多重相关系数r；调整（修正）的判定系数 ：巴特勒公司二元线性回归模型的判定系数5/22/20239AppliedStatforMBA05D18.对回归方程的检验:F Test for Overall Significance问题：因变量和所有自变量之间是否存在显著问题：因变量和所有自变量之间是否存在显著的关系？的关系？判定系数判定系数 R2可以可以 做方程的整体检验，但是遇到做方程的整体检验，但是遇到分布的困难。分布的困难。检验假设检验假设拒绝域拒绝域F和R2的关系：R2=pF/(n-p-1+pF)。?5/22/202310AppliedStatforMBA05D19.对回归系数的检验:t Test for Individual Significance检验假设检验假设检验统计量检验统计量拒绝域拒绝域5/22/202311AppliedStatforMBA05D110.巴特勒公司线性回归模型的Excel输出回归统计R=0.951R2=0.904adjR2=0.876s=0.573n=10方差分析dfSSMSFSignificanceF回归221.60110.80032.8780.00027624残差72.299 0.328总计923.9Here:SSR=21.601,SSE=2.299,SST=23.9.系数估计和检验Coefficients标准误差tStatp-valueIntercept-0.86870.9515-0.91290.39163行驶距离(英里)0.06110.00996.18240.00045运送货物次数0.92340.22114.17630.004165/22/202312AppliedStatforMBA05D111.多重共线性(Multicollinearity)(1)巴特勒运输公司例题的修改行驶距离运送货物次数(修改数)行驶时间1004(4)9.3503(2)4.81004(4)8.91002(4)6.5502(2)4.2802(3)6.2753(3)7.4654(3)6903(4)7.6902(4)6.15/22/202313AppliedStatforMBA05D1(2)巴特勒运输公司例题的回归结果一元回归方程一元回归方程二元回归方程二元回归方程运输次数修改后的二元回归方程运输次数修改后的二元回归方程(F检验检验p值：值：0.021)*括弧内表示系数的括弧内表示系数的p-值值。5/22/202314AppliedStatforMBA05D1(3)多重共线性问题讨论巴特勒运输回归结果说明:增加解释变量不会降低R2的值,但是adjR2的值却会降低.前两个回归方程的系数p-值都很低(说明甚麽?),后一个修改运输次数的二元回归的两个系数p-值都很高,以至通不过检验.但是后一个方程总体检验的F值的p-值却为0.021(0.05水平下方程成立)原因是修改运输次数数据,使得x1,x2的相关系数由0.16升至0.97,发生了共线性.自变量发生多重共线性,会出现一些(甚至全部)变量通不过检验,但是方程总体检验却能通过.此时的解释变量系数估计值很不可靠.经验表明：解释变量数据彼此的相关系数绝对值大于0.7,回归结果就不可信,处理办法就是剔除p-值高的变量.对2个以上解释变量,自变自变量的相关矩阵和方差膨胀因子(Variance Inflation Factors,简记作VIF)是识别多重共线性的有效方法,有专门软件加以精确检验.5/22/202315AppliedStatforMBA05D112.利用模型进行预测使用计算机软件产生回归模型；通过检验判断你的模型；直接利用模型可以预测自变量(x01,x02,x0p)对应的因变量期望值E(y0)的估计。预测E(y0)和y0的置信区域需要某些专门软件。5/22/202316AppliedStatforMBA05D113.多元回归的残差分析多元回归的残差分析作用方法和一元基本相同。主要的差异在于:多自变量的观测值的杠杆率hi的计算比较复杂,需要使用专门软件。回归分析建模应用中可以看到残差分析的应用5/22/202317AppliedStatforMBA05D1二二、定性自变量(Qualitative Independent Variable)1.虚拟变量虚拟变量(Dummyvariable)方差分析中定性变量的解决方案：引入因子，处理。方差分析中定性变量的解决方案：引入因子，处理。回归分析的解决方案：引入虚拟变量回归分析的解决方案：引入虚拟变量如何定义虚拟变量？如何定义虚拟变量？例：例：x2=0(女性），女性），x2=1（男性）（男性）如何解释回归模型？如何解释回归模型？期望值模型为：期望值模型为：女性女性:男性男性:截距变化，斜率相同。截距变化，斜率相同。5/22/202318AppliedStatforMBA05D12.Johnson过滤水股份公司例子Johnson公司对遍布南弗罗里达州的水过滤系统提供维修服务。为了估计服务时间和成本，公司希望能够对顾客的每一次维修请求预测必要的维修时间。他们收集的数据中包含就近一次维修至今的时间（月数）、故障的类型（电子和机械）以及相应的维修时间（小时）。你能够建立起一个预测方程吗？5/22/202319AppliedStatforMBA05D1(1)Johnson公司数据公司数据 维修时间维修时间/小时小时 最后维修至本次维修请求时间最后维修至本次维修请求时间/月月 故障类型故障类型2.92电子13.06机械04.88电子11.83机械02.92电子14.97电子14.29机械04.88机械04.44电子14.56电子15/22/202320AppliedStatforMBA05D1散点图有正相关的关系，可做一元回归。但是似乎可以看出有两条接近平行的直线拟合这些散点。5/22/202321AppliedStatforMBA05D1(2)(2)建立维修时间建立维修时间-上次维修间隔上次维修间隔,故障性质的回归方程故障性质的回归方程第一个回归方程第一个回归方程第二个回归方程第二个回归方程解释你得到的回归方程！讨论解释你得到的回归方程！讨论 x2的作用。的作用。*括弧内表示系数的括弧内表示系数的p-值值。二元比一元的判定系数增大许多。二元比一元的判定系数增大许多。5/22/202322AppliedStatforMBA05D1(3)更复杂的定性变量更复杂的定性变量如果有如果有3种定性状态，如何设虚拟变量种定性状态，如何设虚拟变量?例例:复印机销售地区是复印机销售地区是A、B、C三个地区三个地区,已知不同已知不同地区销售量不但与价格有关而且与地区也有关系地区销售量不但与价格有关而且与地区也有关系,利利用用回归分析建立销售量模型。设回归分析建立销售量模型。设x1是价格，还需要是价格，还需要2个虚个虚拟变量：拟变量：回归方程期望值表示为：回归方程期望值表示为：地区地区A方程：方程：地区地区B方程：方程：地区地区C方程：方程：注意：注意：k种状态种状态,需要引入需要引入k-1个虚拟变量。个虚拟变量。5/22/202323AppliedStatforMBA05D1三、广义线性模型 有些复杂的曲线关系也可以用多元回归方法拟合。1.模拟高阶曲线关系模拟高阶曲线关系(Curvilinear Relationships)(Curvilinear Relationships)(1)ReynoldsReynolds公司是一家生产工业天平和实验室公司是一家生产工业天平和实验室设备的企业。公司管理人员想要对公司销售人员设备的企业。公司管理人员想要对公司销售人员的工作年限和天平的销售数量之间的关系进行研的工作年限和天平的销售数量之间的关系进行研究。他们随机抽取了究。他们随机抽取了1515名销售人员，得到相应的名销售人员，得到相应的数据：数据：5/22/202324AppliedStatforMBA05D1ReynoldsReynolds公司天平销售量与人员雇用月数公司天平销售量与人员雇用月数 天天 平平 销售人员销售人员 天天 平平 销售人员销售人员 销售量销售量 雇用月数雇用月数 销售量销售量 雇用月数雇用月数 275 275 41 89 41 89 40 40 296 296 106 235 106 235 51 51 317 317 76 83 76 83 9 9 376 376 104 112 12 104 112 12 162 162 22 67 22 67 6 6 150 150 12 325 12 325 56 56 367 367 85 189 85 189 19 19 308 308 111 111 5/22/202325AppliedStatforMBA05D1（2）散点图和一元回归结果5/22/202326AppliedStatforMBA05D1 R2=0.781174可以看出销售量和人员雇用月数的回归方程为Sale=111.23+2.38Months(0.00012)方程的显著性也很高。但是从散点图看出似乎有非线性趋势，而且判定系数也不算大。从下页残差表和残差图看出有明显非线性特征，考虑加入二次项x2做为第二个解释变量，做二阶回归：5/22/202327AppliedStatforMBA05D1ReynoldsReynolds公司案例公司案例残差表预测天平销售量残差 标准残差208.6756926 66.324307421.390020675363.166061-67.16606097-1.407662093291.862814 25.137185980.526823567358.412511217.587488830.368597488163.5169695-1.516969516-0.031792552139.7492205 10.250779470.214835193313.253788153.74621191.126409738375.0499355-67.04993546-1.405228342206.2989177-17.29891768-0.362549632232.44344162.5565584350.053580191132.6188958-49.61889584-1.039909707139.7492205-27.74922053-0.581566423125.4885711-58.48857114-1.225799805244.3273161 80.672683941.69073305156.3866448 32.613355180.6835086525/22/202328AppliedStatforMBA05D1ReynoldsReynolds公司案例残差图公司案例残差图5/22/202329AppliedStatforMBA05D1（3）二阶回归结果R2=0.90 Coefficients 标准误差 t Stat p-valueIntercept45.34758 22.77465 1.99114 0.0697雇用月数6.344807 1.057851 5.99782 6.24E-05月数平方 -0.03449 0.008948 -3.85388 0.0023回归方程为Sale=45.35+6.34(Months)-0.35(Months)2(0.000)(0.002)整个方程F检验的p-值为0.000,无论系数和方程高度显著通过检验，下页给出二阶回归的标准化残差，相当规范。5/22/202330AppliedStatforMBA05D15/22/202331AppliedStatforMBA05D12.因变量对数模型1）汽车耗油问题2）散点图有负线性相关趋势5/22/202332AppliedStatforMBA05D13）一元回归判定系数和变量系数都很显著，方程应该可以被接受。5/22/202333AppliedStatforMBA05D14）一元回归残差分析残差呈楔形，有随汽车重量增加而增大的异方差趋势。5/22/202334AppliedStatforMBA05D15）因变量对数一元回归分析E(lnY)=0+1x 系数显著性有提高5/22/202335AppliedStatforMBA05D16）因变量对数一元回归分析残差分析标准残差分布比较均匀，方程可以更好的被接受。5/22/202336AppliedStatforMBA05D13.其他常用的非线性变换为线性的公式 5/22/202337AppliedStatforMBA05D1四.变量选取方法上面一些例子说明选取合适的解释变量至关重要.对于一组备选的解释变量进行挑选,逐步回归(Stepwise)是十分有效的方法。逐步回归建立在向前选择和向后消元的基础之上。逐步回归的基本思想是:备选的解释变量依照对因变量的相关程度和在回归方程中的地位,按照一定的规则逐步吸纳和剔除,直到不能吸纳和剔除为止。不少统计软件都具有逐步回归功能,例如:SAS、SPSS、Minitab、StaPro等。5/22/202338AppliedStatforMBA05D11.增加或删除变量的F检验 F 检验用来检验已含x1 xk的模型再增加自变量xk+1(或者从已含x1 xk xk+1删除xk+1)。若FF1,n-(k+1)-1则应该增加(或不删除)xk+1,否则不应增加(或删除)xk+1。k=1则有5/22/202339AppliedStatforMBA05D1增加或删除变量的F检验的巴特勒例题巴特勒例题的一元回归和二元回归方程分别为(0.0041)括号内为变量系数的p-值(0.0004)(0.0042)F 检验中的分子分母分别为F统计量的p-值=0.0042,x2应该增加(或不应删除)。可以看出F统计量的p-值就是二元中x2系数的p-值。5/22/202340AppliedStatforMBA05D12.逐步回归的基本步骤1）给定显著性水平。2）选择与被解释变量相关系数最高的变量做一元回归；如果该变量p-值不显著，则回归失败结束；否则一元回归方程成立，进入3)。3）在一元回归基础上利用F-检验筛选其余变量，选择其中显著性水平(p-值）小于且F值最大的一个变量做二元回归;如果不存在这种变量,只能得出一元回归方程,回归结束；否则二元回归成立,进入4)。4）在二元回归基础上利用F-检验筛选其余变量，选择其中显著性水平小于且F值最大的一个变量做3元回归；如果不存在这种变量,只能得出二元回归方程,回归结束；否则在引入3元基础上进入第5)步。5/22/202341AppliedStatforMBA05D1逐步回归的基本步骤（续）5）已有k个变量被引入基础上利用F-检验对已被引入的变量做检验，删除其中显著性水平(p-值）大于且F值最小的一个变量，做k-1元回归，然后继续做删除检验（每次删除1个变量），直到没有符合被删除条件的变量为止,进入第6）步。6）在m个变量被引入基础上利用F-检验筛选未被引入的变量，选择其中显著性水平小于且F值最大的一个变量做m+1元归，然后回到第5)步；否则如果不存在这种变量,只能得出m元回归方程,回归结束。123456结束5/22/202342AppliedStatforMBA05D13.逐步回归的几个问题1）对于给定的显著性水平，逐步回归一定会结束，其结果唯一；不同的回归结果不同。2）前三步只引进变量，不剔除变量。3）可以分别设定不同的进和出,但是要求进出，否则可能形成死循环不能结束回归。5/22/202343AppliedStatforMBA05D14.大型问题分析-逐步回归的应用教材740页提供9个变量的Cravens数据，讨论8个自变量对因变量SALES的多元回归问题。相关系数阵为利用StaPro软件做逐步回归，结果在以下各片5/22/202344AppliedStatforMBA05D1逐步回归的应用第一步5/22/202345AppliedStatforMBA05D1逐步回归的应用第二步5/22/202346AppliedStatforMBA05D1逐步回归的应用第三步5/22/202347AppliedStatforMBA05D1逐步回归的应用第四步如果设置进=出=0.01,则第二步就结束,一般设较大,多得到几步,再根据系数p-值决定到哪步结束。5/22/202348AppliedStatforMBA05D16.最佳子集回归 -逐步回归方法是通过每次增加或者删除自变量来选择回归模型,对于一组已知变量,方法并不能保证得到最佳的模型。不少统计软件都具有最佳子集回归过程,例如:SAS、SPSS、Minitab等。对于一组给定的自变量,这一过程能够得到最佳回归模型。5/22/202349AppliedStatforMBA05D1总结：如何建立一个回归模型总结：如何建立一个回归模型？1、正确选择自变量和因变量（需要虚拟变、正确选择自变量和因变量（需要虚拟变量吗？需要引入非线性因素吗？）；量吗？需要引入非线性因素吗？）；2、正确使用计算机软件建立回归模型；、正确使用计算机软件建立回归模型；3、查看残差图（线性假设成立吗？存在异、查看残差图（线性假设成立吗？存在异 方差吗？有异常值或影响点存在吗？是方差吗？有异常值或影响点存在吗？是否存在多重共线性问题？）否存在多重共线性问题？）5/22/202350AppliedStatforMBA05D1总结：如何建立一个回归模型总结：如何建立一个回归模型？5、小心地处理系数的、小心地处理系数的p值比较大的变量，切记：值比较大的变量，切记：你不应该马上把那些你不应该马上把那些p值较大的自变量都消除！值较大的自变量都消除！6、你可以尝试使用软件提供的变量选择过程建、你可以尝试使用软件提供的变量选择过程建立模型。（但是你要明白选择出什么样的模型立模型。（但是你要明白选择出什么样的模型仍然是由你来控制的。）仍然是由你来控制的。）7、无论如何再回到逐步回归第、无论如何再回到逐步回归第5步都是有益的！步都是有益的！5/22/202351AppliedStatforMBA05D1总结：分析你得到的模型总结：分析你得到的模型1、你必须回到你具体问题的情景中去！、你必须回到你具体问题的情景中去！2、如何对你的模型和系数进行解释？、如何对你的模型和系数进行解释？3、使用你的模型进行预测。此时，你要注、使用你的模型进行预测。此时，你要注意很多问题！意很多问题！4、把具体的问题化成模型中的假设？尝试、把具体的问题化成模型中的假设？尝试着去找到检验的方法。着去找到检验的方法。5、体会使用模型辅助你进行决策！、体会使用模型辅助你进行决策！5/22/202352AppliedStatforMBA05D1作作 业业 6Due Date:May 28,2005.教材教材 704 704页：页：4747题题教材教材 704 704页：案例研究页：案例研究2 2。说明：你只需运用逐步回归选取高。说明：你只需运用逐步回归选取高尔夫球手比赛成绩的影响因素。尔夫球手比赛成绩的影响因素。5/22/202353AppliedStatforMBA05D19、静夜四无邻，荒居旧业贫。5月-235月-23Monday,May22,202310、雨中黄叶树，灯下白头人。01:00:1401:00:1401:005/22/20231:00:14AM11、以我独沈久，愧君相见频。5月-2301:00:1401:00May-2322-May-2312、故人江海别，几度隔山川。01:00:1401:00:1401:00Monday,May22,202313、乍见翻疑梦，相悲各问年。5月-235月-2301:00:1401:00:14May22,202314、他乡生白发，旧国见青山。22五月20231:00:14上午01:00:145月-2315、比不了得就不比，得不到的就不要。五月231:00上午5月-2301:00May22,202316、行动出成果，工作出财富。2023/5/221:00:1401:00:1422May202317、做前，能够环视四周；做时，你只能或者最好沿着以脚为起点的射线向前。1:00:14上午1:00上午01:00:145月-239、没有失败，只有暂时停止成功！。5月-235月-23Monday,May22,202310、很多事情努力了未必有结果，但是不努力却什么改变也没有。01:00:1401:00:1401:005/22/20231:00:14AM11、成功就是日复一日那一点点小小努力的积累。5月-2301:00:1401:00May-2322-May-2312、世间成事，不求其绝对圆满，留一份不足，可得无限完美。01:00:1401:00:1401:00Monday,May22,202313、不知香积寺，数里入云峰。5月-235月-2301:00:1401:00:14May22,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。22五月20231:00:14上午01:00:145月-2315、楚塞三湘接，荆门九派通。五月231:00上午5月-2301:00May22,202316、少年十五二十时，步行夺得胡马骑。2023/5/221:00:1401:00:1422May202317、空山新雨后，天气晚来秋。1:00:14上午1:00上午01:00:145月-239、杨柳散和风，青山澹吾虑。5月-235月-23Monday,May22,202310、阅读一切好书如同和过去最杰出的人谈话。01:00:1401:00:1401:005/22/20231:00:14AM11、越是没有本领的就越加自命不凡。5月-2301:00:1401:00May-2322-May-2312、越是无能的人，越喜欢挑剔别人的错儿。01:00:1401:00:1401:00Monday,May22,202313、知人者智，自知者明。胜人者有力，自胜者强。5月-235月-2301:00:1401:00:14May22,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。22五月20231:00:14上午01:00:145月-2315、最具挑战性的挑战莫过于提升自我。五月231:00上午5月-2301:00May22,202316、业余生活要有意义，不要越轨。2023/5/221:00:1401:00:1422May202317、一个人即使已登上顶峰，也仍要自强不息。1:00:14上午1:00上午01:00:145月-23MOMODA POWERPOINTLorem ipsum dolor sit amet,consectetur adipiscing elit.Fusce id urna blandit,eleifend nulla ac,fringilla purus.Nulla iaculis tempor felis ut cursus.感感 谢谢 您您 的的 下下 载载 观观 看看专家告诉
