多元回归分析精选PPT.ppt

关于多元回归分析第1页，讲稿共78张，创作于星期日一元线性回归模型复习一元线性回归模型复习一个自变量X与一个因变量Y作散点图模型形式 Y=0+1X+回归直线模型的F检验，T检验，（P值相同，作用等价）R2决定系数-相关系数第2页，讲稿共78张，创作于星期日房屋售价房价房价Y，受面积，受面积X1影响影响，还有影响因素吗？受地域x2（市中心与否），结构x3影响（高层与砖混）第3页，讲稿共78张，创作于星期日汽车销售汽车销售若公司管理人员要预测来年该公若公司管理人员要预测来年该公司的汽车销售额司的汽车销售额y时，影响销售时，影响销售额的因素额的因素-广告宣传费广告宣传费x1还有个人可还有个人可支配收入支配收入x2,价格价格x3第4页，讲稿共78张，创作于星期日研究地区经济增长GDP，受劳动力投入人数x1影响!还有：资本要素，科技水还有：资本要素，科技水平的影响平的影响 第5页，讲稿共78张，创作于星期日多元回归应用例:财政收入y为因变量。自变量如下：x1工业总产值，x2农业总产值，x3建筑业总产值，x4人口数，x5社会商品零售总额。例：股票价格Y，自变量为每股收益X1，每股帐面价值X2。例：失业的时间长度Y（月），自变量有学历x1,年龄x2，工龄X3.第6页，讲稿共78张，创作于星期日多元回归模型(multiple regression model)描述因变量 y 依赖于自变量 x1，x2，xk 和误差项 的方程，称为多元回归模型 0 0，1 1，2 2 ，k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 包含在包含在y y里面但不能被里面但不能被k k个自变量的线性关系所解释的变异性个自变量的线性关系所解释的变异性第7页，讲稿共78张，创作于星期日地区地区GDPGDP就业人员就业人员（万人）（万人）投资投资(亿元亿元)北北 京京 3663.10858.62169.26 天天 津津 2447.66419.71039.39 河河 北北 7098.563389.52477.98 山山 西西 2456.591469.51100.86 内蒙古内蒙古 2150.411005.21174.66 辽辽 宁宁 6002.541861.32076.36 吉 林 2522.621044.6969.03 黑龙江 4430.001622.41166.18 多元回归样本数据多元回归样本数据第8页，讲稿共78张，创作于星期日多元多元回归模型回归模型模型矩阵表示模型矩阵表示第9页，讲稿共78张，创作于星期日多元回归模型基本假定多元回归模型基本假定1.误差项是一个期望值为0的随机变量，即E()=02.对于自变量x1，x2，xk的所有值，的方差 2都相同3.误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立第10页，讲稿共78张，创作于星期日多多元线性回归方程元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk描述因变量 y 的平平均均值值或或期期望望值值如何依赖于自变量 x1，x2，xk的方程偏回归系数i表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均变动值第11页，讲稿共78张，创作于星期日YX1X2Slope for variable X1Slope for variable X2多元回归方程几何意义Multiple Regression Equation第12页，讲稿共78张，创作于星期日最小二乘估计 最小 SSE:第13页，讲稿共78张，创作于星期日第14页，讲稿共78张，创作于星期日YX1X2Yi Yix2ix1i The best fit equation,Y,is found by minimizing the sum of squared errors,e2 样本观测回归残差示意图Residual=i =(Yi Yi)第15页，讲稿共78张，创作于星期日普通最小二乘估计普通最小二乘估计对于随机抽取的n组观测值如果样本函数的参数估计值已经得到，则有：i=1,2n根据最小二乘原理，参数估计值应该是下列方程组的解 其中第16页，讲稿共78张，创作于星期日于是得到关于待估参数估计值的正规方程组：第17页，讲稿共78张，创作于星期日正规方程组的矩阵形式即由于XX满秩，故有 第18页，讲稿共78张，创作于星期日多元回归方程模型系数由样本数据估计得到估计值估计值Estimated(orpredicted)valueofY斜率斜率Estimatedslopecoefficients截距截距Estimatedintercept用 Excel 计算得到回归系数第19页，讲稿共78张，创作于星期日馅饼Pie销售量sale，受价格price的影响。还受广告费Advertising 的影响第20页，讲稿共78张，创作于星期日馅饼销售Sales=0+1(Price)+2(Advertising)星期销售价格广告费WeekPieSalesPrice($)Advertising($100s)13505.503.324607.503.333508.003.044308.004.553506.803.063807.504.074304.503.084706.403.794507.003.5104905.004.0113407.203.5123007.903.2134405.904.0144505.003.5153007.002.7Multiple regression equation:第21页，讲稿共78张，创作于星期日多元回归结果RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.0136.538610.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888第22页，讲稿共78张，创作于星期日多元回归方程b1=-24.975:表明每表明每周销售量将减少，价周销售量将减少，价格增加美元，销售格增加美元，销售量平均减少量平均减少24.975个，（假设广告的效个，（假设广告的效果不变）果不变）b2=74.131:表明销售表明销售量增加，广告费增量增加，广告费增加美元，销加美元，销售平均增加售平均增加74.131个周个周,（假设价格（假设价格不变）不变）第23页，讲稿共78张，创作于星期日用模型预测预测价格为$5.50，广告费为$350:预测销量为 428.62 pies注意：单位百元，$350 意味 X2=3.5第24页，讲稿共78张，创作于星期日模型的检验模型的检验系数的检验系数的检验拟合度检验决定系数拟合度检验决定系数第25页，讲稿共78张，创作于星期日误差平方和的分解误差平方和的分解SST=SSR+SSE总平方和总平方和总平方和总平方和(SSTSST)回归平方和回归平方和回归平方和回归平方和(SSRSSR)残差平方和残差平方和残差平方和残差平方和(SSESSE)越小越好越大越好反映自变量反映自变量 xi xi 的变化对因的变化对因变量变量 y y 取值变化的影响，取值变化的影响，假设不变反映除反映除 x ix i以外的其以外的其他因素对他因素对 y y 取值的取值的影响影响第26页，讲稿共78张，创作于星期日多重判定系数-可决系数-拟合优度(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被多元回归方程所解释的比例 第27页，讲稿共78张，创作于星期日RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.036.538610.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888销量变化的销量变化的52.1%，由价格和广告因素解，由价格和广告因素解释释决定系数第28页，讲稿共78张，创作于星期日随着自变量个数的不断增加，会使得R2不断增加，因此在作拟合优度检验的判定时，一般采用调整的R2，以消除自变量的个数以及样本量的大小对R2的影响。第29页，讲稿共78张，创作于星期日修正多重判定系数修正多重判定系数(adjusted multiple coefficient of determination)1.为避免增加自变量而高估 R2，需要用样本量n和自变量的个数k去修正R2得到 计算公式为意义与 R2类似，数值小于R2目的是惩罚过多使用不重要的自变量目的是惩罚过多使用不重要的自变量。用于比较多个模型用于比较多个模型第30页，讲稿共78张，创作于星期日RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.0136.538610.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888销量变化的销量变化的44.2%由价格和广告解释。由价格和广告解释。Adjusted r2第31页，讲稿共78张，创作于星期日回归方程显著性F检验1.提出假设H0：12k=0 线性关系不显著H1：1，2，k至少有一个不等于02 2.计算检验统计量F3.分子自由度k、分母自由度n-k-1得出统计量F，得到检验值4.作出决策：确定显著性水平和比较，P 拒绝H0利用F统计量进行总体线性显著性检验第32页，讲稿共78张，创作于星期日RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.016.53860.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.019957.58835555.46404Price-24.9750910.83213-2.305650.039-48.576-1.3739Advertising74.1309625.967322.854780.014917.553130.70888总体线性显著性检验F Test for Overall SignificanceP-valuefortheFTest第33页，讲稿共78张，创作于星期日H0:1=2=0H1:1 和 2 不全为=.05df1=2 df2=12 检验统计量检验统计量:判定判定:结论结论:因为统计量在拒绝域(p-value .05),拒绝 H0结果说明至少有一个自变量影响结果说明至少有一个自变量影响0=.05F.05=3.885拒绝H0不能拒绝 H0临界值临界值:F=3.885F F 检验意义检验意义F第34页，讲稿共78张，创作于星期日检验的值计算F检验临界值第35页，讲稿共78张，创作于星期日单个自变量回归系数的检验1.提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.3.确定显著性水平确定显著性水平，并进行决策，P拒绝拒绝H H0 0.第36页，讲稿共78张，创作于星期日RegressionStatisticsMultipleR0.72213RSquare0.52148AdjustedRSquare0.44172StandardError47.46341Observations15ANOVAdfSSMSFSignificanceFRegression229460.02714730.016.538610.01201Residual1227033.3062252.776Total1456493.333CoefficientsStandardErrortStatP-valueLower95%Upper95%Intercept306.52619114.253892.682850.0199357.58835555.46404Price-24.9750910.83213-2.305650.03979-48.57626-1.37392Advertising74.1309625.967322.854780.0144917.55303130.70888价格价格t=-2.306,p-value.03979广告费广告费t=2.855,p-value.01449单个变量显著性检验第37页，讲稿共78张，创作于星期日d.f.=15-2-1=12=.05t/2=2.1788Inferences about the Slope:t Test ExampleH0:i=0H1:i 0检验统计量在拒绝域(p-values 30第41页，讲稿共78张，创作于星期日一、EXCEL软件计算：将输入的X1，x2，x3，xk，排列在一起，再输入Y的观察值。在“工具工具”栏栏“数据分析数据分析”中选中选“回归回归”在数据区中选X时多个变量一起选中，Y的区域。得到回归系数值与检验值第42页，讲稿共78张，创作于星期日第43页，讲稿共78张，创作于星期日第44页，讲稿共78张，创作于星期日EXCEL多元回归系数检验多元回归系数检验分行分行编号编号不良贷不良贷款款(亿元）亿元）Y各项贷款余各项贷款余额额（亿元）（亿元）x1x1本年累计应收本年累计应收贷款贷款（亿元）（亿元）x2x2贷款项目个贷款项目个数数（个）（个）x3x3本年固定资产投本年固定资产投资额资额（亿元）（亿元）x4x410.967.36.8551.921.1111.319.81690.934.8173.07.71773.743.280.87.21014.557.8199.716.51963.262.716.22.212.271.6107.410.71720.2812.5185.427.11843.891.096.11.71055.9102.672.89.11464.3110.364.22.11142.7124.0132.211.22376.7130.858.66.01422.8143.5174.612.726117.11510.2263.515.634146.7163.079.38.91529.9170.214.80.6242.1180.473.55.91125.3191.024.75.0413.4206.8139.47.22864.32111.6368.216.832163.9221.695.73.81044.5231.2109.610.31467.9247.2196.215.81639.7253.2102.212.01097.1第45页，讲稿共78张，创作于星期日第46页，讲稿共78张，创作于星期日CoefficientsCoefficients标准误差标准误差t Statt StatP-valueP-valueInterceptIntercept-1.021639763-1.0216397630.7823720.782372-1.30582-1.305820.2064340.206434各项贷款余额各项贷款余额（亿元）（亿元）x1x10.0400393530.0400393530.0104340.0104343.8374953.8374950.0010280.001028本年累计应收贷款本年累计应收贷款（亿元）（亿元）x2x20.1480338910.1480338910.0787940.0787941.8787381.8787380.0749350.074935贷款项目个数贷款项目个数（个）（个）x3x30.0145293530.0145293530.0830330.0830330.1749830.1749830.8628530.862853本年固定资产投资额本年固定资产投资额（亿元）（亿元）x4x4-0.029192866-0.0291928660.0150730.015073-1.93677-1.936770.067030.06703第47页，讲稿共78张，创作于星期日逐步回归法在多元线性回归中，最难的是如何选择自变量的问题，如果自变量选的太少，则自变量对Y的决定系数太小，导致过大的偏差，如果把与Y有关的自变量都选入是不可能的。多个自变量间的相关会给回归方程的实际解释上造成麻烦，即多重共线性的影响。最优方程：最优方程：要求进入回归方程的自变量都是显著的，未进入回归方程的自变量都是不显著的。第48页，讲稿共78张，创作于星期日变量选择过程1.在建立回归模型时，对自变量进行筛选2.选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量3.变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 第49页，讲稿共78张，创作于星期日向前选择(forward selection)1.对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型 2.分别拟合引入模型外的k-1个自变量的线性回归模型 3.如此反复进行，直至模型外的自变量均无统计显著性为止第50页，讲稿共78张，创作于星期日向后剔除(backward elimination)1.先对因变量包括所有k个自变量的回归模型。然后去掉一个自变量，这个自变量是使模型的SSE值减小最少的自变量，被挑选出来并从模型中剔除2.如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止第51页，讲稿共78张，创作于星期日逐步回归(stepwise regression)1.将向前选择和向后剔除两种方法结合起来筛选自变量2.在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除3.按照以上方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少4.在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中第52页，讲稿共78张，创作于星期日*2、赤池信息准则和施瓦茨准则、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则赤池信息准则（Akaikeinformationcriterion,AIC）施瓦茨准则（Schwarz criterion，SC）这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。第53页，讲稿共78张，创作于星期日 Eviews的估计结果显示：中国居民消费二元例中：AIC=6.68 SC=6.83 中国居民消费一元例中：AIC=7.09 SC=7.19从这点看，可以说前期人均居民消费CONSP(-1)应包括在模型中。第54页，讲稿共78张，创作于星期日含有虚拟自变量的回归第55页，讲稿共78张，创作于星期日虚拟自变量(dummy variable)1.用数字代码表示的定性自变量2.虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女)有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他)3.虚拟变量的取值为0，1第56页，讲稿共78张，创作于星期日虚拟自变量的回归1.回归模型中使用虚拟自变量时，称为虚拟自变量的回归2.当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女)3.一般而言，如果定性自变量有k个水平，需要在回归模型中引进k-1个虚拟变量第57页，讲稿共78张，创作于星期日虚拟自变量的回归【例例例例】为为 了了 研研究究考考试试成成绩绩与与性性别别之之间间的的关关系系，从从某某大大学学商商学学院院随随机机抽抽取取男男女女学学生生各各8 8名名，得得到到他他们们的的市市场场营营销销学学课课程程的的考考试成绩如右表试成绩如右表 第58页，讲稿共78张，创作于星期日虚拟自变量的回归(考试成绩与性别的散点图)男 女第59页，讲稿共78张，创作于星期日虚拟自变量的回归引进虚拟变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0男学生考试成绩的期望值女(x=1)：E(y)=0+11女学生考试成绩的期望值注意：当指定虚拟变量0，1时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值=(0+1)-0=1第60页，讲稿共78张，创作于星期日虚拟自变量的回归(例题分析)【例例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如右表 y y与与与与x x1 1的回归及分析的回归及分析的回归及分析的回归及分析 y y与与与与x x1 1，x x2 2的回归及分析的回归及分析的回归及分析的回归及分析第61页，讲稿共78张，创作于星期日虚拟自变量的回归引进虚拟变量时，回归方程写为 E(y)=0+1x1+2x2女(x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x1 0表示：女性职工的期望月工资收入(0+2)表示：男性职工的期望月工资收入 1表示：工作年限每增加1年，男性或女性工资的平均增加值 2表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2第62页，讲稿共78张，创作于星期日用虚拟自变量回归解决方差分析问题第63页，讲稿共78张，创作于星期日设对设对某种某种职业职业者的工者的工资资采集了采集了10个个样样本，列于下表，本，列于下表，工工资单资单位略去，性位略去，性别栏别栏中中1表示男性，表示男性，0表示女性表示女性。序号序号12345678910工工资资22.0 19.0 18.0 21.7 18.5 21.0 20.5 17.0 17.5 21.2性性别别1001011001我我们们以性以性别为别为自自变变量建立回量建立回归归模型模型第64页，讲稿共78张，创作于星期日序号序号工资工资性别性别122121903180421.71518.506211720.518170917.501021.21回归系数分析回归系数标准误标准化的betat显著性常数项 18.0000 0.3118 57.73500.0000变量0002 3.2800 0.4409 0.9347 7.4392 0.0001方差分析表平方和自由度均方F值显著性回归 26.89601 26.8960 55.3416 0.0001残差 3.88808 0.4860总和 30.78409回归方程工资=18.000000+3.2800*性别第65页，讲稿共78张，创作于星期日对表中数据回归得 它表示，女性的平均工资为18，男性的平均工资为18+3.28=21.28。由于回归系数的统计量为7.44，远大于临界值0.44，非常显著，故认为该项工作男女工资存在差别。第66页，讲稿共78张，创作于星期日具体（社会经济）问题具体（社会经济）问题设置指标变量设置指标变量收集整理数据收集整理数据修改修改构造理论模型构造理论模型估计模型参数估计模型参数模型运用模型运用经济因素分析经济因素分析经济变量控制经济变量控制经济决策预测经济决策预测模型检验通过模型检验通过?NY第67页，讲稿共78张，创作于星期日例如，描述税收与税率关系的拉弗曲线：抛物线 s=a+b r+c r2 c0 s：税收；r：税率三 非线性回归 例如，Cobb-Dauglas生产函数：幂函数 Q=AKLQ：产出量，K：投入的资本；L：投入的劳动第68页，讲稿共78张，创作于星期日非线性回归非线性回归1.1.因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型第69页，讲稿共78张，创作于星期日701.多项式模型在只有一个自变量的情况下，多项式模型形式如下：2.对数模型对数模型方程为：上一页下一页返回本节首页第70页，讲稿共78张，创作于星期日双曲线 0 0 01.基本形式：2.线性化方法令：y=1/y，x=1/x,则有y=+x3.图像第71页，讲稿共78张，创作于星期日幂函数曲线1.基本形式：2.线性化方法两端取对数得：lg y=lg+lg x令：y=lgy，x=lg x，则y=lg+x3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 第72页，讲稿共78张，创作于星期日对数曲线1.基本形式：2.线性化方法x=lnx,则有y=+x3.图像 0 0 0 0 第73页，讲稿共78张，创作于星期日指数曲线1.基本形式：2.线性化方法两端取对数得：lny=ln+x令：y=lny，则有y=ln+x3.图像 第74页，讲稿共78张，创作于星期日S 型曲线1.基本形式：2.线性化方法令：y=1/y，x=e-x,则有y=+x3.图像第75页，讲稿共78张，创作于星期日非线性回归(例题分析)【例例】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格x与需求量y进行观察，取得的样本数据如表11.16。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程废品率与生产率的关系废品率与生产率的关系价格价格(元元)x12345678910需求量需求量(千克千克)y58504438343029262524第76页，讲稿共78张，创作于星期日非线性回归(例题分析)价格与需求量的散点图价格与需求量的散点图第77页，讲稿共78张，创作于星期日感感谢谢大大家家观观看看第78页，讲稿共78张，创作于星期日