第6章回归分析.pptx

2023/2/176-1【引例6.0】（数据文件为example 6.0）某公司经理想研究公司员工的年薪问题，根据初步分析，他认为员工的当前年薪y(元)与员工的开始年薪x1(元)、在公司的工作时间x2(月)、先前的工作经验x3(月)和受教育年限x4(年)有关系，他随机抽样调查了36个员工，收集到以下数据：第1页/共113页2023/2/176-2第2页/共113页2023/2/176-3问题经理想根据以上样本数据，构建一个模型来反映y与x1、x2、x3和x4之间关系，并希望利用该模型在给定一个员工的x2、x3和x4的条件下，预测该员工的当前年薪y。此外，经理认为，公司男女员工的薪水结构不同，他想在建立模型的时候能把性别因素考虑进来，这是否可行？第3页/共113页2023/2/176-46.1 相关分析相关的概念 1.人的身高与体重有相关关系。2.居民可支配收入与支出有相关关系。3.粮食产量与施肥量有相关关系。第4页/共113页2023/2/176-5相关的种类1.按相关程度划分:分为完全相关、不完全相关和不相关；如图6.1所示。2.按相关方向划分:分为正相关和负相关。如图6.2所示。3.按相关形式划分:分为线性相关和非线性相关；如图6.3所示。4.按变量多少划分:分为简单相关和复相关。第5页/共113页2023/2/176-6相关关系的度量1.简单线性相关系数 第6页/共113页2023/2/176-7第7页/共113页2023/2/176-8第8页/共113页2023/2/176-92.偏相关系数第9页/共113页2023/2/176-10【例6.1】第10页/共113页2023/2/176-11第11页/共113页2023/2/176-12第12页/共113页2023/2/176-136.2 一元线性回归回归的含义回归（regression）一词最早由英国生物学家兼统计学家高尔顿（F.Galton）于1886年在论文“Regression towards mediocrity in hereditary stature”中正式提出。回归分析（regression analysis）是通过建立回归模型来研究相关变量的关系并作出相应估计和预测的一种统计方法，第13页/共113页2023/2/176-14一元线性回归第14页/共113页2023/2/176-15第15页/共113页2023/2/176-16最小二乘估计图图6.4 x和和y的散点图的散点图第16页/共113页2023/2/176-17第17页/共113页2023/2/176-18第18页/共113页2023/2/176-19第19页/共113页2023/2/176-20第20页/共113页2023/2/176-21第21页/共113页2023/2/176-22【例6.2】(数据文件为example 6.2)已知我国2007年31个地区城镇居民年人均可支配收入和年人均消费性支出数据如下表（单位：元），试分析城镇居民年人均可支配收入和年人均消费性支出之间的关系，如果有线性相关关系，试建立一元线性回归模型。第22页/共113页2023/2/176-23第23页/共113页2023/2/176-24图6.5人均可支配收入x和人均消费性支出y散点图 第24页/共113页2023/2/176-25第25页/共113页2023/2/176-26第26页/共113页2023/2/176-27第27页/共113页2023/2/176-28回归方程的检验 第28页/共113页2023/2/176-291.F检验第29页/共113页2023/2/176-30第30页/共113页2023/2/176-31第31页/共113页2023/2/176-32第32页/共113页2023/2/176-332.t检验第33页/共113页2023/2/176-343.r检验第34页/共113页2023/2/176-35第35页/共113页2023/2/176-36【例6.3】给定显著水平，对例6.2的回归方程进行检验。第36页/共113页2023/2/176-37第37页/共113页2023/2/176-38第38页/共113页2023/2/176-39估计与预测第39页/共113页2023/2/176-40第40页/共113页2023/2/176-41图6.6 回归预测的预测区间第41页/共113页2023/2/176-426.3 多元线性回归多元线性回归模型第42页/共113页2023/2/176-43引入矩阵符号 第43页/共113页2023/2/176-44第44页/共113页2023/2/176-45第45页/共113页2023/2/176-46多元线性回归方程的检验第46页/共113页2023/2/176-47第47页/共113页2023/2/176-482.方程显著性检验第48页/共113页2023/2/176-49第49页/共113页2023/2/176-50表6.11 多元回归方程显著性检验的方差分析表第50页/共113页2023/2/176-513.回归系数显著性检验第51页/共113页2023/2/176-52【例6.5】(数据文件为example 6.0)沿用本章引例中的资料，建立多元线性回归方程并对回归方程进行检验（给定显著水平=0.05）。解：1.先点散点图，用SPSS打开数据文件example 6.0，选择GraphsLegacy DialogsScatter/Dot.Simple Scatter，点Define，将两个变量开始年薪x和当前年薪y分别选入X Axis和Y Axis，点OK。第52页/共113页2023/2/176-53图6.7 当前年薪对开始年薪的散点图 第53页/共113页2023/2/176-542做多元线性回归：选择AnalyzeRegressionLinear，将自变量开始年薪、工作时间、先前工作经验和受教育年限选入Independent，再将因变量当前年薪y选入Dependent中，然后选择Method为默认值Enter，点OK即可得3个主要表格：表6.12至6.14。第54页/共113页2023/2/176-55表6.12 员工年薪问题的回归方程的可决系数第55页/共113页2023/2/176-56表6.13 员工年薪问题的方差分析表第56页/共113页2023/2/176-57表6.14 员工年薪问题的多元回归方程回归系数表第57页/共113页2023/2/176-58于是可得如下回归方程：从回归方程可以看出：当前年薪y与开始年薪x1和受教育年限x4正相关（回归系数为正），这是合理的；但与工作时间x2和先前工作经验x3负相关（回归系数为负），这是不合理的，为什么？第58页/共113页2023/2/176-593对回归方程进行检验。第59页/共113页2023/2/176-60估计与预测1.均值E(y0)的估计第60页/共113页2023/2/176-612.个值 y0的预测第61页/共113页2023/2/176-626.4 虚拟变量回归第62页/共113页2023/2/176-63【例6.6】在例6.5中，将性别作为虚拟变量引入回归方程，建立当前年薪y关于受教育年限和性别虚拟变量的线性回归模型。解：性别x5是虚拟变量，所以这是虚拟变量回归问题；将性别变量“量化”，x5=0表示男性，x5=1表示女性，统计模型设定为 第63页/共113页2023/2/176-64用SPSS打开数据文件example 6.0，选择AnalyzeGeneral Linear ModelUnivariate，将因变量当前年薪y选入Dependent Variable中，把定量自变量受教育年限x4选入Covariate中，把虚拟变量性别x5选入Fixed Factor中，在Options中选择Parameter Estimates，点击Model，在Specify Model中选Custom，再把定量自变量x4和虚拟变量x5选入右边，在Building Term中选Main effect，然后点Continue回到主对话框，在Options中的Display中选择Parameter estimates，点ContinueOK即可得参数估计值表表6.15。第64页/共113页2023/2/176-65表6.15 引入性别虚拟变量的线性回归模型回归系数表第65页/共113页2023/2/176-66由表6.15容易得如下回归方程显然，这两条线是截距不同的两条平行线，截距的差异表示男女职工年薪的差别。第66页/共113页2023/2/176-676.5 Logistic回归本节讨论因变量是二值定性变量的回归，即Logistic 回归。第67页/共113页2023/2/176-68【例6.7】为了研究家庭年收入与是否有私家车的关系，随机调查了50个家庭的情况得结果如表6.16，以是否有私家车为因变量（它是一个二值定性变量），年收入为自变量建立回归方程，并估计年收入为12万元的家庭有私家车的可能性。第68页/共113页2023/2/176-69表6.15 抽样调查得到的50个家庭的数据资料第69页/共113页2023/2/176-70第70页/共113页2023/2/176-71第71页/共113页2023/2/176-72利用SPSS软件实现Logistic回归具体操作如下：打开数据文件example 6.6，选择AnalyzeRegressionBinary Logistic，将因变量y选入Dependent中，把自变量x选入Covariate中，点OK即可得参数估计表表6.17。第72页/共113页2023/2/176-73表6.17 Logistic回归方程回归系数表第73页/共113页2023/2/176-74如果要估计年收入为12万元的家庭有私家车的可能性，可以打开数据文件example 6.6，在x变量末尾增加一个值12，选择AnalyzeRegressionBinary Logistic，将因变量y选入Dependent中，把自变量x选入Covariate中，点Save在Predicted Values 里选 Probabilities，返回主对话框，点OK，在原数据文件里就会得到一列预测值（PRE_1），对应于x=12的PRE值为0.18237，这就是年收入为12万元的家庭有私家车的可能性的估计值。第74页/共113页2023/2/176-756.6 回归分析的扩展异方差1.异方差的概念第75页/共113页2023/2/176-76异方差的三种类型(1)单调递增型：随的增大而增大；(2)单调递减型：随的增大而减小；(3)复杂型：随的的变化呈复杂形式变化。第76页/共113页2023/2/176-77图6.8 异方差的类型第77页/共113页2023/2/176-782.异方差的修正第78页/共113页2023/2/176-79加权最小二乘（WLS）估计 第79页/共113页2023/2/176-80第80页/共113页2023/2/176-81【例6.8】在例6.5中，求当前年薪y(元)关于开始年薪 x1(元)的线性回归方程。第81页/共113页2023/2/176-82解：用SPSS打开数据文件example 6.0，做的散点图图6.7，容易看出模型存在异方差性，因此先用OLS法求的估计，选择AnalyzeRegressionLinear，将自变量开始年薪x1选入Independent，再将因变量当前年薪y选入Dependent中，然后选择Method为默认值Enter，点Save，在Residuals中选Unstandardized(将回归残差保存到原数据文件中)，点ContinueOK即可得3个主要表格：表6.18，6.19和6.20。第82页/共113页2023/2/176-83表6.18 普通最小二乘回归方程的可决系数第83页/共113页2023/2/176-84表6.19普通最小二乘回归方程的方差分析表 第84页/共113页2023/2/176-85表6.20普通最小二乘回归方程的回归系数表第85页/共113页2023/2/176-86加权最小二乘回归 选择TransformCompute，在Target Variable 中输入目标变量名ei，在Numeric Expression中输入表达式ABS(RES_1)求得残差向量的绝对值ei，类似再计算残差向量的绝对值ei的倒数inei：TransformCompute，在Target Variable 中输入目标变量名inei，在Numeric Expression中输入表达式1/ei，回到数据窗口可见已经产生了两列新数据：残差向量的绝对值ei和它的倒数inei，最后进行加权最小二乘回归：AnalyzeRegressionLinear，将自变量开始年薪x1选入Independent，将因变量当前年薪y选入Dependent中，将权向量inei选入WLS Weight中，然后选择Method为默认值Enter，点OK即可得3个主要表格：表6.21，6.22和6.23。第86页/共113页2023/2/176-87表6.21加权最小二乘回归方程可决系数 第87页/共113页2023/2/176-88表6.22加权最小二乘回归方程的方差分析表第88页/共113页2023/2/176-89表6.23加权最小二乘回归方程的回归系数表第89页/共113页2023/2/176-90多重共线多元回归模型(6.34)的基本假定之一是自变量是互不相关的，如果其中两个或多个自变量之间出现了相关性，则称为存在多重共线性。第90页/共113页2023/2/176-91第91页/共113页2023/2/176-92第92页/共113页2023/2/176-93第93页/共113页2023/2/176-94【例6.5(续)】试建立当前年薪y关于开始年薪x1，工作时间x2，先前工作经验x3和受教育年限x4的多元线性回归模型。第94页/共113页2023/2/176-95AnalyzeRegressionLinear，将自变量开始年薪x1，工作时间x2，先前工作经验x3和受教育年限x4选入Independent，再将因变量当前年薪y选入Dependent中，然后选择Method为默认值Enter(全变量回归)，点OK即可得表6.12，6.13和6.14。从方差分析表表6.13可以看出，对应的p值，所以回归方程显著；但从回归系数表表6.14可知回归系数对应的t统计量的p值分别为0.793，0.353和0.150，都大于0.05，所以这三个回归系数都不显著，因此估计存在多重共线性。解：1.全变量回归，第95页/共113页2023/2/176-962.逐步回归，AnalyzeRegressionLinear，将自变量开始年薪x1，工作时间x2，先前工作经验x3和受教育年限x4选入Independent，再将因变量当前年薪y选入Dependent中，然后选择Method为Stepwise(逐步回归法)，点OK即可得以下回归系数表表6.24。第96页/共113页2023/2/176-97表6.24逐步回归方程回归系数表第97页/共113页2023/2/176-986.7 可化为线性情形的非线性回归第98页/共113页2023/2/176-99第99页/共113页2023/2/176-100第100页/共113页2023/2/176-101第101页/共113页2023/2/176-102【例6.9】(数据文件为example 6.8)表6.25给出了1990-2002年某市人均消费性支出x和教育支出y的数据，试建立y关于x的回归模型。第102页/共113页2023/2/176-103表6.25人均消费性支出和人均教育支出数据第103页/共113页2023/2/176-104解：1.先点散点图，图图6.9人均消费性支出人均消费性支出x对人均教育支出对人均教育支出y的散点图的散点图第104页/共113页2023/2/176-1052.再尝试采用二次、三次曲线、幂函数曲线和指数函数曲线拟合数据：AnalyzeRegressionCurve Estimation，将自变量人均消费性支出x选入Independent，再将因变量人均教育支出y选入Dependent中，在Models中选Linear(线性函数，形如)，Quadratic(二次曲线，形如)，Cubic(三次曲线，形如)，Power(幂函数，形如(6.75)式)和Compound(指数函数，形如(6.79)式)，点OK可得如下拟合结果。第105页/共113页2023/2/176-106表6.26五种模型的模型小结和回归系数表第106页/共113页2023/2/176-107从表6.26可知，拟合优度最高的是指数函数和三次曲线，但从输出的方差分析表和回归系数显著性检验结果（具体表格略）来看，三次曲线中包含回归系数不显著的解释变量，而指数函数的回归系数都显著，所以不采纳三次曲线模型而采纳指数函数模型：第107页/共113页2023/2/176-108本章小结本章介绍了相关分析和回归分析的基本思想，讨论了一元线性回归、多元线性回归、含有虚拟自变量的回归、Logistic回归、可线性化的非线性回归以及存在异方差和多重共线情况的回归分析。第108页/共113页2023/2/176-109案例：美国公司高管的高薪酬相关问题（数据文件为case-study 6）2008年美国金融危机暴露出很多问题，其中高管薪酬过高是其一。当时的民主党总统候选人奥巴马曾评价说：“美国财政部的措施史无前例，用纳税人的钱来挽救两家公司。在这种情况下，绝不允许两家公司的高管再发意外之财。”美国公司高管不仅薪酬高，而且收入与业绩并不挂钩。以2007年为例，S&P500强公司老总的平均年收入几乎翻了一倍，而公司利润平均只增长了12%，投资圣手巴菲特愤怒地指出：“美国公司高管的年薪与业绩常常严重脱节，而且到了荒谬的地步”。第109页/共113页2023/2/176-110问题美国公司的高管薪酬是否过高？是否与公司业绩相关不大？美国50家公共贸易大公司的首席执行官（CEO）的年薪数据和其它可能与年薪有关的变量数据，如表6.32。第110页/共113页2023/2/176-111表6.32 50家公司CEO的年薪数据和其它相关信息 注：表格最后一列是注：表格最后一列是CEOCEO是否有是否有MBAMBA学位的信息，学位的信息，“1”1”表示有，表示有，“0”0”表示没有表示没有。第111页/共113页2023/2/176-112要求1.建立回归模型分析CEO年薪与相关因素（在目前职位年数、前一年股票价格的变化、前一年公司销售额的变化和是否有MBA学位）的关系；2.对回归模型进行检验和评价；3.CEO年薪与公司业绩（前一年股票价格的变化和前一年公司销售额的变化）相关性如何？4.MBA学位对CEO年薪有影响吗？为什么有或者为什么没有？第112页/共113页2023/2/17统计学第3章参数估计6-113感谢您的观看！第113页/共113页