第八章 回归分析精选文档.ppt

第八章 回归分析本讲稿第一页，共三十九页二、研究相关关系的内容有 1、相关分析相关方向及程度（第九章）。增大而增大正相关；增大而减小负相关。2、回归分析模拟相关变量之间的内在联系，建立相关变量间的近似表达式（经验公式）（第八章）。相关程度强，经验公式的有效性就强，反之就弱。本讲稿第二页，共三十九页三、回归分析分类标准 1、按自变量个数多少来分类：如：一个自变量称为一元回归；两个变量称为二元回归；多个变量称为多元回归。2、按表达式关系分类：线性（直线）；非线性（曲线）。本讲稿第三页，共三十九页LinearLinear线性回归线性回归Curve EstimationCurve Estimation曲线估计曲线估计Binary LogisticBinary Logistic二元逻辑斯谛回归二元逻辑斯谛回归Multinomial LogisticMultinomial Logistic多元逻辑斯谛回归多元逻辑斯谛回归ProbitProbit概率单位回归概率单位回归NonlinearNonlinear非线性回归非线性回归Weight EstimationWeight Estimation加权估计加权估计2-Stage Least Squares2-Stage Least Squares二阶段最小二乘法二阶段最小二乘法四、SPSS 软件中的回归过程有以下几个方面，见下表：本讲稿第四页，共三十九页第一节第一节 一元线性回归模型一元线性回归模型一、基本问题 1、样本资料：变量 X 一般变量，在实验中人为可以控制，如年龄 X。变量 Y 随机变量，可能发生，也可能不发生，实验中不能人为控制，如血压 Y。注：也有两个变量都是无法控制的（都是随机变量），如高考成绩，大学成绩；身高，体重等等。哪个作为自变量，哪个作为因变量都可以，所得结论和上述情况结论类似。本讲稿第五页，共三十九页对 X 和 Y 进行观测得到样本：其中 不全相等。做散点图如下：本讲稿第六页，共三十九页2、数据结构（模型）设变量 x 与 y 适合：其中 是与 x 无关的常数，该模型称为一元线性回归模型，b 称为回归系数。（a、b 称为回归参数）本讲稿第七页，共三十九页3、基本任务（1）根据样本 ，如何得到 的近似表达式，即估计 a，b（记 a、b 的估计值为 ）。（2）由（1）建立 （一元经验线性回归模型），检验（判断）该模型是否有效。本讲稿第八页，共三十九页二、基本原理1、a、b 估计值思想：假定 已建立，要使各散点到 的垂直距离之和最小。（1）最小二乘法（2）最小一乘法本讲稿第九页，共三十九页 利用微分法，有整理后得本讲稿第十页，共三十九页其中引入一些记号：于是。本讲稿第十一页，共三十九页从而得到一元经验线性回归模型 由 预测 得 ，称为预测值。2、检验回归方程的显著性 欲检验 接受 ：表示回归方程无效；拒绝 ：表示回归方程有效。具体方法：本讲稿第十二页，共三十九页（1）平方和分解本讲稿第十三页，共三十九页其中，为剩余平方和（或残差平方和），表示随机误差；为回归平方和，表示回归效果。（2）检验统计量：在 成立下，即当 时有代入具体数值得 ，若则回归模型显著（非常显著，显著）。本讲稿第十四页，共三十九页3、衡量模型拟合度的几个指标（1）标准误差（或标准残差）当 S 越大，拟合越差，反之，S越小，拟合越好。（2）复相关函数当 R 越大，拟合越好，R 越小，拟合越差。本讲稿第十五页，共三十九页（3）修正复相关系数 仍是 越大拟合越好。注：a、修正的原因：R 的大小与变量的个数以及样本个数有关；比 R 要常用。b、S 和 是对拟合程度进行评价，但S与 的分布没有给出，故不能用于检验。用处：在多种回归模型（线性，非线性）时，用来比较那种最好；如：通过回归方程显著性检验得到：本讲稿第十六页，共三十九页均非常显著；可以通过比较它们的S和 ，来确定那个模型更好。c、当考虑一元线性回归模型时，x，y 的相关系数为：且有。4、回归系数检验问题 变量系数（回归系数）的显著性检验当 b=0 时，理论上有本讲稿第十七页，共三十九页若Sig.0.05，则系数 b 显著不为零，从而认为 x 对 y 有显著影响，即 x 对 y 是一个重要变量；若Sig.0.05，则系数 b 没有显著不为0，即 b近似为 0，从而认为 x 对 y 没有显著影响，也就是说 x 对 y 是一个非重要变量。注：对一元线性回归模型，变量（回归）系数的显著性检验与回归模型的显著性检验是等价的。本讲稿第十八页，共三十九页 常数项的显著性检验当 a=0 时，理论上有 由此仿前面的方法可检验常数项 a 是否显著不为 0。本讲稿第十九页，共三十九页三、基本计算1、建立数据文件a、定义变量 x 和变量 y；b、输入数据；c、保存数据文件。2选择统计方法按AnalyzeRegressionLinear顺序选择命令。3结果说明 解释输出结果的统计意义。本讲稿第二十页，共三十九页例8.1.1 某公司近年来科研支出 X 与利润Y 的统计资料如下（单位：10万元）。科研支出科研支出X X5 511114 45 53 32 2利润利润Y Y313140403030343425252020求 Y 关于 X 的线性回归模型 Y=a+bX，并检验该模型是否显著以及给出模型的标准误差？本讲稿第二十一页，共三十九页练习：习题：，2，4，6。本讲稿第二十二页，共三十九页第二节 多元线性回归模型一、基本问题 检验变量 y 与变量 之间适合如下线性回归模型：其中，称为回归超平面方程，也简称为 m 元线性回归方程，称为回归系数。本讲稿第二十三页，共三十九页二、基本任务：1、对参数进行估计；2、检验模型的显著性；3、检验回归参数的显著性；4、计算模型的拟合度；5、最佳模型选择；即模型中包含所有重要变量且各变量在模型中作用是显著的。本讲稿第二十四页，共三十九页三、基本原理1、先由最小二乘原理得到 的估计值 。求得经验线性回归模型2、利用平方和分解得到。3、计算模型拟合度 S，R，。（1）标准误差（或标准残差）本讲稿第二十五页，共三十九页当 S 越大，拟合越差，反之，S 越小，拟合越好。（2）复相关函数当 R 越大，拟合越好，R 越小，拟合越差。本讲稿第二十六页，共三十九页（3）修正复相关系数 仍是 越大拟合越好。4、用 F 检验判断回归模型显著性 若 ，则拒绝 因此模型显著；5、用 T 检验判断每个 是否显著为零。本讲稿第二十七页，共三十九页6、筛选变量：（1）全模型法，即强行进入法（Enter）；（2）消去法（Remove）；（3）向前引进法（Forward）；（4）向后剔除法（Backward）；（5）逐步回归法（Stepwise）。本讲稿第二十八页，共三十九页三、基本计算步骤与一元的类似。例8.2.1 某水泥厂在凝固时放出的热量 y（卡/克）与与水泥中下列四种化学成份有关。x1：3CaOAl2O3的成分（%）；x2：3CaOSiO2的成分（%）；x3：4CaOAl2O3Fe2O3的成分（%）；x4：2CaOSiO2的成分（%）。本讲稿第二十九页，共三十九页现测得如下图的13组数据。X1X1X2X2X3X3X4X4Y Y7 726266 66060328.7328.71 1292915155252311.1311.11 156568 82020436.7436.7111131318 84747366.8366.87 752526 63333401.5401.5111155559 92222457.2457.2本讲稿第三十页，共三十九页3 3717117176 64304301 1313122224444303.5303.52 2545418182222389.8389.8212147474 42626485.3485.31 1404023233434350.9350.9111166669 91212474.4474.4101068688 81212458.0458.0试求 y 对x1、x2、x3、x4的最佳线性模型。本讲稿第三十一页，共三十九页练习：习题：7；及应用概率统计书例题。本讲稿第三十二页，共三十九页第四节 曲线回归模型一、基本问题：一般只对自变量为一个时进行，当从散点图看无线性可能或用线性回归检验不显著时考虑曲线回归。即 基本方法：将曲线回归模型转化为线性回归模型进行计算，最后回代还原为曲线模型。本讲稿第三十三页，共三十九页二、特殊曲线性模型Quadratic二次曲线Compound复合曲线Growth生长曲线Logarithmic对数曲线Cubic三次曲线Ss曲线Exponential指数曲线Inverse逆曲线Power幂曲线Logistic逻辑曲线本讲稿第三十四页，共三十九页三、一般曲线性模型1、一般一元曲线模型对于此类模型的转换，可用泰勒展开公式，把在零点展开，再做简单的变换可以得到多元线性回归模型。2、一般多元曲线模型对于此类模型也要尽量转化为线性模型，具体可参考其他统计软件书，这里不做介绍。本讲稿第三十五页，共三十九页四、步骤1、确定模型；2、估计参数；3、检验显著性；4、计算拟合度；5、对选择不同曲线时，比较优劣。本讲稿第三十六页，共三十九页五、基本计算1、建立数据文件。2选择统计方法（1）当转化为线性模型考虑时，选择：AnalyzeRegressionLinear；最后要回代还原为曲线模型；（2）但是上述特殊曲线模型时，选择：AnalyzeRegressionCurve Estimation；此时不用回代。3结果说明 解释输出结果的统计意义。本讲稿第三十七页，共三十九页例8.3.1某农学院对200只鸭进行试验，得到鸭的周龄 x 与平均日增重 y 的数据见下表。周龄周龄x x1 12 23 34 45 56 67 78 89 9平均日增平均日增重重y(y(克克)21.921.9 47.147.161.961.9 70.870.8 72.872.8 66.466.4 50.350.3 25.325.3 3.23.2计算出 x 与 y 的曲线模型 y=f(x)(8.4.1)并检验该模型的显著性以及计算它的标准误差。本讲稿第三十八页，共三十九页练习：习题：8。本讲稿第三十九页，共三十九页