概率论与数理统计(回归分析).ppt

9.2 回归分析 回归分析是针对两个或两个以上具有相关关系的变量，研究它们的数量伴随关系，并通过一定的数学表达式将这种关系描述出来，建立回归模型 回归分析中总假设因变量是随机变量，自变量可以是随机变量也可以是一般变量（可以控制或精确测量的变量） 我们只讨论自变量为一般变量的情况 为简单起见，以后的所有随机变量及其观测值均用小写字母表示,第9章 相关分析与一元回归分析,9.2 回归分析,如果设随机变量y是因变量，x1，x2，xn是影响y的自变量，回归模型的一般形式为： y = f (x1，x2，xn) + 其中为均值为0的正态随机变量，它表示除x1，x2，xn之外的随机因素对y的影响 在回归分析中，当只有一个自变量时，称为一元回归分析；当自变量有两个或两个以上时，称为多元回归分析；f是线性函数时，称线性回归分析，所建回归模型称为线性回归模型；f是非线性函数时，称非线性回归分析，所建回归模型称为非线性回归模型,9.2 回归分析,线性回归模型的一般形式为： 其中，0和i（i = 1，2，k）是未知常数，称为回归系数，实际中常假定 N(0，2) 一元线性回归模型的一般形式为： 由 N(0，2)的假定，容易推出y N(0 + 1x, 2),9.2 回归分析,本章主要讨论一元线性回归分析和可化为线性回归的一元非线性回归分析 它们是反映两个变量之间关系的简单模型，但从中可以了解到回归分析的基本思想、方法和应用,9.2 回归分析,9.2.1 一元线性回归分析 我们用一个例子来说明如何进行一元线性回归分析 为了研究合金钢的强度和合金中含碳量的关系，专业人员收集了12组数据如表9.1所示 试根据这些数据进行合金钢的强度y(单位：107Pa)与合金中含碳量x(%)之间的回归分析,9.2.1 一元线性回归分析,为了研究这些数据中所蕴含的规律性，首先在Excel中由12对数据作出散点图，如图9.7所示 从图看到，数据点大致落在一条直线附近，这告诉我们变量x和y之间大致可看作线性关系从图中还看到，这些点又不完全在一条直线上，这表明x和y的关系并没有确切到给定x就可以唯一确定y的程度,9.2.1 一元线性回归分析,事实上，还有许多其它随机因素对y产生影响 如果只研究x和y的关系，可以考虑建立一元线性回归模型： (9.1) 其中是除含碳量x外其它诸多随机因素对合金钢强度y的综合影响，假定它是零均值的正态随机变量,9.2.1 一元线性回归分析,(9.1) 由(9.1)式，不难算得y的数学期望: (9.2) 该式表示当x已知时，可以精确地算出E(y)称方程(9.2)为y关于x的回归方程 现对变量x, y进行了n次独立观察，得样本(xi，yi) (i = 1，2，n)据(9.1)式，此样本可由方程 (9.3) 来描述这里i是第i次观测时的值，它是不能观测到的,9.2.1 一元线性回归分析,由于各次观测独立，i看作是相互独立与同分布的随机变量即有 yi = 0 + 1xi + i，i相互独立，且 i N(0，2)， i = 1，2，n (9.4) (9.4)给出了样本(x1，y1)，(x2，y2)，(xn，yn)的概率性质它是对理论模型进行统计推断的依据，也常称(9.4)式为一元线性回归模型,9.2.1 一元线性回归分析,要建立一元线性回归模型，首先利用n组独立观测数据(x1，y1)，(x2，y2)，(xn，yn)来估计0和1，以估计值 和 分别代替(9.2)式中的0和1，得到 (9.5) 由于此方程的建立有赖于通过观察或试验积累的数据，所以称其为经验回归方程（或经验公式） 经验回归方程也简称为回归方程，其图形称为回归直线 当给定x = x0时，称 为拟合值（预测值或回归值）,9.2.1 一元线性回归分析,那么，如何利用n组独立观察数据来估计0和1呢？ 一般常用最小二乘估计法和最大似然估计法 下面只介绍0和1的最小二乘估计法,1参数0和1的最小二乘估计 设对模型(9.1)中的变量x，y进行了n次独立观察，得样本(xi，yi) (i = 1，2，n)由(9.3)式知随机误差i = yi (0 + 1xi) 最小二乘法的思想是：由xi，yi估计0，1时，使误差平方和 达到最小的 和 ，分别作为0，1的估计，并称 和 为0和1的最小二乘估计,9.2.1 一元线性回归分析,1参数0和1的最小二乘估计 通常可采用微积分中求极值的办法，求出使 达到最小的 和 即解方程： 或 (9.6),9.2.1 一元线性回归分析,1参数0和1的最小二乘估计 即解方程： (9.6) 或 (9.7) 称(9.6)或(9.7)为正则方程,9.2.1 一元线性回归分析,1参数0和1的最小二乘估计 解正则方程得 (9.8) 其中 从而得到回归方程：,9.2.1 一元线性回归分析,1参数0和1的最小二乘估计 (9.8) 因为 ， (9.8)式又可以写成,9.2.1 一元线性回归分析,1参数0和1的最小二乘估计 可以证明，用最小二乘法求出的估计 和 ，分别是0，1的无偏估计，它们都是y1，y2，yn的线性函数 而且在所有y1，y2，yn的线性函数中，最小二乘估计的方差最小,9.2.1 一元线性回归分析,【例9.3】建立表9.1中合金钢的强度y与含碳量x之间的回归方程，并计算参数0和1的最小二乘估计 解：首先计算 参数1和0的最小二乘估计分别为 因此，回归方程为 ,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 对任意两个变量的一组观测数据 (x1，y1)，(x2，y2)，(xn，yn) 都可以用最小二乘法得到回归方程 ，但这样得到的回归方程不一定都有意义 如果实际上模型(9.1)中的 ，用最小二乘法得到的 就没有意义这时称回归方程不显著； 如果 ， 就有意义，这时称回归方程是显著的,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 综上，一元线性回归方程的显著性检验，就是要根据观测数据检验假设 H0: 1 = 0 H1: 1 0 如果检验结果拒绝原假设H0，说明一元线性回归方程是显著的，否则，表明y与x线性关系不显著，不需要建立这种模型了 在一元线性回归方程的显著性检验中，有多种等价的检验方法这里介绍常用的F检验法,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 采用方差分析的思想，我们研究影响观测值yi的原因 注意到回归方程 只反映了x对y的影响，所以，拟合值 是观测值yi中只受xi影响的那一部分 而 则是除去xi的影响后，受其它种种因素影响的部分，故将 称为残差于是，观测值yi可以分解为两部分 和 另外， 也可分解为两部分： 记,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 记 SST反映了观测数据总的波动，称为总变差平方和 SSM反映了由于自变量x的变化影响因变量y的差异，体现了x对y的影响，称为回归平方和； SSE反映了种种其它因素对y的影响, 称为残差平方和 注意到 满足正则方程(9.6)，有 即有,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 由 及 ，得 于是 从而 = SSM + SSE 即总变差平方和SST可以分解为两部分：回归平方和SSM与残差平方和SSE,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 SSM / SSE为x的影响部分与随机因素影响部分的相对比值 若它不是显著地大，表明回归方程中的x并不是影响y的一个重要的因素，于是由数据得到的回归方程就没有什么意义； 如果它显著地大，表明x的作用显著地比随机因素大，这样方程就有意义 所以我们考虑用SSM / SSE构造检验统计量,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 考虑用SSM / SSE构造检验统计量可以证明，当原假设H0成立时，即1 = 0时，有 将 作为检验统计量，H0的拒绝域为,9.2.1 一元线性回归分析,2. 回归方程的显著性检验 若F统计量的观测值为F0，则P值为 回归方程的显著性检验结果，通常汇总为方差分析表，如表9.2所示 表9.2 方差分析表,9.2.1 一元线性回归分析,【实验9.1】使用Excel建立表9.1中合金钢的强度y与含碳量x之间的回归方程，并对所建立的回归方程作显著性检验 实验准备： (1) 函数SLOPE的使用格式： SLOPE(known_ys, known_xs) 功能：返回回归直线的斜率其中known_ys为因变量观测数据或单元格区域known_xs为自变量观测数据或单元格区域,9.2.1 一元线性回归分析,【实验9.1】使用Excel建立表9.1中合金钢的强度y与含碳量x之间的回归方程，并对所建立的回归方程作显著性检验 实验准备： (2) 函数INTERCEPT的使用格式： INTERCEPT(known_ys,known_xs) 功能：返回回归直线的截距其中known_ys为因变量观测数据或单元格区域known_xs为自变量观测数据或单元格区域,9.2.1 一元线性回归分析,实验步骤： (1) 计算参数1，在单元格B14中输入公式： =SLOPE(C2:C13,B2:B13) (2) 计算参数0，在单元格B15中输入公式： =INTERCEPT(C2:C13,B2:B13) 即可得到0，1的估计值，如图9.8(a)所示,9.2.1 一元线性回归分析,(a) (b) 图9.8 0，1的估计值与回归方程的显著性检验 据此得到回归方程： 注：例9.3中结果与此方程有些出入，原因是计算时的舍入误差所致,9.2.1 一元线性回归分析,(3) 计算回归值，在单元格D2中输入公式： =B$15+B$14*B2 将单元格D2中公式复制到单元格区域：D3:D13 如图9.8(b) (4) 计算y1，y2，yn的总变差平方和SST、回归平方和SSM和残差平方和SSE： 计算SST，在单元格B16中输入公式： = DEVSQ(C2:C13),9.2.1 一元线性回归分析,计算SSE，在单元格B17中输入公式： = SUMXMY2(C2:C13,D2:D13) 计算SSM，在单元格B18中输入公式：= B16-B17 5) 计算检验统计量F和检验P值： 计算F，在单元格B19中输入公式：=B18/B17*10 计算P，在单元格B20中输入公式： =FDIST(B19,1,10) 得到检验P值，如图9.8(c)P = 7.5910-8 < 0.05，拒绝原假设，故1显著非0，回归方程显著,9.2.1 一元线性回归分析,3. 回归方程的判定系数 前面已讲到观测数据y1，y2，yn的总变差平方和SST可以分解为回归平方和SSM与残差平方和SSE两部分，即 SST = SSM + SSE 将回归平方和与总变差平方和之比值称为判定系数，记为R2，即,9.2.1 一元线性回归分析,3. 回归方程的判定系数 判定系数R2可以解释为y1，y2，yn的总变化量中被回归方程所描述的比例 R2越大，总变化量中被回归方程所描述的比例就越大，说明自变量对因变量的影响越大从而残差平方和就越小，即拟合效果越好 可见R2反映了回归方程对数据的拟合程度，是衡量拟合优劣的一个很重要的统计量 称R2为回归方程的拟合优度,9.2.1 一元线性回归分析,3. 回归方程的判定系数 如果所有观测数据的散点都落在回归直线上，残差平方和SSE = 0，R2 = 1，拟合是完全的； 如果y的变换与x无关，x完全无助于解释y的变差，此时， 则R2 = 0 可见，0 R2 1 R2越接近于1，表明回归平方和占总变差平方和的比例就越大，回归直线与各观测点越接近，用x解释y的变差部分就越多，回归直线的拟合程度就越好；反之，R2越接近于0，回归直线的拟合程度就越差,9.2.1 一元线性回归分析,在一元回归模型中，可以证明R恰好是由(xi，yi)，i=1，2，n计算得到的样本相关系数r, 即有 事实上，由于 由(9.8)式， 所以 ，于是,9.2.1 一元线性回归分析,【实验9.2】使用Excel画出表9-1中合金钢的强度y与含碳量x之间的回归直线, 并计算回归方程的拟合优度 (1) 在Excel中画出y与x之间的散点图, 如图9.7所示 (2) 用鼠标右键单击散点图中的数据点，在弹出的 快捷菜单中选择“添加趋势线”，如图9.9所示 (3) 在打开的“添加趋势 线”对话框中，“类型”取 默认的“线性”；,9.2.1 一元线性回归分析,在“选项”选项卡中，修改“趋势预测”中“前推”和“倒推”为0.1，选中“显示公式”和“显示R平方值”复选框，如图9.10所示单击“确定”按钮 得回归直线、回归方程与拟合优度,如图9.11所示,9.2.1 一元线性回归分析,【实验9.2】使用Excel画出表9.1中合金钢的强度y与含碳量x之间的回归直线, 并计算回归方程的拟合优度 回归直线、回归方程与拟合优度, 如图9.11所示 图中显示，回归直线的方程为 方程的拟合优度为0.9503,9.2.1 一元线性回归分析,4. 误差方差的估计 在一元线性回归模型 y = 0 + 1x + ， N(0, 2) 中，随机误差 的大小可由它的方差2衡量，2越小，回归方程拟合数据的程度就越好 如何估计 2?,9.2.1 一元线性回归分析,4. 误差方差的估计 由观测值(x1，y1)，(x2，y2)，(xn，yn)，通过参数估计得到了回归方程 残差平方和 说明了实际观测值yi与估计值 之间的差异程度 我们称 为均方残差（也记为MSE） 可以证明,9.2.1 一元线性回归分析,4. 误差方差的估计 因此，我们将 作为随机误差的标准差 的估计，称 为随机误差 的估计标准误差，简称标准误差，或叫根均方残差 估计标准误差 反映了回归方程预测因变量y时预测误差的大小，若各观测点靠近回归直线， 越小，回归直线对各观测点的代表性就越好，根据回归方程进行预测也就越准确 可见 也从一个侧面反映了回归直线的拟合程度,9.2.1 一元线性回归分析,4. 误差方差的估计 在实验9.1中，SSE = 17.133（见图9.8） 所以回归方程 的估计标准误差为,9.2.1 一元线性回归分析,5. 残差分析 在一元线性回归模型(9.4)式中假定了误差i（i=1，2，n）的正态性、独立性和同方差性 其中，误差i = yi (0 + 1xi) (i1，2，n)是未知的，不可观测的 若所建回归方程 合适，残差 可近似看做i (i1，2，n) ，即 应基本上反映未知误差i的上述特性 利用残差 (i1，2，n)的特征反过来考察原模型的合理性就是残差分析的基本思想,9.2.1 一元线性回归分析,5. 残差分析 在将回归方程应用于实际之前必须进行残差分析，这是十分重要的一个环节如果残差基本符合模型中对误差的假定，才能最终认为所选模型是合适的，所建回归方程是可行的，可以用于预测和控制，否则，所选模型可能不合适，需要改进，所建回归方程也不能应用于实际 残差的正态性检验可以通过第八章所讲分布拟合检验法进行检验，也可以用频率检验、残差图分析等方法进行检验下面简单介绍一下残差正态性的频率检验及残差图分析方法,9.2.1 一元线性回归分析,5. 残差分析 (1) 残差正态性的频率检验 残差正态性的频率检验是一种很直观的检验方法其基本思想是将残差落在某范围的频率与正态分布在该范围的概率（或称为理论频率）相比较，通过二者之间偏差的大小评估残差的正态性,9.2.1 一元线性回归分析,5. 残差分析 在回归模型中，若假定i N(0，2)，则 (i1，2，n) 由于均方残差(MSE) 是2的无偏估计 因此，当n较大时， (i1，2，n)可近似认为是取自标准正态分布总体的样本 称 (i1，2，n)为标准化残差,9.2.1 一元线性回归分析,5. 残差分析 由于服从N(0，1)分布的随机变量取值在(1，1)内的概率约为0.68，在(1.5，1.5)内的概率约为0.87，在(2，2)内的概率约为0.95等等 因此理论上, 标准化残差 (i1，2，n)中有大约68应在(1，1)内, 87应在(1.5，1.5)内, 95应在(2, 2)内等等如果残差在某些区间内的频率与上述理论频率有较大的偏差，则有理由怀疑 ，从而i (i1，2，n)的正态性假定的合理性. 用这种方法检验残差的正态性是十分方便的在实际应用中，一般取二三个具有代表性的区间即可,9.2.1 一元线性回归分析,5. 残差分析 (2) 残差图分析 凡是以残差为纵坐标，而以观测值yi，拟合值 ，自变量xi（i = 1，2，n）或序号、观测时间等为横坐标的散点图，均称为残差图 可以通过残差图对误差项的正态性、等方差性、独立性及对模型中是否应该包含自变量的高次项、观测值中是否有异常值存在等作出直观的考察,9.2.1 一元线性回归分析,5. 残差分析 (2) 残差图分析 如果线性回归模型的假定成立，标准化残差 (i=1，2，n)应相互独立且近似服从N(0，1)，那么残差图中绝大多数散点（95%）应随机地分布在2到+2的带子里这样的残差图称为合适的残差图，如图9-12左,9.2.1 一元线性回归分析,5. 残差分析 (2) 残差图分析 图9.12(b)中表明残差的方差随自变量的增大而增大，不是常数图9.12(c)散点分布有二次趋势，表明回归模型不合适，可以考虑在回归模型中加入自变量的二次项，建立非线性回归方程,9.2.1 一元线性回归分析,【实验9.3】使用Excel数据分析功能对表9-1中合金钢的强度y与含碳量x作一元线性回归分析 设例9.3中数据已整理如图9.7所示，回归分析步骤如下： (1) 在Excel主菜单中选择“工具”“数据分析”，打开“数据分析”对话框，在“分析工具”列表中选择“回归”选项，单击“确定”按钮,9.2.1 一元线性回归分析,【实验9-3】使用Excel数据分析功能对表9-1中合金钢的强度y与含碳量x作一元线性回归分析 (2) 在打开的“回归”对话框中，依次输入“Y值输入区域”和“X值输入区域”，选中“残差”和“残差图”，如图9-13所示，单击“确定”按钮,9.2.1 一元线性回归分析,得到回归分析的结果如图9-14和9-15所示 结果显示，回归方程为： 方程的拟合优度R2为0.9503F统计量的P值=7.5910-8 < 0.05，说明1显著非0，回归方程显著,9.2.1 一元线性回归分析,回归方程: 其中回归系数1=132.90，意味着含碳量每增加0.01%，合金钢的强度平均增加1.329个107Pa 从残差图可以看出，所建回归模型是合适的,9.2.1 一元线性回归分析,6利用回归方程进行估计和预测 在回归方程通过各种检验后，就可以利用它对因变量的取值进行预测了. 对因变量的取值进行预测分为点预测（点估计）和区间预测（区间估计） 点预测是根据回归方程代入自变量的值，得到对应因变量的预测值，而区间预测则是在点预测的基础上，给出给定置信水平下的因变量的预测区间,9.2.1 一元线性回归分析,6利用回归方程进行估计和预测 (1) 点预测 假设通过各种检验的“最优”回归方程为 对给定的x0值，代入回归方程 中就可得的 值. 它既可以作为实际值 的估计值，也可以作为 的估计值，这就是所谓的点预测 例如，对合金钢强度y对含碳量x的回归方程 当已知含碳量x0= 0.22时，就可以预测合金钢强度为,9.2.1 一元线性回归分析,6利用回归方程进行估计和预测 (2) 区间预测 区间预测分为个体的区间预测和均值的区间预测，这里只介绍个体的区间预测 对给定的x0值，因变量y的相应值y0记成 由于y0服从正态分布，且 可以证明 其中,9.2.1 一元线性回归分析,6利用回归方程进行估计和预测 因此，对给定的x0，在给定的置信水平1下，y0的置信区间为 可以看出，对于给定的n和，lxx越大或x0越靠近 ，区间的长度就越短，预测精度就越高 由于 刻画了观测点x1，x2，xn的分散程度，因此，想提高预测精度就要使x1, x2, xn尽量分散,9.2.1 一元线性回归分析,6利用回归方程进行估计和预测 例如，合金钢强度y对含碳量x的回归方程 当已知含碳量x0= 0.22时，就可以得到合金钢强度置信水平为95%的置信区间：(54.01，60.63),9.2.1 一元线性回归分析,9.2 回归分析,9.2.2 可化为线性回归的一元非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似； 在不少情况下，非线性模型可能更加符合实际，因此，非线性回归与线性回归同样重要 下面主要介绍可化为线性回归的一元非线性回归分析,9.2.2 可化为线性回归的一元非线性回归,在对数据进行分析时，常常先描出数据的散点图，判断两个变量间可能存在的函数关系 如果两个变量间存在线性关系，我们可以用前面所述的方法建立一元线性回归方程 来描述 如果它们之间存在着一种非线性关系，这时常用的方法是通过变量变换，使新变量之间具有线性关系，然后利用一元线性回归方法对其进行分析,9.2.2 可化为线性回归的一元非线性回归,表9.3给出了一些常见的可线性化的一元非线性函数及线性化方法 下面通过一个具体实例说明一元非线性回归分析的方法： 【实验9.4】设随机变量x与y的观测数据如下，试建立y与x的回归模型 下面分三步进行分析建立模型：,9.2.2 可化为线性回归的一元非线性回归,【实验9.4】设随机变量x与y的观测数据如下，试建立y与x的回归模型 1. 确定回归函数可能形式 为确定可能的函数形式，首先描出数据的散点图步骤如下： 选中单元格区域：B2:C14，并选择主菜单“插入”“图表”，打开“图表向导”对话框，选中图表类型“XY散点图”，单击“完成”按钮，即可得到散点图,散点图如图9.16所示 散点图呈现出明显的向上且上凸的趋势，可能选择的函数关系有很多，比如可以给出如下三种曲线函数： 令 三种曲线函数又可以表示为：v = a + bu，y = a + bw，y = a + bz,9.2.2 可化为线性回归的一元非线性回归,2. 变量变换 (1) 增加变量u=1/x, 在单元格D2中输入公式：=1/B2, 并将单元格D2中公式复制到单元格区域D3:D14中 (2) 增加变量v=1/y, 在单元格E2中输入公式：=1/C2, 并将单元格E2中公式复制到单元格区域E3: E14中 (3) 增加变量w=lnx, 在单元格F2中输入公式: =LN(B2), 并将单元格F2中公式复制到单元格区域F3: F14中,9.2.2 可化为线性回归的一元非线性回归,(4) 增加变量 在单元格G2中输入公式：=SQRT(B2) 并将单元格G2中公式复制到单元格区域G3: G14中 结果如图9.17所示,9.2.2 可化为线性回归的一元非线性回归,分别做v对u、y对w和y对z散点图，如图9.18所示： 从散点图可以看出变换 后的两变量的关系接近线 性，可以考虑建立线性回 归模型,9.2.2 可化为线性回归的一元非线性回归,3. 回归方程的比较 利用实验9-1中介绍的方法分别建立v和u、y和w及y和z线性回归方程为： (1) v = 0.0090 + 0.0008 u 模型的各项检 验结果如图9-19,9.2.2 可化为线性回归的一元非线性回归,3. 回归方程的比较 (2) y = 106.315 + 1.7140 w 模型的各项检验结果如图9-20 图9-20 模型2,9.2.2 可化为线性回归的一元非线性回归,3. 回归方程的比较 (3) y = 106.301 + 1.1947 z 模型的各项检验结果如图9-21,9.2.2 可化为线性回归的一元非线性回归,3. 回归方程的比较 从上面三个结果看，三个线性模型均有效（这里略去做残差分析，有兴趣的读者可以自己做一做） 其中第一个模型的判定系数R2最大、标准误差最小, 即第一个方程拟合得最好，所以应选用线性回归方程v = 0.0090 + 0.0008 u，原数据的回归方程为： 即,9.2.2 可化为线性回归的一元非线性回归,3. 回归方程的比较 由本例可以看到，通过变量变换，使新变量之间具有线性关系，对新变量建立线性模型，从而得到用原变量表达的非线性模型的方法是一种建立非线性模型有效方法,9.2.2 可化为线性回归的一元非线性回归,