九章节回归分析续.ppt

九章节回归分析续 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望一、预测和控制一、预测和控制在回归检验中，如果回归方程的效果显在回归检验中，如果回归方程的效果显著，著，著，著，预测预测和和控制控制。测（或预报）相应的测（或预报）相应的 值或其可能的取值范值或其可能的取值范围。围。也就是回归方程与实际数据拟合效果显也就是回归方程与实际数据拟合效果显紧接着的问题就如何利用回归方程进行紧接着的问题就如何利用回归方程进行所谓预测就是对给定的所谓预测就是对给定的 ，预预而控制正好与预测相反，而控制正好与预测相反，它是根据它是根据 的预的预期范围来如何控制期范围来如何控制 的范围。的范围。（一）预测（一）预测设设 是样本，是样本，给定给定 ，有有且且 与与 相互独立。相互独立。有有回归方程为回归方程为 。根据回归方程根据回归方程的意义，自然用回归值（或拟合值）的意义，自然用回归值（或拟合值）作为作为 的预测值。的预测值。由于由于所以所以 是是 的无偏估计。的无偏估计。下求下求 的预测区间：的预测区间：独立，由于独立，由于且且 与与 相互独立，相互独立，则有则有设设根据根据 与与 相互独立有相互独立有即即又由于又由于 相互独立，相互独立，可知可知 与与 独立；独立；再再由由 与与 独立，独立，可知可知 与与 独立，独立，故故这样置信度为这样置信度为 的预测（置信）区间为的预测（置信）区间为其中其中由上式可知，残差平方和由上式可知，残差平方和 越小，预测区间越越小，预测区间越窄，即预测越精确；窄，即预测越精确；另对给定的样本观测值和另对给定的样本观测值和置信度，置信度，越靠近越靠近 ，预测区间越精确。预测区间越精确。由于由于 的任意性，的任意性，因此夹在两曲线因此夹在两曲线之间的部分就是之间的部分就是 的置信度的置信度的预测带。的预测带。特别地当特别地当 很大且很大且 越接近越接近 时，时，若要若要 的值以概率的值以概率 落在给定落在给定（二）控制（二）控制的置信度的置信度为为 的预测区间可近似的表示为的预测区间可近似的表示为区间区间 内，那么变量内，那么变量 应控制在什么范围应控制在什么范围内，内，即就是要求出区间即就是要求出区间 ，使当使当时，对应的时，对应的 值以概率值以概率 落在区间落在区间之内。之内。在此仅讨论在此仅讨论 很大且很大且 越接近越接近 的情形。的情形。令令求解方程组可得求解方程组可得当当 时，时，的控制区间为的控制区间为 ；时，时，的控制区间为的控制区间为 。而当而当显然要实现上述显然要实现上述对对 的控制，的控制，必须有必须有二、一元曲线回归二、一元曲线回归 常用的线性化方法：常用的线性化方法：1.双曲线双曲线则可线性化为则可线性化为2.幂函数幂函数则可线性化为则可线性化为3.指数曲线指数曲线则可线性化为则可线性化为4.倒指数曲线倒指数曲线则可线性化为则可线性化为5.对数曲线对数曲线则可线性化为则可线性化为6.曲线曲线则可线性化为则可线性化为7.多项式多项式则可线性化为则可线性化为这种情形常用的是二次多项式。这种情形常用的是二次多项式。注注(1)线性化的过程使得有关的显著性检验线性化的过程使得有关的显著性检验无法进行，无法进行，但仍可根据原始数据计算但仍可根据原始数据计算及及仍称其为拟合优度。仍称其为拟合优度。(2)可以根据可以根据的值来评判拟合的好坏。的值来评判拟合的好坏。三、多元回归分析三、多元回归分析 考虑含考虑含 个因素的回归模型个因素的回归模型其中其中 是可观测的随机变量，是可观测的随机变量，是未参是未参数，称为回归系数，数，称为回归系数，是不可观测的随机误差，是不可观测的随机误差，称为回归因子或设计因子，简称因子。称为回归因子或设计因子，简称因子。实际上反映了因子实际上反映了因子 对观测值对观测值 的的（一）多元回归模型（一）多元回归模型贡献大小，因此也称贡献大小，因此也称 为因子为因子 的效应。的效应。设有设有 组观测值组观测值则有则有用矩阵可表示如下：用矩阵可表示如下：（*）其中其中称称 为设计矩阵，且一般假设为设计矩阵，且一般假设 。显然有显然有（二）参数的最小二乘估计及性质（二）参数的最小二乘估计及性质误差的平方和为误差的平方和为选择参数选择参数 使上式达到最小。使上式达到最小。可得可得令令有有此方程称为此方程称为正规方程正规方程，由于由于 可逆，所以可逆，所以就是参数就是参数 的最小二乘估计。的最小二乘估计。性质性质1使得使得 达到最小。达到最小。证明证明由于由于所以所以性质性质2是是 的线性无偏估计。的线性无偏估计。性质性质4 是是 的最好的最好(协方差阵最小协方差阵最小)线性无偏线性无偏证明证明设设 是是 的任一线性无偏估计，的任一线性无偏估计，即即这样对任一这样对任一 有有所以所以同时亦有同时亦有最小二乘估计最小二乘估计 的协方差阵是的协方差阵是估计。估计。性质性质3 分解式分解式 成立，成立，总误差平方和总误差平方和，回归平方和回归平方和，残差平方和残差平方和。即即这样有这样有即即对任一对任一 维向量维向量 ，由于由于性质性质5称称 为为拟合值拟合值，称称为为残差向量残差向量。即即 与与 不相关。不相关。证明证明性质性质6的无偏估计为的无偏估计为证明证明由于由于性质性质7若在模型若在模型(*)中再假设中再假设 ，则则 也是也是 的极大似然估计。的极大似然估计。（三）回归方程和回归系数的显著性检验（三）回归方程和回归系数的显著性检验现在考虑模型现在考虑模型即在模型即在模型(*)的基础上再假设误差向量服从多维的基础上再假设误差向量服从多维正态分布。正态分布。（*）定理定理对模型对模型(*)而言，有而言，有(1)(2)(3)(4)(1)回归方程的显著性检验回归方程的显著性检验考虑假设检验问题考虑假设检验问题由定理知当由定理知当 成立时，成立时，有有因此显著性水平为因此显著性水平为 的拒绝域为的拒绝域为(2)回归系数的显著性检验回归系数的显著性检验考虑假设检验问题考虑假设检验问题由定理知当由定理知当 成立时，成立时，有有其中其中 为矩阵为矩阵 对角线上的元素，即向量对角线上的元素，即向量的第的第 个元素。个元素。因此显著性水平为因此显著性水平为 的拒绝域为的拒绝域为同理，同理，也可给出也可给出被择假设被择假设分别为分别为时回归系数的检验的拒绝域。时回归系数的检验的拒绝域。顺便给出回归系数的区间估计。顺便给出回归系数的区间估计。的置信区间为的置信区间为 ，置信度为置信度为其中其中注：注：如果协方差矩阵如果协方差矩阵 ，其中其中此时有此时有令令则有则有(四四)“最优最优”回归方程的选择回归方程的选择“全部比较全部比较”法，法，“只出不进只出不进”法，法，“只进不出只进不出”法，法，逐步回归法逐步回归法称为称为加权最小二乘估计加权最小二乘估计。就变为模型就变为模型(*)，由该模型得到的最小二乘估计由该模型得到的最小二乘估计课外小论文：课外小论文：利用逐步回归法建立国家财政收入回利用逐步回归法建立国家财政收入回归模型。影响财政收入的因素可能为工业归模型。影响财政收入的因素可能为工业总产值总产值(亿元亿元)、农业总产值、农业总产值(亿元亿元)、建筑业、建筑业总产值总产值(亿元亿元)、社会商品零售总额、社会商品零售总额(亿元亿元)、人口数人口数(万人万人)、受灾面积、受灾面积(万公顷万公顷)等。等。具体具体数据可查中国统计年鉴。数据可查中国统计年鉴。或对自己感兴趣的研究课题，进行数据收或对自己感兴趣的研究课题，进行数据收集，再利用逐步回归法建立相应的回归模型。集，再利用逐步回归法建立相应的回归模型。要求：要求：（1）摘要、关键词）摘要、关键词（2）引言）引言（3）解决问题的方法和计算结果）解决问题的方法和计算结果（4）讨论）讨论（5）参考文献）参考文献