多元线性回归分析 .PPT
第第6.2节多元线性回归分析节多元线性回归分析一、多元线性回归模型一、多元线性回归模型二、参数的估计二、参数的估计三、参数估计量的分布与性质三、参数估计量的分布与性质四、回归系数与回归方程的显著性检验四、回归系数与回归方程的显著性检验五、最优回归方程的选择五、最优回归方程的选择六、稳健回归六、稳健回归一、多元线性回归的数学模型一、多元线性回归的数学模型称其为多元线性回归模型称其为多元线性回归模型为了表述方便，引入矩阵为了表述方便，引入矩阵这里这里In表示阶单位阵。对式表示阶单位阵。对式(6.15)给出的多元给出的多元线性回归模型，通常所考虑的问题是，对未线性回归模型，通常所考虑的问题是，对未知参数知参数 和和 2进行估计，对进行估计，对的某种假设进行的某种假设进行检验，对检验，对 Y进行预报等。进行预报等。在下述讨论中，一般总假定在下述讨论中，一般总假定nm和矩阵的秩等和矩阵的秩等于于 m+1。二、参数的估计二、参数的估计1.参数向量参数向量的最小二乘估计的最小二乘估计 的最小二乘估计满足下式的最小二乘估计满足下式上式可以用矩阵表示为上式可以用矩阵表示为将上式可以改写为将上式可以改写为此式可以用矩阵表示为此式可以用矩阵表示为其矩阵形式为：其矩阵形式为：例例1(p2011(p201例例6.5)6.5)某种水泥在凝固时放出的热量某种水泥在凝固时放出的热量Y与水与水泥中下列泥中下列4种化学成份有关：种化学成份有关：通过实验得到下列数据：通过实验得到下列数据：序序 号号 1 7 26 6 60 78.5 2 1 29 15 52 74.3 3 11 56 8 20 104.3 4 11 31 8 47 87.6 5 7 52 6 33 95.6 6 11 55 9 22 109.2 7 3 71 17 6 102.7 8 1 31 22 44 72.5 9 2 54 18 22 93.1 10 21 47 4 26 115.9 11 1 40 23 34 83.8 12 11 66 9 12 113.3 13 10 68 8 12 109.4解解可以得到回归方程为可以得到回归方程为三、估计量的分布及性质三、估计量的分布及性质由上一小节内容可知由上一小节内容可知:性质性质1 1性质性质2 2证证由于由于又考虑到又考虑到性质性质3 3证证计算二者的协方差矩阵计算二者的协方差矩阵性质性质4 4证证这是因为这是因为估计量的分布估计量的分布定理定理6.26.2证证推论推论1 1 四、回归系数及回归方程的显著性检验四、回归系数及回归方程的显著性检验1.1.回归系数的显著性检验回归系数的显著性检验 构造检验统计量构造检验统计量又因为又因为对于给定的显著性水平对于给定的显著性水平，拒绝域为：拒绝域为：2.2.回归方程的显著性检验回归方程的显著性检验 构造检验统计量构造检验统计量原假设成立时，可证明原假设成立时，可证明对于给定的显著性水平对于给定的显著性水平，拒绝域为：拒绝域为：例例2(2(续例续例1)(1)(p207p207例例6.6)6.6)解解由给定的数据可以计算得到由给定的数据可以计算得到例例3(3(续例续例1)(1)(p207p207例例6.7)6.7)解解由给定的数据可以计算得到由给定的数据可以计算得到但从例但从例6.26.2得知，总的线性回归又是显著的，得知，总的线性回归又是显著的，产生这种现象的原因主要是由于回归变量之产生这种现象的原因主要是由于回归变量之间具有较强的线性相关，这时不能简单地采间具有较强的线性相关，这时不能简单地采用例用例6.56.5给出的线性回归方程，还需要进一步给出的线性回归方程，还需要进一步讨论。讨论。五、最优回归方程的选择五、最优回归方程的选择选择最优回归方程的一般原则：选择最优回归方程的一般原则：(1)寻求一线性回归方程使其包含所有对寻求一线性回归方程使其包含所有对Y有显著有显著作用的回归变量作用的回归变量,剔除不显著的回归变量剔除不显著的回归变量.(2)估计的标准误差达到最小者为优估计的标准误差达到最小者为优.即即以下介绍几种常用方法：以下介绍几种常用方法：1 1、穷举法、穷举法 对所有回归变量的所有可能组合，求出其关于对所有回归变量的所有可能组合，求出其关于Y的的线性回归方程，并从中选出最优者线性回归方程，并从中选出最优者.2 2、“只进不出只进不出”法法 这一方法是根据经验，先选定一个回归变量，然这一方法是根据经验，先选定一个回归变量，然后逐个引入其他回归变量，后逐个引入其他回归变量，“只进不出只进不出”，但不一定，但不一定是是最优方程最优方程.3 3、“只出不进只出不进”法法 先引入所有变量，然后逐个淘汰，先引入所有变量，然后逐个淘汰，“只出不进只出不进”，但也可能遗漏最优方程，但也可能遗漏最优方程.4 4、“有进有出有进有出”法法-逐步回归法逐步回归法 对所有回归变量，按照其对对所有回归变量，按照其对Y影响程度的大小，即影响程度的大小，即统计量的数值的大小，从大到小逐次引入到线性回统计量的数值的大小，从大到小逐次引入到线性回归方程，每引入一个回归变量，均讨论回归系数进行归方程，每引入一个回归变量，均讨论回归系数进行检验，剔除不显著回归变量，直到无法进入新变量为检验，剔除不显著回归变量，直到无法进入新变量为止止.这一方法可以找到最优解这一方法可以找到最优解.六、稳健估计六、稳健估计 在最小二乘估计时，如果观测值有异常点，将会在最小二乘估计时，如果观测值有异常点，将会 影响估计结果，带来较大偏差影响估计结果，带来较大偏差.为了避免这种现象发为了避免这种现象发 生，需要引入其他估计方法弥补此缺陷，这类方法称生，需要引入其他估计方法弥补此缺陷，这类方法称为稳健估计为稳健估计.本章只介绍其中的一种本章只介绍其中的一种M M估计法估计法 M M估计法估计法是最大似然型估计的简称是最大似然型估计的简称.以下简单给出以下简单给出M估计法的结果估计法的结果（略）（略）或者或者例例4(p2094(p209例例6.9)6.9)在把氨氧化成硝酸的生产中收集了在把氨氧化成硝酸的生产中收集了连续连续21组的数据，以探讨氨的损失率与生产工艺之间组的数据，以探讨氨的损失率与生产工艺之间关系，这里回归变量是：关系，这里回归变量是：解解用用21组数据，用最小二乘法得到组数据，用最小二乘法得到计算各点残差，发现第计算各点残差，发现第21组数据残差较大，剔除其数组数据残差较大，剔除其数据，用剩余的据，用剩余的20组数据，用最小二乘法得到组数据，用最小二乘法得到计算各点残差，发现第计算各点残差，发现第1,3,4组数据残差较大，剔除组数据残差较大，剔除其数据，用剩余的其数据，用剩余的17组数据，用最小二乘法得到组数据，用最小二乘法得到用用21组数据，用组数据，用M估计法得到回归方程，其中函数估计法得到回归方程，其中函数再再 见见
