线性回归经典假设的分析精选PPT.ppt
《线性回归经典假设的分析精选PPT.ppt》由会员分享,可在线阅读,更多相关《线性回归经典假设的分析精选PPT.ppt(188页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于线性回归经典假关于线性回归经典假设的分析设的分析第1页,讲稿共188张,创作于星期二第一节第一节 多重共线性多重共线性 多重共线性含义及引起的后果多重共线性含义及引起的后果 多重共线性的检验多重共线性的检验 多重共线性的克服及岭回归方法多重共线性的克服及岭回归方法 第2页,讲稿共188张,创作于星期二4.1.1 多重共线性含义及引起的后果多重共线性含义及引起的后果一、多重共线性的含义一、多重共线性的含义“多重共线性多重共线性”一词由一词由R.Frisch 1934年提出,它原指年提出,它原指模型的解释变量间存在线性关系。针对总体回归模型模型的解释变量间存在线性关系。针对总体回归模型(2.2
2、)式)式 ,的经典假设条件,要求的经典假设条件,要求 (4.1)即要求矩阵即要求矩阵X满秩。满秩。X满秩就能保证行列式满秩就能保证行列式 ,从而可以得到参数的估计值,从而可以得到参数的估计值 。如果这。如果这个假设条件不满足,即个假设条件不满足,即 ,就表明某些解,就表明某些解释变量之释变量之 间存在完全的线性相关关系,在这种情形间存在完全的线性相关关系,在这种情形下,根本无法求出参数的估计值下,根本无法求出参数的估计值 。第3页,讲稿共188张,创作于星期二v然而,在实际问题中,某些解释变量之间不是完然而,在实际问题中,某些解释变量之间不是完全线性相关的或接近完全线性相关的。全线性相关的或接
3、近完全线性相关的。v就模型中解释变量的关系而言,有三种可能。就模型中解释变量的关系而言,有三种可能。1、,解释变量间毫无线性关系,变量间相,解释变量间毫无线性关系,变量间相互正交。这时已不需要多重回归,每个参数互正交。这时已不需要多重回归,每个参数 j都都可以通过可以通过Y对对 的一元回归来估计。的一元回归来估计。2、,解释变量间完全共线性。此时模型参,解释变量间完全共线性。此时模型参数将无法确定。直观地看,当两变量按同一方式数将无法确定。直观地看,当两变量按同一方式变化时,要区别每个解释变量对被解释变量的影变化时,要区别每个解释变量对被解释变量的影响程度就非常困难。响程度就非常困难。第4页,
4、讲稿共188张,创作于星期二 3、,解释变量间存在一定程度的线,解释变量间存在一定程度的线性关系。实际中常遇到的是这种情形。随着共线性关系。实际中常遇到的是这种情形。随着共线性程度的加强,对参数估计值的准确性、稳定性性程度的加强,对参数估计值的准确性、稳定性带来影响。因此我们关心的不是有无多重共线性,带来影响。因此我们关心的不是有无多重共线性,而是多重共线性的程度。而是多重共线性的程度。v这里需要说明的是,在解决实际问题的过程中,这里需要说明的是,在解决实际问题的过程中,经济变量在时间上有共同变化的趋势。如在经济经济变量在时间上有共同变化的趋势。如在经济上升时期,收入、消费、就业率等都增长,当
5、经上升时期,收入、消费、就业率等都增长,当经济处于收缩期,收入、消费、就业率等都下降或济处于收缩期,收入、消费、就业率等都下降或增长率下降。当这些变量同时做解释变量就会给增长率下降。当这些变量同时做解释变量就会给模型带来多重共线性问题。另外,解释变量与其模型带来多重共线性问题。另外,解释变量与其滞后变量同作解释变量时,也会引起多重共线性。滞后变量同作解释变量时,也会引起多重共线性。第5页,讲稿共188张,创作于星期二二、多重共线性引起的后果二、多重共线性引起的后果v如果解释变量之间存在明显的相关关系,即存在如果解释变量之间存在明显的相关关系,即存在严重的多重共线性,将会影响模型的构建。严重的多
6、重共线性,将会影响模型的构建。1、当、当 ,X为降秩矩阵,则为降秩矩阵,则 不不存在,存在,不可计算。不可计算。2、若、若 ,即使,即使 ,仍具有无仍具有无偏性,即偏性,即 第6页,讲稿共188张,创作于星期二v然而,当然而,当 时,时,接近降秩矩阵,接近降秩矩阵,即即 ,变得很大。变得很大。所以所以 丧失有效性。丧失有效性。v以二元解释变量线性模型为例,当以二元解释变量线性模型为例,当 时,时,为为 时时 方差的方差的2.78倍。当倍。当 时,时,为为 时的时的10.26倍。倍。第7页,讲稿共188张,创作于星期二4.1.2 多重共线性的检验多重共线性的检验v既然多重共线性会造成一些严重的后
7、果,在建立既然多重共线性会造成一些严重的后果,在建立线性回归模型的过程中,有必要检验样本是否存线性回归模型的过程中,有必要检验样本是否存在多重共线性。在多重共线性。第8页,讲稿共188张,创作于星期二v检验样本是否存在严重的多重共线性常用的方法检验样本是否存在严重的多重共线性常用的方法如下。如下。一、可决系数的值较大而回归系数的一、可决系数的值较大而回归系数的t值较小。当值较小。当模型的可决系数模型的可决系数R2很高,总体显著性检验的很高,总体显著性检验的F值很值很高,而每个回归参数估计值的方差高,而每个回归参数估计值的方差 又非常又非常大,即大,即t值很低时,说明解释变量之间存在多重共值很低
8、时,说明解释变量之间存在多重共线性。线性。二、二、Klein判别法。计算多重可决系数判别法。计算多重可决系数R2及解释及解释变量之间的简单相关系数变量之间的简单相关系数 。若有某个。若有某个 R2,则,则Xi,Xj间的多重共线性是有害的。间的多重共线性是有害的。第9页,讲稿共188张,创作于星期二 三、特征值与病态指数。三、特征值与病态指数。v根据矩阵行列式的性质,矩阵的行列式等于其特根据矩阵行列式的性质,矩阵的行列式等于其特征根的连乘积。因而当行列式征根的连乘积。因而当行列式 时,矩时,矩阵阵 XX 至少有一个特征根近似等于零。反之,可至少有一个特征根近似等于零。反之,可以证明,当矩阵以证明
9、,当矩阵XX至少有一个特征根近似等于至少有一个特征根近似等于零时,零时,X的列向量之间必存在多重共线性。的列向量之间必存在多重共线性。第10页,讲稿共188张,创作于星期二v实际上,设实际上,设 是矩阵是矩阵XX的一个近似等于零特征根,的一个近似等于零特征根,c是对应于该是对应于该特征根的特征向量,则特征根的特征向量,则(4.2)v对(对(4.2)式两边左乘)式两边左乘c,即有,即有 即即 从而从而 (4.3)v这里(这里(4.3)式就反映出了前面所定义的多重共线性。我们应)式就反映出了前面所定义的多重共线性。我们应该注意到,矩阵该注意到,矩阵XX有多少个特征根近似为零,设计矩阵就会有多有多少
10、个特征根近似为零,设计矩阵就会有多少个类似(少个类似(4.3)式多重共线性关系,并且这些多重共线关系)式多重共线性关系,并且这些多重共线关系系数向量就等于接近于零的那些特征根对应的特征向量。系数向量就等于接近于零的那些特征根对应的特征向量。第11页,讲稿共188张,创作于星期二v另外,特征根近似为零的标准可以用下面的病态指数(另外,特征根近似为零的标准可以用下面的病态指数(condition index)来确定。记)来确定。记XX的最大特征根为的最大特征根为 ,称,称(4.4)为特征根的病态指数。注意特征根的个数与病态指数都包含了常数项为特征根的病态指数。注意特征根的个数与病态指数都包含了常数
11、项在内。在内。v病态指数度量了矩阵病态指数度量了矩阵 的特征根散布程度,可以用来判断多重的特征根散布程度,可以用来判断多重共线性是否存在以及多重共线性的严重程度。共线性是否存在以及多重共线性的严重程度。v一般认为,当一般认为,当0CI10时,设计矩阵时,设计矩阵X没有多重共线性;当没有多重共线性;当10CI100时,则认为存在严重的多重共线性。时,则认为存在严重的多重共线性。第12页,讲稿共188张,创作于星期二4.1.3 多重共线性的克服及岭回归方法多重共线性的克服及岭回归方法v如果多重共线性较为严重,我们该如何处理?一如果多重共线性较为严重,我们该如何处理?一般来说没有一个十分严格的克服多
12、重共线性的方般来说没有一个十分严格的克服多重共线性的方法。但是,可以尽量的降低线性回归模型中存在法。但是,可以尽量的降低线性回归模型中存在的多重共线性。的多重共线性。v这里介绍一些经验规则和理论方法以便克服或降这里介绍一些经验规则和理论方法以便克服或降低多重共线性问题时参考。低多重共线性问题时参考。第13页,讲稿共188张,创作于星期二一、克服多重共线性的经验方法一、克服多重共线性的经验方法 1、剔除变量。、剔除变量。v面对严重的多重共线性,最简单的克服方法之一面对严重的多重共线性,最简单的克服方法之一就是剔除一个共线性的变量。但是,如果从模型就是剔除一个共线性的变量。但是,如果从模型中剔除的
13、是重要的解释变量,可能会引起模型的中剔除的是重要的解释变量,可能会引起模型的设定误差。所谓设定误差是指在回归分析中使用设定误差。所谓设定误差是指在回归分析中使用了不正确的模型。我们知道,在解释粮食产量的了不正确的模型。我们知道,在解释粮食产量的模型中,应该包括播种面积和施肥量,那么剔除模型中,应该包括播种面积和施肥量,那么剔除播种面积这个变量,就会构成设定误差。当模型播种面积这个变量,就会构成设定误差。当模型中出现设定误差时,线性模型的分析出现的问题中出现设定误差时,线性模型的分析出现的问题会更为严重,其中问题之一是当出现设定误差时,会更为严重,其中问题之一是当出现设定误差时,回归系数的估计值
14、是有偏的,这与多重共线性相回归系数的估计值是有偏的,这与多重共线性相比是一个更为严重的问题。比是一个更为严重的问题。第14页,讲稿共188张,创作于星期二v事实上,假设真实的模型为事实上,假设真实的模型为v如果我们错误的拟合了模型如果我们错误的拟合了模型 记记 ,第15页,讲稿共188张,创作于星期二v那么,那么,这里,这里,为回归模型为回归模型 中回归系数中回归系数的最小二乘估计量。的最小二乘估计量。第16页,讲稿共188张,创作于星期二v所以,所以,(4.5)v当解释变量之间存在多重共线性时,当解释变量之间存在多重共线性时,是不会为是不会为零的,从而由(零的,从而由(4.5)式知,)式知,
15、v这说明如果因为有多重共线性而将一共线变量删这说明如果因为有多重共线性而将一共线变量删除会导致有偏估计,而有偏估计对参数的估计来除会导致有偏估计,而有偏估计对参数的估计来说,是一个更为严重的问题。在这里我们需要提说,是一个更为严重的问题。在这里我们需要提及的是,在不完全共线的情形下,及的是,在不完全共线的情形下,OLS估计量仍估计量仍然是然是BLUE。第17页,讲稿共188张,创作于星期二 2、增加样本容量。、增加样本容量。v由于多重共线性是一个样本特征,所以有可能在由于多重共线性是一个样本特征,所以有可能在同样变量的另一样本中共线性问题并不严重。这同样变量的另一样本中共线性问题并不严重。这样
16、只需要增大样本容量就能减轻共线性问题。看样只需要增大样本容量就能减轻共线性问题。看来增加样本容量可能是克服共线性的一个好方法,来增加样本容量可能是克服共线性的一个好方法,但在实际解决问题时,我们补充数据扩大样本容但在实际解决问题时,我们补充数据扩大样本容量并不是一件容易的事情,特别是在建立计量经量并不是一件容易的事情,特别是在建立计量经济模型时所希望的解释变量的值就更困难。济模型时所希望的解释变量的值就更困难。第18页,讲稿共188张,创作于星期二 3、先验信息。、先验信息。v如果通过经济理论分析能够得到某些参数之间的如果通过经济理论分析能够得到某些参数之间的线性关系,可以将这种线性关系作为约
17、束条件,线性关系,可以将这种线性关系作为约束条件,将此约束条件和样本信息结合起来进行最小二乘将此约束条件和样本信息结合起来进行最小二乘估计。估计。第19页,讲稿共188张,创作于星期二v为了进一步说明问题,假设我们考虑模型为了进一步说明问题,假设我们考虑模型v如果依据长期的经验分析可以认为两个解释变量如果依据长期的经验分析可以认为两个解释变量的系数相互关系为的系数相互关系为 ,运用这个先验信息,运用这个先验信息有有 其中,其中,。这样可以估计出。这样可以估计出 ,然,然后可以得到后可以得到 。第20页,讲稿共188张,创作于星期二v另外,我们应该注意到,横截面数据与时间序列另外,我们应该注意到
18、,横截面数据与时间序列数据并用也是先验信息法的一种变形,这种方法数据并用也是先验信息法的一种变形,这种方法称为数据并用(称为数据并用(pooling the data)。其基本思想)。其基本思想是,首先利用横截面数据估计出部分参数,再利是,首先利用横截面数据估计出部分参数,再利用时间序列数据估计另外的部分参数,最后得到用时间序列数据估计另外的部分参数,最后得到整个方程参数的估计。整个方程参数的估计。第21页,讲稿共188张,创作于星期二二、一阶差分方法二、一阶差分方法v一阶差分法就是将原模型变形为差分模型的形式,一阶差分法就是将原模型变形为差分模型的形式,进而降低多重共线性的一种方法。进而降低
19、多重共线性的一种方法。v将原模型将原模型 经过一阶差分变换为经过一阶差分变换为 其中,其中,。第22页,讲稿共188张,创作于星期二v一般情况,差分变换后变量之间的相关性比变换一般情况,差分变换后变量之间的相关性比变换前要弱的多,所以差分后的模型可以有效地降低前要弱的多,所以差分后的模型可以有效地降低出现共线性的现象。出现共线性的现象。v然而,差分变换常常会引起信息的丢失,使自由然而,差分变换常常会引起信息的丢失,使自由度减少了一个,也可能会使得模型的干扰项出现度减少了一个,也可能会使得模型的干扰项出现序列相关,即序列相关,即第23页,讲稿共188张,创作于星期二v这样就违背了经典线性回归模型
20、的相关假设,因这样就违背了经典线性回归模型的相关假设,因此在具体应用时要慎重。关于序列相关的有关内此在具体应用时要慎重。关于序列相关的有关内容将在后面详细介绍。容将在后面详细介绍。第24页,讲稿共188张,创作于星期二三、逐步回归法三、逐步回归法v 逐步回归法的基本思想是,首先用被解释变量对每一个所考逐步回归法的基本思想是,首先用被解释变量对每一个所考虑的解释变量做简单回归,然后以对被解释变量贡献最大的虑的解释变量做简单回归,然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础,以对被解释变量贡献大解释变量所对应的回归方程为基础,以对被解释变量贡献大小为顺序逐个引入其余的解释变量。小为顺
21、序逐个引入其余的解释变量。v这个过程会出现这个过程会出现3种情形。种情形。若新变量的引入改进了和检验,且若新变量的引入改进了和检验,且回归参数的回归参数的t检验在统计上也是显著的,则该变量在模型中予以保检验在统计上也是显著的,则该变量在模型中予以保留。留。若新变量的引入未能改进和检验,且对其他回归参数估计若新变量的引入未能改进和检验,且对其他回归参数估计值的值的t检验也未带来什么影响,则认为该变量是多余的,应该舍弃。检验也未带来什么影响,则认为该变量是多余的,应该舍弃。若新变量的引入未能改进和检验,且显著地影响了其他回归参若新变量的引入未能改进和检验,且显著地影响了其他回归参数估计值的符号与数
22、值,同时本身的回归参数也通不过数估计值的符号与数值,同时本身的回归参数也通不过t检验,这检验,这说明出现了严重的多重共线性,舍弃该变量。说明出现了严重的多重共线性,舍弃该变量。第25页,讲稿共188张,创作于星期二四、岭回归法四、岭回归法v当在建立计量经济模型存在多重共线性时,最小当在建立计量经济模型存在多重共线性时,最小二乘估计的性质就不够理想,有时甚至遭到破坏。二乘估计的性质就不够理想,有时甚至遭到破坏。在这种情况下,要从本质上克服多重共线性,就在这种情况下,要从本质上克服多重共线性,就需要一些新的估计方法。近四十年来,人们提出需要一些新的估计方法。近四十年来,人们提出了许多新的估计方法,
23、其在理论上最有影响并得了许多新的估计方法,其在理论上最有影响并得到广泛应用的就是岭估计(到广泛应用的就是岭估计(ridge regression)。)。v为了能够较为深入了解岭回归方法,并进一步说为了能够较为深入了解岭回归方法,并进一步说明岭估计量的优良性,我们引进评价一个估计优明岭估计量的优良性,我们引进评价一个估计优劣的标准劣的标准均方误差(均方误差(mean squared errors)。)。第26页,讲稿共188张,创作于星期二v设设 为为 未知参数向量,未知参数向量,为为 的一个估计量。的一个估计量。定义定义 的均方误差为的均方误差为 (4.6)它量度了估计量它量度了估计量 跟未知
24、参数向量跟未知参数向量 平均偏离平均偏离的大小。一个好的估计量应该有较小的均方误差。的大小。一个好的估计量应该有较小的均方误差。均方误差有一个重要的性质,即均方误差有一个重要的性质,即 (4.7)v事实上,事实上,(4.8)第27页,讲稿共188张,创作于星期二v根据矩阵迹的有关性质,(根据矩阵迹的有关性质,(4.8)式中的第一项)式中的第一项 为为 v如果记如果记 ,则,则 (4.9)(4.9)式是估计量的各分量方差之和。)式是估计量的各分量方差之和。第28页,讲稿共188张,创作于星期二v而且而且 (4.10)(4.10)式是估计量的各分量的偏差)式是估计量的各分量的偏差 平方和。平方和。
25、v这样一个估计的均方误差就是由各分量的方差和这样一个估计的均方误差就是由各分量的方差和偏差所决定的。偏差所决定的。v一个好的估计量应该有较小的方差和偏差。一个好的估计量应该有较小的方差和偏差。第29页,讲稿共188张,创作于星期二v下面我们介绍岭回归的基本方法。下面我们介绍岭回归的基本方法。v当解释变量之间存在多重共线性时当解释变量之间存在多重共线性时 ,则,则 将会增大,原因是将会增大,原因是 接近奇异。接近奇异。如果将如果将 加上一个正常数对角阵加上一个正常数对角阵kI(k0,I为为单位矩阵),即单位矩阵),即 ,使得,使得 的可能的可能性比性比 的可能性更小,那么的可能性更小,那么 接近
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 线性 回归 经典 假设 分析 精选 PPT
限制150内