第三章多元线性回归模型 (2)精选文档.ppt
《第三章多元线性回归模型 (2)精选文档.ppt》由会员分享,可在线阅读,更多相关《第三章多元线性回归模型 (2)精选文档.ppt(77页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第三章多元线性回归模型本讲稿第一页,共七十七页本章介绍多元线性回归模型的概念、矩本章介绍多元线性回归模型的概念、矩阵表示形式、参数估计方法、模型检验、阵表示形式、参数估计方法、模型检验、预测及应用实例。预测及应用实例。多元线性回归模型在经济实践中有着广泛的多元线性回归模型在经济实践中有着广泛的应用,比如著名的应用,比如著名的C-D生产函数,其取对数生产函数,其取对数后即为多元线性回归模型的形式。再比如后即为多元线性回归模型的形式。再比如GDP关于消费与投资的线性回归模型等。关于消费与投资的线性回归模型等。本讲稿第二页,共七十七页第三章第三章第一节第一节本讲稿第三页,共七十七页3.1多元线性回归
2、模型多元线性回归模型 一、多元线性回归模型的引入一、多元线性回归模型的引入一元一元:一个因素:一个因素X;多元多元:多个因素:多个因素-X1,X2,Xk被解释变量还是一个:被解释变量还是一个:Y本讲稿第四页,共七十七页比如:比如:被解释变量被解释变量:某商品的需求量:某商品的需求量Y;解释变量解释变量:该商品的价格:该商品的价格P、消费者收、消费者收入入DPI、替代商品价格、替代商品价格P2;未考虑的量:消费偏好等;未考虑的量:消费偏好等;本讲稿第五页,共七十七页 二、多元总体线性回归模型二、多元总体线性回归模型 总体模型:总体模型:1、分量式、分量式:2、总量式、总量式本讲稿第六页,共七十七
3、页称称之之为为变变量量Y关关于于变变量量X1,X2,Xk的的k元元总总体体线线性性回回归归模模型型,Y称称为为被被解解释释变变量量,X1,X2,Xk称称为为解解释释变变量量,k称称为为解解释释变变量量个个数数,U称称为为随随机机扰扰动动项项,或或随随机机项项,或或扰扰动项。动项。本讲稿第七页,共七十七页三、多元样本线性回归模型三、多元样本线性回归模型由由于于经经济济变变量量的的总总体体分分布布大大多多数数是是未未知知的的,与与一一元元模模型型类类似似,我我们们只只能能根根据据样样本本观观察察值值进进行行统统计计推推断断,以以此此来来估估计计多多元元总总体体回回归归方方程程和和总总体体回回归归参
4、参数数。这时导出的模型式为:这时导出的模型式为:本讲稿第八页,共七十七页称为样本回归参数,称为样本回归参数,n称为样本容量。称称为样本容量。称ei为残差项,它为残差项,它是扰动项是扰动项ui的估计量。的估计量。总体模型是理论意义上的,是在总体模型是理论意义上的,是在做定性研究时所使用的,在做定量做定性研究时所使用的,在做定量分析时具体使用的模型也即可操作分析时具体使用的模型也即可操作的是样本模型。的是样本模型。本讲稿第九页,共七十七页第三章第三章第二节第二节本讲稿第十页,共七十七页3.2多元线性回归模型的经典假设多元线性回归模型的经典假设1 10 0 解释变量解释变量X1,X2,Xk是非随机的
5、;是非随机的;20E(ui)=030Var(ui)=2i=1,2,nCov(ui,uj)=0ij,i,j=1,2,n40解释变量解释变量X1,X2,Xk线性无关;线性无关;50uiN(0,2)本讲稿第十一页,共七十七页对上述假设条件的理解基本上与一元对上述假设条件的理解基本上与一元线性回归模型类似,因此不再赘述。线性回归模型类似,因此不再赘述。假假设设30中中实实际际上上包包含含了了两两条条假假设设,这这样样写写的的原原因因是是为为了了以以后后的的多多元元线线性性回归模型经典假设的矩阵表示。回归模型经典假设的矩阵表示。以上以上假设假设1050合称为多元线性回合称为多元线性回归模型的经典假设归模
6、型的经典假设,也称为,也称为基本假设基本假设。满足经典假设的模型称为经典多元线性满足经典假设的模型称为经典多元线性回归模型。回归模型。本讲稿第十二页,共七十七页第三章第三章第三节第三节本讲稿第十三页,共七十七页3.3多元线性回归模型的矩阵表示一、多元总体线性回归模型的矩阵表示 本讲稿第十四页,共七十七页 二、多元样本线性回归模型的矩阵表示 本讲稿第十五页,共七十七页 三、多元模型经典假设的矩阵表示三、多元模型经典假设的矩阵表示20E(U)=030E(UU)=2In即即扰扰动动项项的的方方差差与与协协方方差差矩矩阵阵等于等于2与单位矩阵之积。与单位矩阵之积。40秩秩(X)=k,且,且kn。本讲稿
7、第十六页,共七十七页第三章第三章第四节第四节本讲稿第十七页,共七十七页3.4普通最小二乘估计普通最小二乘估计对对于于多多元元线线性性回回归归模模型型,最最常常用用的的参参数数估估计计方方法法也也是是普普通通最最小小二二乘乘方方法法(OLS)。其其原原理理与与一一元元线线性性回回归归模模型型的的普普通通最最小小二二乘乘估估计计的的原原理理类类似似,也也是是使拟合误差平方和为最小。使拟合误差平方和为最小。一、矩阵式的普通最小二乘估计量一、矩阵式的普通最小二乘估计量本讲稿第十八页,共七十七页 设由极值原理可知:最后可得:本讲稿第十九页,共七十七页称上式为多元线性回归模型称上式为多元线性回归模型矩阵式
8、的普通矩阵式的普通最小二乘估计量最小二乘估计量(OLS)。)。由经典假设可知,由经典假设可知,X的秩等于的秩等于k,而,而为正定矩阵,于是为正定矩阵,于是可逆,即可逆,即满足解释变量线性无关的多元线性回归模满足解释变量线性无关的多元线性回归模型的普通最小二乘估计量型的普通最小二乘估计量有解。有解。本讲稿第二十页,共七十七页 二、正规方程组二、正规方程组上上面面导导出出的的是是矩矩阵阵式式的的普普通通最最小小二二乘乘解解(OLS),然然而而有有时时我我们们需需要要用用到到其其分分量量方方程程组组形形式式,即即正正规规方方程程组组,下下面面我我们们导导出出正规方程组。正规方程组。由极值原理可导出多
9、元线性回归模型的正由极值原理可导出多元线性回归模型的正规方程组:规方程组:本讲稿第二十一页,共七十七页 本讲稿第二十二页,共七十七页当k=2时,OLS解为:本讲稿第二十三页,共七十七页解方程时的系数行列式:解时的分子行列式:本讲稿第二十四页,共七十七页第三章第三章第五节第五节本讲稿第二十五页,共七十七页3.5最小二乘估计量的特征最小二乘估计量的特征上一章中谈到,经典一元线性回归模型的上一章中谈到,经典一元线性回归模型的OLS估计量满足线性、无偏及方差最小性,估计量满足线性、无偏及方差最小性,即高斯即高斯马尔可夫定理,对于经典多元线马尔可夫定理,对于经典多元线性回归模型的普通最小二乘估计量,这一
10、性性回归模型的普通最小二乘估计量,这一性质仍然存在,换言之,对于满足经典假设的质仍然存在,换言之,对于满足经典假设的多元线性回归模型,采用多元线性回归模型,采用OLS方法所得估计方法所得估计量量也满足线性、无偏及方差最小性。也满足线性、无偏及方差最小性。本讲稿第二十六页,共七十七页 一、线性性一、线性性由由OLS估计可知估计可知令令由由解解释释变变量量的的非非随随机机性性可可知知M为为非非随随机机矩矩阵阵。则则为为M中中的的第第j+1行行与与Y的对应元素乘积之和,即的对应元素乘积之和,即故故为为Yi的线性组合,即线性性成立。的线性组合,即线性性成立。本讲稿第二十七页,共七十七页 二、无偏性由零
11、均值及解释变量为非随机可知:即无偏性得证。本讲稿第二十八页,共七十七页三、方差最小性(也称有效性)首先导出的方差与协方差矩阵:由于于是OLS估计量的方差与协方差矩阵为:本讲稿第二十九页,共七十七页即的方差与协方差矩阵为与之积,因此估计量的方差为与的第j个对角线元素之积(j=1,2,k)。令则本讲稿第三十页,共七十七页 由于总体分布未知,于是 也未知,令可以证明 为总体方差 的无偏估计量。最小方差的证明省略。本讲稿第三十一页,共七十七页第三章第三章第六节第六节本讲稿第三十二页,共七十七页3.6估计量的显著性检验及置信区间估计量的显著性检验及置信区间对于多元线性回归模型的参数估计对于多元线性回归模
12、型的参数估计量,其在统计上是否显著,也需要作量,其在统计上是否显著,也需要作显著性检验,即显著性检验,即t-显著性检验,其检验显著性检验,其检验方法与一元线性模型的参数显著性检验方法与一元线性模型的参数显著性检验基本相同,所不同的是现在要对所有解基本相同,所不同的是现在要对所有解释变量前的参数进行显著性检验。释变量前的参数进行显著性检验。本讲稿第三十三页,共七十七页与一元线性回归模型的原理完全一与一元线性回归模型的原理完全一样可导出:样可导出:以以95%的可能性落在区间:的可能性落在区间:(j=1,2,k)上上,称称该该区区间间为为的的置置信信区区间间,或或称称区间估计,置信度为区间估计,置信
13、度为95%.本讲稿第三十四页,共七十七页很显然,很显然,置信区间越小置信区间越小则则可信度越高可信度越高,而置信,而置信区间的半径中临界值变化不大,因此估计量的可区间的半径中临界值变化不大,因此估计量的可信度主要取决于其标准差的估计量,标准差越小,信度主要取决于其标准差的估计量,标准差越小,则可信度越高,标准差越大,则可信度越低。这则可信度越高,标准差越大,则可信度越低。这与与t-检验的显著性是等价的,从检验的显著性是等价的,从T统计量的计统计量的计算可知,标准差越小,则算可知,标准差越小,则t-统计量的绝对值越统计量的绝对值越大,即大,即t-值通过临界值的可能性也大,从而值通过临界值的可能性
14、也大,从而t-检检验显著的可能性也大。验显著的可能性也大。本讲稿第三十五页,共七十七页另一方面,从标准差的计算公式可知,标另一方面,从标准差的计算公式可知,标准差的大小主要取决于总体方差估计量的大准差的大小主要取决于总体方差估计量的大小及小及对角线上的元素对角线上的元素,而,而与解与解释变量的线性相关的程度有关,当总体方差估释变量的线性相关的程度有关,当总体方差估计量较大以及解释变量的线性相关程度较高时,计量较大以及解释变量的线性相关程度较高时,参数估计量的标准差的估计量也就较大,这时参数估计量的标准差的估计量也就较大,这时会影响参数的显著性。会影响参数的显著性。本讲稿第三十六页,共七十七页第
15、三章第三章第七节第七节本讲稿第三十七页,共七十七页3.7回归方程的显著性检验回归方程的显著性检验对对于于一一元元线线性性回回归归模模型型,回回归归参参数数的的显显著著性性与与回回归归方方程程的的显显著著性性是是等等价价的的,而而对对于于多多元元线线性性回回归归模模型型,单单个个回回归归参参数数是是显显著著的的并并不不等等于于整整个个回回归归方方程程是是显显著著的的,因此还要作回归方程的显著性检验。因此还要作回归方程的显著性检验。回归方程的显著性检验回归方程的显著性检验也称为也称为F 检验检验,也是一种假设检验。也是一种假设检验。本讲稿第三十八页,共七十七页F检验是检验所有检验是检验所有解释变量
16、合起解释变量合起来来对被解释变量对被解释变量线性影响的显著性线性影响的显著性,单个解释变量对被解释变量的线性影单个解释变量对被解释变量的线性影响是显著的,合起来之后即线性组合响是显著的,合起来之后即线性组合对被解释变量的影响未必是显著的,对被解释变量的影响未必是显著的,这相当于我们通常所说的整体效率。这相当于我们通常所说的整体效率。因此对于多元模型,回归方程的显著因此对于多元模型,回归方程的显著性检验与回归参数显著性检验是不能性检验与回归参数显著性检验是不能相互替代的,相互替代的,本讲稿第三十九页,共七十七页即使对回归方程中每个参数分别进行即使对回归方程中每个参数分别进行的的t-检验都不显著,
17、检验都不显著,F检验也可能是检验也可能是显著的显著的。比如当解释变量之间高度相。比如当解释变量之间高度相关时就可能出现这种情况,其结果可关时就可能出现这种情况,其结果可能是参数的标准差大而能是参数的标准差大而t值小,但整值小,但整个模型仍然能对数据拟合得很好。个模型仍然能对数据拟合得很好。本讲稿第四十页,共七十七页F-统计量的计算公式为:统计量的计算公式为:在一般计量软件的参数估计输出结果中在一般计量软件的参数估计输出结果中均有均有F-统计量的值,不必用手工计算。当统计量的值,不必用手工计算。当F-值大于临界值时值大于临界值时,回归方程是显著的,回归方程是显著的,否则,为不显著的。否则,为不显
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三章多元线性回归模型 2精选文档 第三 多元 线性 回归 模型 精选 文档
限制150内