3.1 矩阵基础及多元线性回归模型.ppt

矩阵代数概述矩阵代数概述1 矩阵矩阵(matrix)就是一个矩形数组。mn矩阵就有m行和n列。m称为行维数行维数，n称为列维数维数。可表示为：矩阵矩阵2方阵方阵：具有相同的行数和列数的矩阵。一个方阵的维数就是其行数或列数。行向量行向量：一个1m的矩阵被称为一个(m维)行向量。列向量列向量：一个n1的矩阵被称为一个(n维)列向量。方阵、行向量、列向量方阵、行向量、列向量3对角矩阵、单位矩阵和零矩阵对角矩阵、单位矩阵和零矩阵对角矩阵对角矩阵单位矩阵单位矩阵零矩阵零矩阵4矩阵的运算矩阵的运算加法：加法：数乘：数乘：两矩阵相乘：两矩阵相乘：A为为m n阶矩阵阶矩阵B为为n p阶矩阵阶矩阵5矩阵运算的性质（矩阵运算的性质（1）和是实数，矩阵A、B、C具有运算所需的维数6矩阵运算的性质（矩阵运算的性质（2）和是实数，矩阵A、B、C具有运算所需的维数7 矩阵A的行与列互换行与列互换称为A的转置矩阵转置矩阵，用A表示矩阵的转置、对称矩阵矩阵的转置、对称矩阵转置矩阵的性质：x是n1维向量 一个方阵A是对称矩阵对称矩阵的充要条件A=A8对任意一个对任意一个n n的矩阵的矩阵A，A的迹的迹tr(A)定义为定义为其主对角线元素之和。其主对角线元素之和。迹的性质：迹的性质：迹迹其中，其中，A为为n m矩阵，矩阵，B为为m n矩阵矩阵9对一个对一个n n的矩阵的矩阵A，如果存在矩阵，如果存在矩阵B，使得，使得 BA=AB=In 则称则称B为矩阵为矩阵A的的逆逆，用，用A-1表示。表示。如果如果A有逆矩阵，则称有逆矩阵，则称A是是可逆可逆的或的或非奇异非奇异的；否则，的；否则，称称A是是不可逆不可逆的或的或奇异奇异的。的。矩阵的逆矩阵的逆10(1)如果一个矩阵的逆存在，则它是唯一的如果一个矩阵的逆存在，则它是唯一的(2)若若0且且A可逆，则可逆，则(3)如果如果A和和B都是都是n n可逆矩阵，则可逆矩阵，则(4)矩阵逆的性质矩阵逆的性质11给定一个nn的方阵 ，A的行列式，记为|A|，定义为：|A|=(-1)ta1p1a2p2anpn其中，t为p1p2.pn的逆序数。矩阵的行列式矩阵的行列式12例：求下列矩阵例：求下列矩阵A的行列式的行列式因此，因此，|A|=21-4+16-10+15-42=-4解：解：根据行列式定义，可得：根据行列式定义，可得：13求方阵的逆矩阵（求方阵的逆矩阵（1）余子式余子式：将将n n的方阵的方阵A的第的第i行和第行和第j列去掉，所剩列去掉，所剩下的子矩阵的行列式叫做元素下的子矩阵的行列式叫做元素aij的余子式，记为的余子式，记为|Mij|例如：例如：14求方阵的逆矩阵（求方阵的逆矩阵（2）余因子余因子(代数余子式代数余子式)：将将n n的方阵的方阵A的元素的元素aij的余因子，记为的余因子，记为cij，定义为，定义为 cij=(-1)i+j|Mij|余因子矩阵：余因子矩阵：将将方阵方阵A的元素的元素aij代之以其余因代之以其余因子，则得到子，则得到A的余因子矩阵，记为的余因子矩阵，记为cof A。伴随矩阵：伴随矩阵：余因子矩阵的转置矩阵称为余因子矩阵的转置矩阵称为A的伴的伴随矩阵，记为随矩阵，记为adj A adj A=(cof A)15求方阵的逆矩阵（求方阵的逆矩阵（3）如果如果A是方阵且是非退化的矩阵（即是方阵且是非退化的矩阵（即|A|0），），则则A的逆矩阵的计算公式为：的逆矩阵的计算公式为：16例：求下列矩阵例：求下列矩阵A的逆阵的逆阵 17Step1:求求|A|A|=-24Step2:求求A的余因子矩阵的余因子矩阵cStep3:求求A的伴随矩阵，即的伴随矩阵，即cStep4:解：解：18 (1)令令 x1,x2,xr是一组维数相同的向量，若存在是一组维数相同的向量，若存在不全为零的实数不全为零的实数 1,2,r使得使得 则称向量组则称向量组x1,x2,xr是是线性相关线性相关的；的；否则，称否则，称x1,x2,xr是是线性无关线性无关的。的。向量组的线性相关向量组的线性相关19 令令A是一个是一个n m的矩阵，则的矩阵，则A中线性无关的最中线性无关的最大大列列向量称为向量称为A的的秩秩，即为，即为rank(A)。若若rank(A)=m，则称为列满秩，则称为列满秩 秩的性质：秩的性质：(1)行秩列秩行秩列秩=rank(A)(即：即：rank(A)=rank(A)(2)如果如果A是一个是一个n k矩阵，则矩阵，则 rank(A)min(n,k)矩阵的秩矩阵的秩20令A为nn对称矩阵。(1)如果对除x=0外的所有n1向量x，都有xAx0，则称A为正定正定的。(2)如果对除x=0外的所有n1向量x，都有xAx0，则称A为半正定半正定的。正定和半正定矩阵的性质：正定和半正定矩阵的性质：(1)正定矩阵的主对角元素都严格为正，半正定矩阵的主对角元素都非负；(2)A是正定的，则A-1存在并正定；(3)如果X是一个nk矩阵，则XX和XX都是半正定的；正定和半正定矩阵正定和半正定矩阵21令A为nn对称矩阵。如果AA=A，则称A是幂等矩阵幂等矩阵。幂等矩阵的性质：幂等矩阵的性质：令令A为为n n幂等矩阵幂等矩阵 (1)rank(A)=tr(A)(2)A是半正定的。是半正定的。幂等矩阵幂等矩阵22 (1)对于一个给定的n1向量a，对所有n1向量x，定义线性函数 f(x)=ax，则f 对x的导数是1n阶偏导数向量a，即：(2)对一个nn的对称矩阵A，定义 则矩阵微分矩阵微分why?why?23 如果y是一个n1随机向量，用var(y)（或cov-var(y)）表示的y的方差方差-协方差矩阵协方差矩阵定义为：其中j2=var(yj),ij=var(yi,yj)显然，ij=var(yi,yj)=var(yj,yi)=ji，故var(y)对称。方差方差-协方差矩阵协方差矩阵24第三章第三章 经典单方程计量经济学模经典单方程计量经济学模型：多元回归型：多元回归 多元线性回归模型多元线性回归模型 多元线性回归模型的参数估计多元线性回归模型的参数估计多元线性回归模型的统计检验多元线性回归模型的统计检验多元线性回归模型的预测多元线性回归模型的预测回归模型的其他形式回归模型的其他形式回归模型的参数约束回归模型的参数约束253.1 多元线性回归模型多元线性回归模型 一、多元线性回归模型一、多元线性回归模型 二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 26多元线性回归模型多元线性回归模型的引入的引入 一元（双变量）线性回归模型在实践中对许多情况往往无法描述。例如：对某商品的需求很可能不仅依赖于它本身的价格，而且还依赖于其他相互竞争(互替)或相互补充(互补)的产品价格。此外，还有消费者的收人、社会地位，等等。因此，我们需要讨论因变量或回归子Y，依赖于两个或更多个解释变量或回归元的模型。27 一、多元线性回归模型一、多元线性回归模型多元线性回归模型多元线性回归模型:有多个解释变量的线性回归模型。也称为多变量线性回归模型多变量线性回归模型。总体回归函数：总体回归函数：意为：给定意为：给定X1,X2,Xk的值时的值时Y的期望值。的期望值。i=1,2,nY是被解释变量是被解释变量Xji为解释变量，为解释变量，i指第指第i次观测次观测增加随机干扰项的随机表达式：增加随机干扰项的随机表达式：为随机干扰项为随机干扰项 i为为偏偏回归系数回归系数 习惯上：把习惯上：把常数项常数项看成为一看成为一虚变量虚变量的系数，该虚变量的样本的系数，该虚变量的样本观测值始终取观测值始终取1。这样：型中解释变量的数目为。这样：型中解释变量的数目为k+1 28截距项和偏回归系数截距项和偏回归系数(1)j(j 1)称为称为 偏回归系数偏回归系数 表表示示在在其其他他解解释释变变量量保保持持不不变变的的情情况况下下，Xj每每变变化化1个个单单位时，位时，Y的条件均值的条件均值 的变化的变化;或或者者说说j给给出出了了Xj的的单单位位变变化化对对Y均均值值的的“直直接接”或或“净净”（不含其他变量）影响。（不含其他变量）影响。(2)0(j 1)称称为为 截截距距项项，它它给给出出了了所所有有未未包包含含到到模模型型中中的变量对的变量对Y的平均影响。的平均影响。总体回归函数的随机表达式：总体回归函数的随机表达式：29总体回归模型的总体回归模型的n个随机方程（个随机方程（1 1）若有n组观测值，则可得n个联立方程：30令令总体回归模型的总体回归模型的n个随机方程的矩阵表示个随机方程的矩阵表示 则有，总体回归方程的矩阵表示为：则有，总体回归方程的矩阵表示为：31样本回归函数样本回归函数：根据样本估计的总体回归函数：根据样本估计的总体回归函数其其随机表示式随机表示式:ei称为称为残差残差或或剩余项剩余项(residuals)，可看成是可看成是总体回归函数中随机扰动项总体回归函数中随机扰动项 i的近似替代。的近似替代。样本回归函数样本回归函数32样本回归模型的样本回归模型的n个随机方程（个随机方程（1 1）或或 若有n组观测值，则可得n个联立方程：33令令样本回归模型的样本回归模型的n个随机方程的矩阵表示个随机方程的矩阵表示则有，样本回归方程的矩阵表示为：则有，样本回归方程的矩阵表示为：或或或或 34 经典线性回归模型的基本假设的引入经典线性回归模型的基本假设的引入 在回归分析中我们的目的不仅仅是获得参数的估计值，而且要对参数估计值做出推断。例如：和 离它们相应的真实值有多远？与其期望值E(Yi|Xi)多接近？由PRF：可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方式，否则我们将无法对Yi 作任何推断。同时，为了使得使用OLS方法的估计量具有良好的性质，我们做出了如下假设。35线性回归模型的基本假设（线性回归模型的基本假设（1 1）假设假设1 1、(1)(1)解解释释变变量量X1,X2,Xk是是确确定定性性变变量量，不不是是随随机变量；机变量；即在重复抽样中，X1,X2,Xk的值被认为是固定的。(2)解释变量解释变量X0（虚拟）,X1,X2,Xk相互之间相互之间无多重共线性无多重共线性等价于等价于的列向量组的秩为的列向量组的秩为k+1，即列满秩。，即列满秩。36线性回归模型的基本假设（线性回归模型的基本假设（2-12-1）假假设设2 2、随随机机误误差差项项 具具有有零零均均值值、同同方方差差和和不不序序列列相相关：关：(2.1)零均值：零均值：E(i|X1,X2,Xk)=0 i=1,2,n 用矩阵表示为：用矩阵表示为：意意为为：对对给给定定的的解解释释变变量量的的值值，随随机机干干扰扰项项ui的的均均值值（条条件件期期望望）为为0。即即凡凡是是模模型型不不含含的的因因而而归归属属于于ui的的因素，对因素，对Y的均值都没有系统的影响。的均值都没有系统的影响。37线性回归模型的基本假设（线性回归模型的基本假设（2-22-2）假假设设2 2、随随机机误误差差项项 具具有有零零均均值值、同同方方差差和和不不自自相相关关性：性：(2.2)同方差同方差 Var(i|X1,X2,Xk)=2 i=1,2,n或表示为：或表示为：Var(i)=2 i=1,2,n意为：对给定的意为：对给定的X值，随机干扰项值，随机干扰项ui的条件方差是恒定的。的条件方差是恒定的。同方差假设表明：对应于不同同方差假设表明：对应于不同X值的全部值的全部Y值具有同样的重要性值具有同样的重要性或对应于不同的或对应于不同的X值，值，Y围绕均值的分散程度是相同的。围绕均值的分散程度是相同的。38线性回归模型的基本假设（线性回归模型的基本假设（2-32-3）假假设设2 2、随随机机误误差差项项 具具有有零零均均值值、同同方方差差和和不不序序列列相相关性关性(不自相关不自相关)：(2.3)不序列相关：不序列相关：Cov(i,j)=0 ij i,j=1,2,n等价于等价于 E(uiuj)=0 意为：相关系数为意为：相关系数为0，i,j非线性相关非线性相关。39线性回归模型的基本假设（线性回归模型的基本假设（2-42-4）假假设设2 2、随随机机误误差差项项 具具有有零零均均值值、同同方方差差和和不不序序列列相相关性关性(不自相关不自相关)Var(i)=2 Cov(i,j)=0 ij i,j=1,2,n 的矩阵表示为：的矩阵表示为：40线性回归模型的基本假设（线性回归模型的基本假设（3 3）假设假设3 3、随机误差项、随机误差项 与解释变量与解释变量Xj之间不相关：之间不相关：Cov(Xji,i)=0 i=1,2,n，j=1,2,k E(Xjiui)=0 可推出可推出:E(X)=0，即 作此假设的理由：作此假设的理由：当我们把当我们把PRF表述为表述为 时，我们假定了时，我们假定了Xj和和u(后者代表所有被省略的变量的影响后者代表所有被省略的变量的影响)对对Y有各自的有各自的(并且可加的并且可加的)影响。但若影响。但若X和和u是相关的，就不可能评是相关的，就不可能评估它们各自对估它们各自对Y的影响。的影响。41线性回归模型的基本假设（线性回归模型的基本假设（4 4）假设假设4 4、服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布 iN(0,2)i=1,2,n意为：意为：u ui i服从正态分布且相互独立。对两个正态分布服从正态分布且相互独立。对两个正态分布的变量来说，零协方差或零相关意为这两个变量独立。的变量来说，零协方差或零相关意为这两个变量独立。矩阵表示为：矩阵表示为：，其中，其中，=1 1,2 2,n n 作该假设的理由：作该假设的理由：i代表回归模型中末明显引进的许多解释代表回归模型中末明显引进的许多解释变量的总影响，变量的总影响，利用统计学中著名的中心极限定理：如果存在利用统计学中著名的中心极限定理：如果存在大量独立且相同分布的随机变量，那么，除了少数例外情形，大量独立且相同分布的随机变量，那么，除了少数例外情形，随着这些变量的个数无限地增大，它们的总和将趋向正态分布。随着这些变量的个数无限地增大，它们的总和将趋向正态分布。42线性回归模型的基本假设（线性回归模型的基本假设（5 5）假假设设5、各各解解释释变变量量的的方方差差var(Xj)必必须须是是一一个个有有限限的的正数。即：正数。即：其中：其中：Q为一非奇异固定矩阵（即主对角线全为非零为一非奇异固定矩阵（即主对角线全为非零元素），矩阵元素），矩阵x是由各解释变量的离差为元素组成的是由各解释变量的离差为元素组成的n k阶矩阵阶矩阵 意为：意为：在一个给定的样本中，在一个给定的样本中，Xj的取值不可以全相同的取值不可以全相同或43线性回归模型的基本假设（线性回归模型的基本假设（6 6）假设假设6 6、回归模型是正确设定的。、回归模型是正确设定的。模型的正确设定表现为以下几个方面：模型的正确设定表现为以下几个方面：（1 1）模型应包括哪些变量）模型应包括哪些变量（2 2）模型的函数形式如何（线性？非线性？）模型的函数形式如何（线性？非线性？）（3 3）对进入模型的变量要做些什么概率上的假定）对进入模型的变量要做些什么概率上的假定 (Xi,Yi,i)44线性回归模型的基本假设线性回归模型的基本假设(7)(7)补充两个假设补充两个假设 假设假设7 7、回归模型是线性模型。（对参数而言为线性）回归模型是线性模型。（对参数而言为线性）假设假设8 8、观测次数大于待估计参数个数、观测次数大于待估计参数个数45