多元线性回归模型参数估计.ppt

多元线性回归模型参数估多元线性回归模型参数估计计现在学习的是第1页，共42页 一、多元线性回归模型一、多元线性回归模型 1.多元线性回归模型的形式多元线性回归模型的形式l 由于：由于：l在实际经济问题中，一个变量往往受到多个原在实际经济问题中，一个变量往往受到多个原因变量的影响；因变量的影响；l从一般到简单的建模思路；从一般到简单的建模思路；l 在线性回归模型中解释变量有多个，这样的模型被称为在线性回归模型中解释变量有多个，这样的模型被称为多元线性回归模型多元线性回归模型。现在学习的是第2页，共42页多元线性回归模型的一般形式：多元线性回归模型的一般形式：i=1,2,n 其中其中:k 为解释变量的数目，为解释变量的数目，j 称为称为回归系数回归系数（regression coefficient）。习习惯惯上上：把把常常数数项项看看成成为为一一个个虚虚变变量量的的系系数数，该虚变量的样本观测值始终取该虚变量的样本观测值始终取1。这样：。这样：模型中解释变量的数目为模型中解释变量的数目为（k+1）。现在学习的是第3页，共42页总体回归函数总体回归函数的的非随机表达式非随机表达式:j也被称为也被称为偏回归系数偏回归系数。总体回归函数总体回归函数的的随机表达形式随机表达形式:现在学习的是第4页，共42页总体回归模型总体回归模型n个随机方程的个随机方程的矩阵表达式矩阵表达式为为 其中其中现在学习的是第5页，共42页样本回归函数样本回归函数：用来估计总体回归函数：用来估计总体回归函数其其随机表示式随机表示式:ei称为称为残差残差或或剩余项剩余项(residuals)，可看成是总体，可看成是总体回归模型中随机扰动项回归模型中随机扰动项i的近似替代。的近似替代。样本回归函数样本回归函数和和样本回归模型样本回归模型的的矩阵表达矩阵表达:或或其中：其中：现在学习的是第6页，共42页2.多元线性回归模型的基本假定多元线性回归模型的基本假定 假设假设2，随机误差项具有零均值、同方差及不序列相随机误差项具有零均值、同方差及不序列相关性。关性。假设假设3，解释变量与随机误差项不相关。，解释变量与随机误差项不相关。假设假设4，随机误差项满足正态分布，随机误差项满足正态分布 假设假设5，解释变量之间不存在严格的线性关系，即解释变量之间不存在严格的线性关系，即不存在不存在完全完全共线性。共线性。假设假设1，解释变量是非随机的。，解释变量是非随机的。现在学习的是第7页，共42页上述假设的上述假设的矩阵符号表示式矩阵符号表示式：假设假设2 2，现在学习的是第8页，共42页假设假设3，E(X)=0，即，即 假设假设4，向量，向量 有一多维正态分布，即有一多维正态分布，即 假设假设5，n(k+1)矩阵矩阵X 的秩的秩 =k+1，即，即X 满秩。满秩。现在学习的是第9页，共42页例：测度教育的回报问题例：测度教育的回报问题 wage:小时工资小时工资(元元)，educ:受教育的年数，受教育的年数，exper:以年数以年数计的工作经历。计的工作经历。其他非观测因素：天生能力、职业道德等。其他非观测因素：天生能力、职业道德等。E(|educ,exper)=0 影响影响wage的其它因素与的其它因素与educ和和exper无关。比如，如果无关。比如，如果是是天生能力，这个假定就是要求，天生能力，这个假定就是要求，员工总体中受教育和工作经员工总体中受教育和工作经历的各种组合，其平均能力都相同。历的各种组合，其平均能力都相同。Var(|educ,exper)=2，Var(wage|educ,exper)=2，如果这个方差随着两个解释变量中的任何一个变化，就出现了如果这个方差随着两个解释变量中的任何一个变化，就出现了异方差。异方差。现在学习的是第10页，共42页 “无完全共线性假定无完全共线性假定”的说明的说明 cons:消费，消费，inc:收入收入一个问题一个问题：在什么情况下由多元线性模型估计得到：在什么情况下由多元线性模型估计得到的偏回归系数与仅用该变量作为解释变量构成的一的偏回归系数与仅用该变量作为解释变量构成的一元回归模型的估计结果是相同的？元回归模型的估计结果是相同的？现在学习的是第11页，共42页重要提示：重要提示：l几乎没有哪个实际问题能够同时满足所有基本假定；几乎没有哪个实际问题能够同时满足所有基本假定；l通过模型理论方法的发展，可以克服违背基本假设带来通过模型理论方法的发展，可以克服违背基本假设带来的问题；的问题；l违背基本假设的处理构成了线性单方程计量经济学理论方违背基本假设的处理构成了线性单方程计量经济学理论方法的主要内容。法的主要内容。异方差问题异方差问题（违背同方差假设）（违背同方差假设）序列相关性序列相关性（违背序列不相关假设）（违背序列不相关假设）共线性问题共线性问题（违背解释变量之间不相关假设）（违背解释变量之间不相关假设）随机解释变量问题随机解释变量问题（违背了解释变量和随机误差项之（违背了解释变量和随机误差项之间不相关假设）间不相关假设）l零均值、正态性假定是由模型的数理统计理论决定。零均值、正态性假定是由模型的数理统计理论决定。现在学习的是第12页，共42页二、多元线性回归模型的估计二、多元线性回归模型的估计l普通最小二乘法普通最小二乘法 l最大似然法最大似然法 l矩估计方法矩估计方法现在学习的是第13页，共42页1、普通最小二乘估计、普通最小二乘估计对于随机抽取的对于随机抽取的n组观测值：组观测值：如果如果样本函数样本函数的参数估计值已经得到，则有：的参数估计值已经得到，则有：根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 其中其中现在学习的是第14页，共42页于是得到关于于是得到关于待估参数估计值待估参数估计值的的正规方程组正规方程组：现在学习的是第15页，共42页正规方程组正规方程组的的矩阵形式矩阵形式:即即由于由于XX满秩，故有满秩，故有 现在学习的是第16页，共42页将上述过程用将上述过程用矩阵表示矩阵表示如下：如下：即求解方程组：即求解方程组：得到：得到：于是：于是：现在学习的是第17页，共42页样本回归函数样本回归函数的的离差形式离差形式:其其矩阵形式矩阵形式为为 其中其中 ：在离差形式下，参数的最小二乘估计结果为在离差形式下，参数的最小二乘估计结果为 现在学习的是第19页，共42页 2、最大似然估计、最大似然估计 Y 的随机抽取的的随机抽取的n 组样本观测值的联合概率组样本观测值的联合概率即为变量即为变量Y 的的似然函数似然函数。现在学习的是第20页，共42页对数似然函数为：对数似然函数为：对对数似然函数求极大值，也就是对：对对数似然函数求极大值，也就是对：求极小值。求极小值。因此，参数的因此，参数的最大似然估计最大似然估计为：为：结果与结果与参数参数的普通最小二乘估计相同。的普通最小二乘估计相同。现在学习的是第21页，共42页3、矩估计（、矩估计（Moment Method,MM）l 用每个解释变量分别乘以模型的两边，并用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：对所有样本点求和，即得到：现在学习的是第22页，共42页l 对每个方程的两边求期望，有：对每个方程的两边求期望，有：利用利用和和现在学习的是第23页，共42页l 得到一组矩条件：得到一组矩条件：求解这组矩条件就得到参数估计量求解这组矩条件就得到参数估计量 与与OLS、ML估计量等价估计量等价现在学习的是第24页，共42页矩方法矩方法是是工具变量方法工具变量方法(Instrumental Variables,IV)和和广义矩估计方法广义矩估计方法(Generalized Moment Method,GMM)的基础。的基础。在在矩方法矩方法中关键是利用了：中关键是利用了：如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1个工具个工具变量，仍然可以构成一组矩条件，就是变量，仍然可以构成一组矩条件，就是IV。如果存在如果存在k+1个变量与随机项不相关，可以构成一组个变量与随机项不相关，可以构成一组包含包含k+1方程的矩条件，就是方程的矩条件，就是GMM。现在学习的是第25页，共42页因此，由该样本估计的回归方程（样本回归函数）为：因此，由该样本估计的回归方程（样本回归函数）为：例例2.3：在在例例2.1的的家庭收入家庭收入-消费支出消费支出例中，对于所抽例中，对于所抽出的一组样本数出的一组样本数:表表2.1.3 家庭消费支出与可支配收入的一个随机样本家庭消费支出与可支配收入的一个随机样本可支配收入可支配收入(X)800110014001700200023002600290032003500家庭消费支出家庭消费支出(Y)59463811221155140815951969207825852530现在学习的是第26页，共42页例例2.3：在例：在例2.1的家庭收入的家庭收入-消费支出例中，消费支出例中，可求得 于是 现在学习的是第27页，共42页 三三.OLS参数估计量的性质参数估计量的性质 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普通最小二乘估计普通最小二乘估计仍具有：仍具有：线性性线性性、无偏性无偏性、有效性有效性。(1)线性性线性性 其中其中,C=(XX)-1 X 为一仅与固定的为一仅与固定的X 有关的行向量有关的行向量 现在学习的是第29页，共42页 (3)有效性（最小方差性）有效性（最小方差性）(2)无偏性无偏性 这里利用了假设这里利用了假设:E(X)=0现在学习的是第30页，共42页其中利用了其中利用了 和和结论：结论：在经典假定条件下，多元线性回归的在经典假定条件下，多元线性回归的OLS估计式是最佳线性无偏估计式。估计式是最佳线性无偏估计式。现在学习的是第31页，共42页四、参数估计量的方差四、参数估计量的方差-协方差矩阵和随机误协方差矩阵和随机误差项方差差项方差2的估计的估计1.1.参数估计量的方差参数估计量的方差-协方差矩阵协方差矩阵l将参数估计量看成是随机变量，具有数字特征。将参数估计量看成是随机变量，具有数字特征。l参数估计量的方差以及不同参数估计量之间的协方差在模参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。型理论中具有重要性。具体描述如下：具体描述如下：现在学习的是第32页，共42页的方差的方差协方差矩阵：协方差矩阵：现在学习的是第33页，共42页矩阵符号表达式：矩阵符号表达式：现在学习的是第34页，共42页现在学习的是第35页，共42页l可以证明随机误差项方差可以证明随机误差项方差2的的无偏估计量无偏估计量是：是：2.随机误差项方差随机误差项方差2的估计量的估计量l于是，参数估计量的方差、标准差、协方差可以分别用于是，参数估计量的方差、标准差、协方差可以分别用其样本方差、标准差、协方差估计：其样本方差、标准差、协方差估计：现在学习的是第36页，共42页五、样本容量问题五、样本容量问题 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理出发，即从最小二乘原理出发，要得到参数估计量，不管其质量如何，所要求的样本要得到参数估计量，不管其质量如何，所要求的样本容量的下限。容量的下限。最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量的数目（包样本最小容量必须不少于模型中解释变量的数目（包括常数项）括常数项）,即即 n k+1 因为，因为，无完全共线性要求：秩无完全共线性要求：秩(X)=k+1现在学习的是第37页，共42页 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的有效性角度：从统计检验的有效性角度：n 30 时，时，Z 检验才能应用，检验才能应用，t 分布较为稳定分布较为稳定；从参数估计角度，一般经验认为从参数估计角度，一般经验认为:当当n 30 或者至少或者至少 n 3(k+1)时，才能说满足模时，才能说满足模型估计的基本要求。型估计的基本要求。模型的良好性质只有在大样本下才能得到理论上模型的良好性质只有在大样本下才能得到理论上的证明。的证明。现在学习的是第38页，共42页 六、多元线性回归模型的参数估计实例六、多元线性回归模型的参数估计实例 中国消费函数模型中国消费函数模型根据消费模型的一般形式，选择人均消费支出为被解释变根据消费模型的一般形式，选择人均消费支出为被解释变量，人均国内生产总值和前一年的人均消费支出为解释变量，人均国内生产总值和前一年的人均消费支出为解释变量，变量之间关系为简单线性关系，选取量，变量之间关系为简单线性关系，选取19792000年统年统计数据为样本观测值。计数据为样本观测值。被解释变量：被解释变量：CONSP解释变量：人均解释变量：人均GDP：GDPP 前期消费：前期消费：CONSP(-1)估计区间：估计区间：19792000年年现在学习的是第39页，共42页 中国居民人均消费支出与人均中国居民人均消费支出与人均GDP 单位：元单位：元/人人yearCONSPGDPPyearCONSPGDPP1978395.8675.11990797.11602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.9792.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.51269.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9现在学习的是第40页，共42页DependentVariable:CONSPMethod:LeastSquaresSample(adjusted):19792000Includedobservations:22afteradjustmentsVariableCoefficientStd.Errort-StatisticProb.GDPP0.2213590.0609733.6304620.0018CONSP(-1)0.4514080.1703182.6503800.0158C120.725336.513743.3062990.0037R-squared0.995403 Meandependentvar928.4909AdjustedR-squared0.994919 S.D.dependentvar372.6339S.E.ofregression26.56264 Akaikeinfocriterion9.523012Sumsquaredresid13405.90 Schwarzcriterion9.671791Loglikelihood-101.7531 Hannan-Quinncriter.9.558060F-statistic2056.887 Durbin-Watsonstat1.278902Prob(F-statistic)0.000000Eviews软件估计结果软件估计结果 随机误差项方差的估计量为：随机误差项方差的估计量为：现在学习的是第41页，共42页复习：多元线性模型参数估计要点复习：多元线性模型参数估计要点l矩阵表示矩阵表示(模型、假设、估计过程与结果，理解模型、假设、估计过程与结果，理解统计性质的证明统计性质的证明)l最小二乘法、最大似然法、矩估计方法原理最小二乘法、最大似然法、矩估计方法原理l从最小二乘原理出发推导从最小二乘原理出发推导正规方程组正规方程组以及利用以及利用矩方法矩方法推导正规方程组推导正规方程组l偏回归系数的含义偏回归系数的含义l高斯高斯马尔科夫定理马尔科夫定理l样本容量问题样本容量问题l应用软件中的多元回归参数估计过程应用软件中的多元回归参数估计过程现在学习的是第42页，共42页