第2章 线性回归的基本思想：双变量模型.ppt

《第2章 线性回归的基本思想：双变量模型.ppt》由会员分享，可在线阅读，更多相关《第2章 线性回归的基本思想：双变量模型.ppt（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第2 2章章 线性回归的基本线性回归的基本思想：双变量模型思想：双变量模型1.4 1.4 经济计量学方法论经济计量学方法论1 1建立理论假说建立理论假说2 2收集数据收集数据3 3建立数学模型建立数学模型4 4建立经济计量模型建立经济计量模型5 5参数估计参数估计6 6模型设定检验模型设定检验7 7检验源自模型的假设检验源自模型的假设8 8利用模型进行预测利用模型进行预测l2.12.1 回归的含义回归的含义l2.22.2 总体总体回归函数回归函数l2.32.3 总体回归函数的随机设定总体回归函数的随机设定l2.42.4 随机误差项的性质随机误差项的性质l2.52.5 样本样本回归函数回归函数

2、l2.62.6 “线性线性”回归的特殊含义回归的特殊含义l2.82.8 参数估计参数估计:普通最小二乘法普通最小二乘法2.1 2.1 回归的含义回归的含义 回归分析回归分析是指研究一个变量是指研究一个变量(应变量应变量)对另一对另一个或多个变量个或多个变量(解释变量解释变量)的依赖关系。的依赖关系。目的在于通过后者（在重复抽样中）的已知或者设定值，去估计和（或）预测前者的（总体）均值。家庭收入与消费支出家庭收入与消费支出施肥量与小麦产量施肥量与小麦产量应变量应变量Y Y解释变量解释变量X X多个解释变量多个解释变量1 1 回归分析与确定性分析回归分析与确定性分析函数关系研究的是变量之间的确定性

3、关系函数关系研究的是变量之间的确定性关系。回归分析研究的是变量之间的回归分析研究的是变量之间的依赖依赖关系或者关系或者统统计计关系。关系。某商品的需求量与消费者的收入某商品的需求量与消费者的收入销售收入销售收入=价格价格*销售量销售量2 2 回归分析与因果关系回归分析与因果关系要确定因果关系，必须以要确定因果关系，必须以经济理论经济理论为依据。为依据。比如我们说农作物的收成依赖于降雨量、施肥量等，比如我们说农作物的收成依赖于降雨量、施肥量等，但是没有但是没有统计统计上的理由可以认为降雨量不依赖于作物上的理由可以认为降雨量不依赖于作物的收成。我们之所以把农作物的收成看作是依赖于降的收成。我们之所

4、以把农作物的收成看作是依赖于降雨量等的应变量，是出于常识的考虑，因为常识告诉雨量等的应变量，是出于常识的考虑，因为常识告诉我们不能用改变作物收成的办法来控制降雨量。我们不能用改变作物收成的办法来控制降雨量。3 3 回归分析与相关分析回归分析与相关分析相关分析相关分析变量性质变量性质均为随机变量，均为随机变量，无应变量和自变无应变量和自变量之分。量之分。分析方法分析方法相关系数相关系数分析目的分析目的揭示两变量之间的揭示两变量之间的线性关联度线性关联度回归分析回归分析随机变量（随机变量（Y Y），确定性），确定性变量（变量（X X）建立回归方程建立回归方程揭示变量之间的数量依存揭示变量之间的数量

5、依存关系，并根据自变量的数关系，并根据自变量的数值变化去推测因变量数值值变化去推测因变量数值变化。变化。数数学学S SA AT T分分数数家庭年收入（万美元）家庭年收入（万美元）2.22.2 总体回归函数总体回归函数（确定的）总体回归函数（确定的）总体回归函数：其中，其中，称为称为Y Y的条件期望的条件期望称为截距称为截距称为斜率系数称为斜率系数它测度了解释变量它测度了解释变量X X每变动一个单位，应变量每变动一个单位，应变量Y Y的的均值的变化率。均值的变化率。uu470452528500500075000家庭年收入（美元）家庭年收入（美元）数数学学S SA AT T分分数数3.33.3 总

6、体回归函数的随机设定总体回归函数的随机设定确定性成分随机性成分（随机的）总体回归函数（随机的）总体回归函数（PRFPRF）表示随机误差项，它代表除了收入以外所表示随机误差项，它代表除了收入以外所有其它的对博彩支出影响的因素。有其它的对博彩支出影响的因素。3.43.4 随机误差项的性质随机误差项的性质 1 1 随机误差项代表了模型中并未包括的其它解释随机误差项代表了模型中并未包括的其它解释变量的影响。变量的影响。由于理论上的缺陷，我们并不能确定影响应变量由于理论上的缺陷，我们并不能确定影响应变量的所有解释变量都是哪些。的所有解释变量都是哪些。而有的时候，即使知道应该包括某些变量，但不而有的时候，

7、即使知道应该包括某些变量，但不一定得到相应的数据。一定得到相应的数据。比如影响人们消费的因素除了收入之外，财富也是一比如影响人们消费的因素除了收入之外，财富也是一个重要的影因素，但受数据可获得性的限制，我们通个重要的影因素，但受数据可获得性的限制，我们通常无法知晓一个家庭的财产究竟有多少，因而这个变常无法知晓一个家庭的财产究竟有多少，因而这个变量无法纳入回归模型中去，但它确确实实地对家庭的量无法纳入回归模型中去，但它确确实实地对家庭的消费产生着影响，因而我们只能用误差项来描述这种消费产生着影响，因而我们只能用误差项来描述这种影响。影响。2 2 人类行为的内在随机性。人类行为的内在随机性。即使我

8、们把所有有关的解释变量都引入到回归模型即使我们把所有有关的解释变量都引入到回归模型中，但个别的中，但个别的Y Y中仍不免有一些中仍不免有一些“内在内在”的随机性的随机性是我们无法解释的。是我们无法解释的。3 3 随机误差项可能代表了测度误差随机误差项可能代表了测度误差4 4 考虑到节省原则，模型应该简洁。考虑到节省原则，模型应该简洁。这样必然有一些不甚重要的变量没有纳入到回归模这样必然有一些不甚重要的变量没有纳入到回归模型中来。如果我们能用两三个比较重要的解释变量，型中来。如果我们能用两三个比较重要的解释变量，如价格、偏好和收入就能较好地解释需求量的变化，如价格、偏好和收入就能较好地解释需求量

9、的变化，就没有必要再添加其它一些对需求量虽然有点影响就没有必要再添加其它一些对需求量虽然有点影响但影响并不太大的变量。但影响并不太大的变量。SRL1SRL1SRL2SRL2家庭年收入（美元）家庭年收入（美元）数数学学S SA AT T分分数数2.52.5 样本回归函数样本回归函数确定的样本回归函数确定的样本回归函数根据从总体中抽取的一个根据从总体中抽取的一个特定特定特定特定样本可以拟合一条样本可以拟合一条特定特定特定特定的样本回归直线，建立一个的样本回归直线，建立一个特定特定特定特定的样本回归函数。的样本回归函数。其中，其中，表示总体条件均值的估计量表示总体条件均值的估计量表示表示的估计量的估

10、计量 的估计量的估计量表示表示随机的样本回归函数随机的样本回归函数与随机的总体回归函数相对应，随机的样本回与随机的总体回归函数相对应，随机的样本回归函数为：归函数为：其中，其中，称为残差项。称为残差项。可以看作是可以看作是的估计量的估计量PRFPRFSRFSRFA A家庭年收入（美元）家庭年收入（美元）数数学学S SA AT T分分数数注注 意意 区区 分分确定的总体回归函数：确定的总体回归函数：随机的总体回归函数：随机的总体回归函数：确定的样本回归函数：确定的样本回归函数：随机的样本回归函数：随机的样本回归函数：注注 意意 区区 分分指从总体中实际抽取的观测值指从总体中实际抽取的观测值指根据

11、样本回归方程得到的指根据样本回归方程得到的Y Y的拟合值或估计值的拟合值或估计值指指Y Y的条件均值（相对于总体而言）的条件均值（相对于总体而言）指指Y Y的样本均值的样本均值Y Y2.62.6“线性线性”回归的特殊含义回归的特殊含义1 1 解释变量为线性解释变量为线性解释变量解释变量X X以一次方的形式出现在方程中，以一次方的形式出现在方程中，解释变量解释变量X X不与其它变量相乘或相除。不与其它变量相乘或相除。2 2 参数线性参数线性参数以一次方的形式出现在模型中。参数以一次方的形式出现在模型中。判断下列模型是否为线性回归模型判断下列模型是否为线性回归模型2.82.8 普通最小二乘法普通最

12、小二乘法 2.8.12.8.1 普通最小二乘法普通最小二乘法从定义上看，二乘即平方，指残差的平方，最从定义上看，二乘即平方，指残差的平方，最小指使得这些残差的平方和达到最小。小指使得这些残差的平方和达到最小。通过样本数据按照通过样本数据按照残差平方和残差平方和最小的原则来估计总最小的原则来估计总体回归模型中的参数的方法叫普通最小二乘法，又体回归模型中的参数的方法叫普通最小二乘法，又称最小平方法。称最小平方法。最小二乘法的思路最小二乘法的思路1 1 为了精确地描述为了精确地描述Y Y与与X X之间的关系，必须使用这两之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到个变量的每一

13、对观察值，才不至于以点概面（作到全面）。全面）。2 2 在在Y Y与与X X的散点图上画出直线的方法很多。的散点图上画出直线的方法很多。任务？找出一条能够最好地描述任务？找出一条能够最好地描述Y Y与与X X（代表所有点）（代表所有点）之间的直线。之间的直线。3 3 什么是最好？什么是最好？找出判断找出判断“最好最好”的原则。的原则。最好指的是找一条直线使得这些点到该直线的最好指的是找一条直线使得这些点到该直线的纵向纵向距离距离的的平方和平方和平方和平方和最小。最小。三种距离三种距离yx纵向距离横向距离距离A为实际点，B为拟合直线上与之对应的点问题：为什么要使残差的平方和最小，而不是问题：为什

14、么要使残差的平方和最小，而不是残差和最小呢？残差和最小呢？考虑到符号问题，如果将各残差取绝对值，然后考虑到符号问题，如果将各残差取绝对值，然后再加总，计算过程会比较麻烦。而对各残差取平再加总，计算过程会比较麻烦。而对各残差取平方，再加总，可以避免残差的符号问题，同时计方，再加总，可以避免残差的符号问题，同时计算较为简便。算较为简便。回想类似的计算原则。min最小二乘估计量的计算过程最小二乘估计量的计算过程正规方程组 是采用是采用OLSOLS方法估计得到，方法估计得到，因此称为因此称为OLSOLS估计量估计量 2.8.22.8.2 OLS OLS估计量的数值性质估计量的数值性质 所谓所谓数值性质

15、数值性质是指由于运用是指由于运用OLSOLS方法才得以成立的方法才得以成立的那些性质，而不管数据是如何产生的。那些性质，而不管数据是如何产生的。1 1样本回归直线经过样本均值点样本回归直线经过样本均值点2 2残差和为残差和为0 0，或者说残差均值为，或者说残差均值为0 0。3 3残差与解释变量不相关残差与解释变量不相关4 4残差与应变量的估计量不相关。残差与应变量的估计量不相关。关于样本回归直线性质的总结 残差和=0平均数相等拟合值与残差不相关自变量与残差不相关注意：这里的残差与注意：这里的残差与随机扰动项不是一个随机扰动项不是一个概念。随机扰动项是概念。随机扰动项是总体的残差。总体的残差。对于样本回归函数对于样本回归函数