第4章 双变量回归模型估计问题PPT讲稿.ppt

《第4章 双变量回归模型估计问题PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第4章 双变量回归模型估计问题PPT讲稿.ppt（91页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第4章章 双双变量回量回归模型估模型估计问题第1页，共91页，编辑于2022年，星期二 普通最小二乘法普通最小二乘法 最小二乘法的基本假定最小二乘法的基本假定 最小二乘参数估计的精度或标准误差最小二乘参数估计的精度或标准误差 最小二乘估计量的性质：高斯最小二乘估计量的性质：高斯-马尔可夫定马尔可夫定理理 判定系数判定系数r2：拟合优度的一个度量：拟合优度的一个度量 关于蒙特卡罗实验的一个注记关于蒙特卡罗实验的一个注记第2页，共91页，编辑于2022年，星期二一、普通最小二乘法一、普通最小二乘法 前一章我们提到根据样本回归函数尽可能准确地估计总前一章我们提到根据样本回归函数尽可能准确地估计总体

2、回归函数，通常有两种估计方法：体回归函数，通常有两种估计方法：普通最小二乘法普通最小二乘法(Ordinary Least Squares,OLS)和和最大似然法最大似然法(Maximum Likelihood,ML)。普通最小二乘法归功于德国数学家高斯，在回归分析中得到了普通最小二乘法归功于德国数学家高斯，在回归分析中得到了广泛运用。它比最大似然法简单的多。广泛运用。它比最大似然法简单的多。第3页，共91页，编辑于2022年，星期二回顾双变量总体回归函数回顾双变量总体回归函数PRF：该该PRF不可直接观测，同过不可直接观测，同过SRF去估计它：去估计它：（是是 的估计量，的估计量，条件均值）条

3、件均值）为了考察为了考察SRF，把上式化为如下：，把上式化为如下：对于给定的对于给定的Y和和X的的n对观测值，我们希望对观测值，我们希望SRF尽可能靠近实际的尽可能靠近实际的Y。规则之一：选择这样的规则之一：选择这样的SRF，使得残差和，使得残差和 尽可能小。尽可能小。（good or bad?）第4页，共91页，编辑于2022年，星期二图图 最小二乘准则最小二乘准则第5页，共91页，编辑于2022年，星期二最小二乘准则最小二乘准则是要确定是要确定SRF使得下式尽可能的小：使得下式尽可能的小：可以看出，可以看出，给出不同的给出不同的 和和 将会得到不同的将会得到不同的 。第6页，共91页，编辑

4、于2022年，星期二总和：总和：现在做两个实验。在实验现在做两个实验。在实验1中，假设中，假设 ，。在实验在实验2中，假设中，假设 ，。表表3.1 SRF的实验决定法的实验决定法第7页，共91页，编辑于2022年，星期二选择哪一组的选择哪一组的 值？值？第第1个实验的个实验的 值比第值比第2个实验的个实验的 值给出一个更低的值给出一个更低的 。所以说第所以说第1个实验的个实验的 更优。更优。如何知道最优？如何知道最优？E.g.做许多次实验，每次选择不同的做许多次实验，每次选择不同的 值，然后比较所得的值，然后比较所得的 ，并从中选择给出最可能小的并从中选择给出最可能小的 值的那组值的那组 值。

5、花费大量时间。值。花费大量时间。最小二乘法给出了简便的运算。最小二乘法给出了简便的运算。第8页，共91页，编辑于2022年，星期二普通最小二乘法（普通最小二乘法（ordinary least squares，OLS）的）的基本思想基本思想 使样本回归函数尽可能好地拟合样本数据使样本回归函数尽可能好地拟合样本数据 最小二乘法以最小二乘法以表示被解释变量的估计值与实际观察值的偏差总体上最小。表示被解释变量的估计值与实际观察值的偏差总体上最小。双变量情形下即是求得双变量情形下即是求得（4-1）第9页，共91页，编辑于2022年，星期二根据微积分中求极限的原理，要使式根据微积分中求极限的原理，要使式（

6、4-1）达到最小，）达到最小，式式（4-1）对对、的一阶偏导数应等于的一阶偏导数应等于0 0，即，即（4-2）整理得整理得（4-3）解得解得（4-4）这就是参数这就是参数 、的的普通最小二乘估普通最小二乘估计量计量（ordinary least squares estimators）方程组（方程组（4-3）称为）称为正规方程组正规方程组（normal equations）。）。第10页，共91页，编辑于2022年，星期二记记（之后都遵循一个惯例，小写字母表示对均值的离差）（之后都遵循一个惯例，小写字母表示对均值的离差）式（式（4-4）可改写为）可改写为（4-5）称为参数称为参数 、的的普通最小

7、二乘估普通最小二乘估计量的离差形式计量的离差形式（deviation form）第11页，共91页，编辑于2022年，星期二样本回归线通过样本回归线通过Y和和X的样本均值的样本均值第12页，共91页，编辑于2022年，星期二一旦从样本数据得到一旦从样本数据得到OLS估计值，便容易画出样本回归线，这样得到的估计值，便容易画出样本回归线，这样得到的回归线有如下回归线有如下性质：性质：1.它通过它通过Y和和X的样本均值。这是从（的样本均值。这是从（4-5）显见的事实，该式可写成）显见的事实，该式可写成2.估计的估计的 均值等于实测的均值等于实测的Y均值。因为：均值。因为：将最后一个等式两边对样本值求

8、和并除以样本大小将最后一个等式两边对样本值求和并除以样本大小n，即得：，即得：这里利用了等式这里利用了等式 。（Why?）第13页，共91页，编辑于2022年，星期二3.残差残差 的均值等于的均值等于0。由（。由（4-2），第一个方程是：），第一个方程是：因为因为 故上述方程化为故上述方程化为 ，从而，从而 。4残差残差 和解释变量和解释变量 不相关，即不相关，即 5残差残差 和预测的和预测的 值不相关，即值不相关，即（离差形式）（离差形式）第14页，共91页，编辑于2022年，星期二按照离差形式，按照离差形式，SRF可写成：可写成：利用离差形式可以推出：利用离差形式可以推出：第15页，共91

9、页，编辑于2022年，星期二 例例1 对于消费函数，若已知：对于消费函数，若已知：n=10,=23,=20 则有则有因而因而第16页，共91页，编辑于2022年，星期二例例2 设设Y和和X的的5期观测值如下表所示，试估计方程期观测值如下表所示，试估计方程 Yt=+Xt+ut 序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：解：我们采用列表法计算。计算过程如下：第17页，共91页，编辑于2022年，星期二序号YtXtyt=Yt-xt=Xt-xt ytxt211410-8-2016040021820-4-104

10、0100323301000425403103010053050820160400n=5110150003901000表表41第18页，共91页，编辑于2022年，星期二二、最小二乘法的基本假定如果我们的目的仅仅是估计如果我们的目的仅仅是估计 和和 ，则，则OLS法足够用。但回归分析的法足够用。但回归分析的目的不仅仅是获得目的不仅仅是获得 和和 ，还要对真实的，还要对真实的 和和 做出推断，即判做出推断，即判断它们离总体值有多接近，或者说断它们离总体值有多接近，或者说 与其期望值与其期望值 有多接近。有多接近。PRF表明表明Yi 依赖于依赖于Xi 和和ui。因此，我们需明确。因此，我们需明确Xi

11、 和和ui 是怎样产是怎样产生的，为了回归估计的有效解释，对生的，为了回归估计的有效解释，对Xi 变量（一个或多个）和误差项变量（一个或多个）和误差项ui 做出假定是极其重要的。做出假定是极其重要的。第19页，共91页，编辑于2022年，星期二假定假定1：线性回归模型。回归模型对参数而言是线性的，如：线性回归模型。回归模型对参数而言是线性的，如假定假定2：在重复抽样中：在重复抽样中X值是固定的。再重复的样本中，回归元所取的数值被认为值是固定的。再重复的样本中，回归元所取的数值被认为是固定的。说的更专业些，假定是固定的。说的更专业些，假定X是非随机的。是非随机的。如第如第3章中的例子，考虑表章中

12、的例子，考虑表2.1中各收入水平对应的各个中各收入水平对应的各个Y总体，把收入总体，把收入值值X固定在固定在80美元的水平上，随机抽取一个家庭，并观测到它的周家庭美元的水平上，随机抽取一个家庭，并观测到它的周家庭消费支出消费支出Y为为60美元。仍然把美元。仍然把X固定在固定在80美元，而随机的另抽取一个家美元，而随机的另抽取一个家庭并观测到它的庭并观测到它的Y值为值为75美元。在每次抽取即重复抽样的过程中，美元。在每次抽取即重复抽样的过程中，X值都固定值都固定在在80美元。可以对表中的全部美元。可以对表中的全部X值重复这一过程。值重复这一过程。第20页，共91页，编辑于2022年，星期二假定假

13、定3：干扰项：干扰项ui 的均值为零。对给定的的均值为零。对给定的X值，随机干扰项值，随机干扰项ui 的均值或期望的均值或期望值为零，专业地讲，值为零，专业地讲，ui 的条件均值为零，符号上记为：的条件均值为零，符号上记为：假定假定3的几何意义可由图的几何意义可由图3.3描绘出来。图中显示了变量描绘出来。图中显示了变量X的几个值以及与的几个值以及与每一每一X值相对应的一个值相对应的一个Y总体。总体。如图所示，对应于给定的如图所示，对应于给定的X，每一个，每一个Y总体都是围绕其均值分布的；一些总体都是围绕其均值分布的；一些Y值位于均值之上，一些值位于均值之上，一些Y值位于均值之下。离开均值的上方

14、和下方的距离就值位于均值之下。离开均值的上方和下方的距离就是是ui。这一假定意味着凡是模型不含的因而归属于这一假定意味着凡是模型不含的因而归属于u 的因素，对的因素，对Y的均值都没有系的均值都没有系统的影响，正的统的影响，正的ui 值抵消了负的值抵消了负的ui 值，以致它们的平均影响为零。值，以致它们的平均影响为零。第21页，共91页，编辑于2022年，星期二图图3.3 干扰项干扰项ui 的条件分布的条件分布第22页，共91页，编辑于2022年，星期二假定假定4：同方差性或：同方差性或ui 的方差相等。给定的方差相等。给定X值，对所有的观测，值，对所有的观测，ui 的方差都的方差都是相同的。就

15、是说是相同的。就是说ui 的条件方差是恒定的，用符号表示：的条件方差是恒定的，用符号表示：对于每个对于每个u 的条件方差都是某个等于的条件方差都是某个等于 的正常数。用专业术语的正常数。用专业术语说，上式代表说，上式代表同方差性同方差性(homoscedasticity)或者说相同的散步或者说相同的散步或相等的方差。这意味着，对应于不同或相等的方差。这意味着，对应于不同X值的值的Y总体均有同样的方总体均有同样的方差。如下图：差。如下图：第23页，共91页，编辑于2022年，星期二图图3.4 同方差性同方差性第24页，共91页，编辑于2022年，星期二图图3.4 异方差性异方差性第25页，共91

16、页，编辑于2022年，星期二图图3.5表示表示Y总体的方差随总体的方差随X而变。这种情形的相应名称是异方差性而变。这种情形的相应名称是异方差性（heteroscedasticity）或者说非相同的散布）或者说非相同的散布(unequal spread)或非或非相等的方差相等的方差(variance)。用符号表示：。用符号表示：注意下标注意下标i,它表示它表示Y总体的方差不再是恒定不变的了。总体的方差不再是恒定不变的了。区分同方差性和异方差性：区分同方差性和异方差性：令令Y代表每周消费支出，代表每周消费支出，X代表每周收入。图代表每周收入。图3.4和和3.5都表示随着收入都表示随着收入增加，平均

17、消费支出也增加。但在图增加，平均消费支出也增加。但在图3.4中，消费支出的方差在所有的收中，消费支出的方差在所有的收入水平上都保持不变，而在图入水平上都保持不变，而在图3.5中，这个方差随着收入的增加而增加，中，这个方差随着收入的增加而增加，换句话说，富有的家庭比贫穷的家庭平均消费更多，但前者的消费支出换句话说，富有的家庭比贫穷的家庭平均消费更多，但前者的消费支出也有更大的变异。也有更大的变异。假定假定4意味着意味着Y 的条件方差也是同方差的，就是说：的条件方差也是同方差的，就是说：第26页，共91页，编辑于2022年，星期二假定假定5：各个干扰项之间无自相关性。给定任意两个：各个干扰项之间无

18、自相关性。给定任意两个X值：值：Xi 和和Xj（i j）,ui 和和uj 之间的相关性为零，之间的相关性为零，i和和j为两次不同的观测，用符号表示：为两次不同的观测，用符号表示：假定假定5即是设定即是设定ui 和和uj 不相关。用专门术语来说，这是不相关。用专门术语来说，这是无序列相关无序列相关(no serial correlation)或或无自相关无自相关(no auto correlation)。即是不会表。即是不会表现出如下图现出如下图(a)和图和图(b)的模式。图的模式。图(a)中中u值是值是正相关的正相关的，即正（负）的，即正（负）的u伴随伴随着正（负）的着正（负）的u。图（。图（

19、b）中）中u值是值是负相关的负相关的，即正（负）的，即正（负）的u伴随着负（正）伴随着负（正）的的u。第27页，共91页，编辑于2022年，星期二第28页，共91页，编辑于2022年，星期二在第在第12章例，我们将透彻的解释这一假定的全部涵义。章例，我们将透彻的解释这一假定的全部涵义。直观上，我们可以对此假定做如下解释：直观上，我们可以对此假定做如下解释：设想我们的设想我们的 中，中，ut 和和ut-1 正相关，那么正相关，那么Yt 不仅不仅依赖于依赖于Xt，而且依赖于，而且依赖于ut-1，因为，因为ut-1 在一定程度上决定了在一定程度上决定了ut。所以现阶段我们讨论假定所以现阶段我们讨论假

20、定5，就是说我们只考虑，就是说我们只考虑Xt 对对Yt 的系统性影的系统性影响和是否有影响，而不去担心由于响和是否有影响，而不去担心由于u之间的可能的交互相关而造成的其之间的可能的交互相关而造成的其他可能作用于他可能作用于Y的影响。的影响。第29页，共91页，编辑于2022年，星期二假定假定6：ui 和和Xi 的协方差为零，或的协方差为零，或 。形式上：。形式上：假定假定6是说，干扰是说，干扰u和解释变量和解释变量X是不相关的。当我们把是不相关的。当我们把PRF表述为表述为 时，我们假定了时，我们假定了X和和u对对Y有各自的并且可加的影响。但若有各自的并且可加的影响。但若X和和u是相关的，就不

21、是相关的，就不可能评估它们各自对可能评估它们各自对Y的影响。的影响。例如，若例如，若X和和u正相关，则当正相关，则当u增加时增加时X也增加，而当也增加，而当u减小时减小时X也减小。也减小。要分开要分开X和和u对对Y的影响都是困难的。的影响都是困难的。第30页，共91页，编辑于2022年，星期二如果如果X是非随机的，并且有假定是非随机的，并且有假定3干扰项干扰项ui 的均值为零，假定的均值为零，假定6就自动得到满就自动得到满足。足。我们已经假定我们已经假定X变量不仅是非随机的，而且在重复样本中取固定值，故假定变量不仅是非随机的，而且在重复样本中取固定值，故假定6对我们来说并不是关键性的假定。这里

22、只是为了表明，即使这些对我们来说并不是关键性的假定。这里只是为了表明，即使这些X是随机的，只要是随机的，只要它们独立于干扰项它们独立于干扰项ui 或至少与或至少与ui 无关，下面讲的回归理论就是真实的。无关，下面讲的回归理论就是真实的。第31页，共91页，编辑于2022年，星期二假定假定7：观测次数：观测次数n必须大于待估计的参数个数。另一种说法是，观测次数必须大于待估计的参数个数。另一种说法是，观测次数n必须必须大于解释变量的个数。大于解释变量的个数。不妨设想我们只有一对不妨设想我们只有一对Y和和X的观测值，则无法估计两个未知数。的观测值，则无法估计两个未知数。假定假定8：X值要有变异性。在

23、一个给定的样本中，值要有变异性。在一个给定的样本中，X值不可以全是相同的，值不可以全是相同的，即即var(X)必须是一个有限的正数。必须是一个有限的正数。试想，如果全部试想，如果全部X值都相同，则值都相同，则 。则。则无法估计无法估计。直观上，如果家庭收入很少变动，我们就不怎么能解释消费支出的变化。直观上，如果家庭收入很少变动，我们就不怎么能解释消费支出的变化。变量必须在变！变量必须在变！第32页，共91页，编辑于2022年，星期二假定假定9：正确地设定了回归模型。另一种说法是，在经验分析中所用的：正确地设定了回归模型。另一种说法是，在经验分析中所用的模型没有设定偏误（模型没有设定偏误（spe

24、cification bias or error）。）。在模型的设定中出现的一些重要问题包括：在模型的设定中出现的一些重要问题包括：（1）模型应包括哪些变量？）模型应包括哪些变量？（2）模型的函数形式为何？它是不是对参数，对变量或对两者为线性？）模型的函数形式为何？它是不是对参数，对变量或对两者为线性？（3）进入模型的）进入模型的Yi，Xi 和和ui 要做些什么概率上的假定？要做些什么概率上的假定？例如，菲利普斯曲线例如，菲利普斯曲线假设选择两个模型去描述货币工资变化率和失业率的理论关系：假设选择两个模型去描述货币工资变化率和失业率的理论关系：第33页，共91页，编辑于2022年，星期二回归模

25、型回归模型1对参数和变量都是线性的，回归模型对参数和变量都是线性的，回归模型2则对参数为线性，对变量则对参数为线性，对变量X为非为非线性。假如回归模型线性。假如回归模型1是是“正确正确”模型，则模型模型，则模型2在在A、B两点间高估了真两点间高估了真实的实的Y均值。均值。第34页，共91页，编辑于2022年，星期二除了在选择模型时需要做出判断，假定除了在选择模型时需要做出判断，假定9还为了提醒我们，回归还为了提醒我们，回归分析以及由分析得到的结果，是以所选的模型为条件的，从而警分析以及由分析得到的结果，是以所选的模型为条件的，从而警醒我们，在建立计量经济模型时必须十分审慎，特别是对某些经醒我们

26、，在建立计量经济模型时必须十分审慎，特别是对某些经济现象常存在多种有争议的理论。济现象常存在多种有争议的理论。计量经济的模型构造，与其说是一门科学，不如说是一门艺术。计量经济的模型构造，与其说是一门科学，不如说是一门艺术。第35页，共91页，编辑于2022年，星期二假定假定10：没有完全的多重共线性。就是说，解释变量之间没有完全的线性关系。：没有完全的多重共线性。就是说，解释变量之间没有完全的线性关系。当模型中含有多个回归元的时候，我们增补这样一个假定。当模型中含有多个回归元的时候，我们增补这样一个假定。第36页，共91页，编辑于2022年，星期二三、最小二乘估计的精度或标准误差三、最小二乘估

27、计的精度或标准误差由方程由方程（4-5）可见，最小二乘估计是样本数据的函数。但因数据会从一个样本可见，最小二乘估计是样本数据的函数。但因数据会从一个样本变到另一个样本，估计值也会随之改变。因此需要有关估计量的变到另一个样本，估计值也会随之改变。因此需要有关估计量的“可靠性可靠性”或或精精密度密度的某种度量。的某种度量。在高斯的假定下，在高斯的假定下，OLS估计量的标准误差可求得如下：估计量的标准误差可求得如下：第37页，共91页，编辑于2022年，星期二其中其中根据高斯的假定有根据高斯的假定有 ，所以所以第38页，共91页，编辑于2022年，星期二除除 以外，以外，OLS估计量的标准误差均可从

28、数据中估计出来，估计量的标准误差均可从数据中估计出来，由由下列公式来估算：下列公式来估算：其中其中 是真正的但未知的是真正的但未知的 的的OLS估计量，估计量，n-2被称为被称为自由度自由度(number of degrees of freedom,df)的个数，的个数，则表示则表示残差平方的总和残差平方的总和或或剩（残）余平方和剩（残）余平方和(residual sum of squares,RSS)。第39页，共91页，编辑于2022年，星期二第40页，共91页，编辑于2022年，星期二第41页，共91页，编辑于2022年，星期二第42页，共91页，编辑于2022年，星期二第43页，共91

29、页，编辑于2022年，星期二一旦获知一旦获知 ，就容易算出。可利用下式：就容易算出。可利用下式：或者从下式：或者从下式：因为因为第44页，共91页，编辑于2022年，星期二由于由于故计算故计算 的另以表达式是：的另以表达式是：另外，另外，的正的平方根称为的正的平方根称为估计的标准误（估计的标准误（standard error of estimate）,通常用于衡量所估计的回归线的通常用于衡量所估计的回归线的“拟合优度拟合优度”（goodness of fit）.第45页，共91页，编辑于2022年，星期二 注意：注意：和和 的方差有如下特点。的方差有如下特点。1.的方差与的方差与 成正比，而与

30、成正比，而与 成反比。给定成反比。给定 ，X值值的变化越大，的变化越大，的方差越小，从而的方差越小，从而 得以更大的精密度加以估得以更大的精密度加以估计。而且对给定的计。而且对给定的 ，方差，方差 越大，越大，的方差也越大。的方差也越大。注意，随着样本容量注意，随着样本容量n的增大，总和的增大，总和 中的项数将增加，中的项数将增加，的估计的精密度也将增加。的估计的精密度也将增加。2.的方差与的方差与 和和 成正比，而与成正比，而与 和样本大小成和样本大小成反比。反比。第46页，共91页，编辑于2022年，星期二四、最小二乘估计量的性质：四、最小二乘估计量的性质：高斯高斯-马尔可夫定理马尔可夫定

31、理高斯高斯-马尔可夫定理：在给定经典线性回归模型的假定下，最小二乘估计量，在无马尔可夫定理：在给定经典线性回归模型的假定下，最小二乘估计量，在无偏线性估计量一类中，有最小方差，则说它们是最优线性无偏估计量（偏线性估计量一类中，有最小方差，则说它们是最优线性无偏估计量（best linear unbiasedness estimator,BLUE）一个估计量，比方说一个估计量，比方说 ，是，是 的最优线性无偏估计量，满足下列条件：的最优线性无偏估计量，满足下列条件：1.它是它是线性的线性的，即它是一个随机变量，如回归模型中的因变量，即它是一个随机变量，如回归模型中的因变量Y的线性函数。的线性函数

32、。2.它是它是无偏的无偏的，即，即 。3.它在所有这样的线性无偏估计量中有最小方差；有最小方差的无偏估计量叫做它在所有这样的线性无偏估计量中有最小方差；有最小方差的无偏估计量叫做有有效估计量（效估计量（efficient estimator）。第47页，共91页，编辑于2022年，星期二证明证明OLSOLS估计量是估计量是BLUEBLUE。1.线性性。线性性。这说明这说明 是是Yi 的一个线性函数；它是以的一个线性函数；它是以ki 为权数的为权数的Yi 的一个加权平均，的一个加权平均，从而它是一个线性估计量。同理从而它是一个线性估计量。同理 也是一个线性估计量。也是一个线性估计量。第48页，共

33、91页，编辑于2022年，星期二2.无偏性。无偏性。将将 带入上式得：带入上式得：两边求期望并注意到两边求期望并注意到ki 是非随机的，即可视同为常数，于是：是非随机的，即可视同为常数，于是：因此因此 是是 的一个无偏估计量。同理可证的一个无偏估计量。同理可证 是是 的一个无偏估计的一个无偏估计量。量。第49页，共91页，编辑于2022年，星期二3.最小方差性。最小方差性。定义定义 的另一线性估计量如下：的另一线性估计量如下：其中权其中权wi 不一定等于不一定等于ki,于是：于是：第50页，共91页，编辑于2022年，星期二为要为要 无偏，必须：无偏，必须：且且第51页，共91页，编辑于202

34、2年，星期二上式中的最后一项是常数，只能通过第一项的处理使之最小化。上式中的最后一项是常数，只能通过第一项的处理使之最小化。令：令：则则这就是说，当这就是说，当wi=最小二乘最小二乘ki 时，线性估计量时，线性估计量 的方差等于最小的方差等于最小二乘估计量二乘估计量 的方差，不然的话的方差，不然的话 。也就是。也就是说如果存在说如果存在 的一个最小方差线性无偏估计量，那么它必定是最的一个最小方差线性无偏估计量，那么它必定是最小二乘估计量。小二乘估计量。第52页，共91页，编辑于2022年，星期二第53页，共91页，编辑于2022年，星期二五、判定系数五、判定系数r2：拟合优度的一个度量：拟合优

35、度的一个度量 拟合优度（拟合优度（goodness of fit），是要判断样本回归线对数据拟合得有多么好。），是要判断样本回归线对数据拟合得有多么好。判定系数判定系数r2（双变量情形）或（双变量情形）或R2（多变量情形）就是告诉人们这条样本（多变量情形）就是告诉人们这条样本回归线对数据的拟合有多么好的一个总度量。回归线对数据的拟合有多么好的一个总度量。维恩图维恩图（Venn diagram）第54页，共91页，编辑于2022年，星期二 在维恩图中，圆圈在维恩图中，圆圈Y代表因变量代表因变量Y的变异，圆圈的变异，圆圈X代表解释变量代表解释变量X的变异。（变异指一个变量对其均值的离差平方和）的变

36、异。（变异指一个变量对其均值的离差平方和）两圆圈重叠部分代表两圆圈重叠部分代表Y的变异可由的变异可由X的变异来解释的程度。重的变异来解释的程度。重叠的程度越大，叠的程度越大，Y的变异被的变异被X解释得越多。解释得越多。r2 是这一重叠的一个数是这一重叠的一个数值度量。值度量。在无重叠时，在无重叠时，r2 为为0；若全部重叠，；若全部重叠，r2 为为1，此时，此时Y的变异百的变异百分之百的被分之百的被X解释了。解释了。下面简单的展示，下面简单的展示，r2 落在落在0和和1之间。之间。第55页，共91页，编辑于2022年，星期二回顾回顾写成离差形式写成离差形式两边平方并对样本求和，得：两边平方并对

37、样本求和，得：因为因为第56页，共91页，编辑于2022年，星期二总平方和（总平方和（Total Sum of Squares,TSS）,实测的实测的Y值围绕其均值的总变异。值围绕其均值的总变异。解释平方和（解释平方和（Explained Sum of Squares,ESS），估计的），估计的Y值围绕其均值的值围绕其均值的变异，或者说由回归解释的平方和。变异，或者说由回归解释的平方和。残差平方和（残差平方和（Residual Sum of Squares,RSS），残差围绕回归线的），残差围绕回归线的Y值的变异。值的变异。第57页，共91页，编辑于2022年，星期二来自残差来自残差来自回归来

38、自回归图3.10 Yi 的变异分解成两个部分总离差总离差第58页，共91页，编辑于2022年，星期二现用现用TSS除等式两边得：除等式两边得：定义定义或者写成或者写成第59页，共91页，编辑于2022年，星期二 如上定义的如上定义的r2 称之为称之为判定系数判定系数，r2 测度了在测度了在Y的总变异中由回的总变异中由回归模型解释的那个部分所占的比例或百分比归模型解释的那个部分所占的比例或百分比。r r2 2 有两个性质：有两个性质：v它是一个非负量。它是一个非负量。v它的界限是它的界限是 。等于等于1的的r2 意味着完美的拟合，对每个意味着完美的拟合，对每个i都有都有 ；等于等于0的的r2 意

39、味着回归值与回归元之间无任何关系，即意味着回归值与回归元之间无任何关系，即 这时这时 ，回归线平行于，回归线平行于X轴。轴。第60页，共91页，编辑于2022年，星期二可利用下式简便求得：可利用下式简便求得：和和 分别是分别是Y和和X的样本方差。的样本方差。由于由于第61页，共91页，编辑于2022年，星期二结合上面讨论过的结合上面讨论过的ESS和和RSS：第62页，共91页，编辑于2022年，星期二样本相关系数它测出两个变量之间的关联度。它测出两个变量之间的关联度。第63页，共91页，编辑于2022年，星期二样本相关系数的性质：1.r可正可负。可正可负。2.它落在极限它落在极限-1和和+1之

40、间，之间，。3.它有对称性；即它有对称性；即X与与Y的相关系数的相关系数 和和Y与与X的相关系数的相关系数 相同。相同。4.它与原点和尺度无关。令它与原点和尺度无关。令 ，其中，其中a0,b0，c,d是常数，则是常数，则 与与 之间的之间的r和和X与与Y之间的之间的r相同。相同。5.如果如果X与与Y统计上独立，则它们之间的相关系数为零。但零相关并不统计上独立，则它们之间的相关系数为零。但零相关并不一定意味着独立性。一定意味着独立性。第64页，共91页，编辑于2022年，星期二第65页，共91页，编辑于2022年，星期二6.它仅是线性关联或线性相依的一个度量；它不能用于描述非线性关系。它仅是线性

41、关联或线性相依的一个度量；它不能用于描述非线性关系。第66页，共91页，编辑于2022年，星期二 在回归分析中，在回归分析中，r2 是一个比是一个比r更有意义的度量，因为更有意义的度量，因为r2 告诉我们在告诉我们在因变量的变异种解释变量解释的部分占怎样一个比例，因而对一个变量因变量的变异种解释变量解释的部分占怎样一个比例，因而对一个变量的变异在多大程度上决定另一个变量的变异，提供了一个总的度量。的变异在多大程度上决定另一个变量的变异，提供了一个总的度量。而而r没有这种价值。没有这种价值。r2还可作为实测的还可作为实测的Y 与估计估计的与估计估计的Y 之间的相关系数的平方来计算。（离之间的相关

42、系数的平方来计算。（离差形式）差形式）这也解释了为什么把这也解释了为什么把r2 描述为拟合优度的一个度量，这是因为它告描述为拟合优度的一个度量，这是因为它告诉我们诉我们Y的估计值和它的真实值相距多近。的估计值和它的真实值相距多近。第67页，共91页，编辑于2022年，星期二例子 在导论中讨论过凯恩斯消费函数：人们随着他们收入的增加而倾向于在导论中讨论过凯恩斯消费函数：人们随着他们收入的增加而倾向于增加其消费，但不如收入增加的那么多。增加其消费，但不如收入增加的那么多。假定消费支出假定消费支出-收入的关系是线性的，如下：收入的关系是线性的，如下：表3.2 每周家庭消费支出Y和每周家庭收入X的假想

43、数据YXYX7080115180651001202009012014022095140155240110160150260第68页，共91页，编辑于2022年，星期二第69页，共91页，编辑于2022年，星期二利用利用Eviews得出结果得出结果File/Open/Foreign data as workfileQuick/Estimate Equation 或者或者 ls y c x第70页，共91页，编辑于2022年，星期二第71页，共91页，编辑于2022年，星期二Dependent Variable:YMethod:Least SquaresDate:03/26/12 Time:10:

44、26Sample:1 10Included observations:10VariableCoefficientStd.Errort-StatisticProb.C24.454556.4138173.8127910.0051X0.5090910.03574314.243170R-squared0.962062 Mean dependent var111Adjusted R-squared0.957319 S.D.dependent var31.42893S.E.of regression6.493003 Akaike info criterion6.756184Sum squared resi

45、d337.2727 Schwarz criterion6.816701Log likelihood-31.7809 Hannan-Quinn criter.6.689797F-statistic202.8679 Durbin-Watson stat2.680127Prob(F-statistic)0.000001第72页，共91页，编辑于2022年，星期二图3.12 根据表3.2得到的样本回归线第73页，共91页，编辑于2022年，星期二解释：解释：回归线上的每一点都给出选定的回归线上的每一点都给出选定的X值相对应的值相对应的Y期望值或均值的一个估期望值或均值的一个估计值；即计值；即 是是 的

46、估计值。的估计值。代表回归线的斜率的代表回归线的斜率的 ，表示在，表示在80美元到美元到260美元这个美元这个X的样本范围内，的样本范围内，X每增加每增加1美元，平均消费支出估计增加美元，平均消费支出估计增加0.51美元。美元。代表回归线的截距的代表回归线的截距的 ，表示每周收入为零时的每周消费支出，表示每周收入为零时的每周消费支出的平均水平。在回归分析中，对截距项的字面解释也许没什么意义，需要借助常的平均水平。在回归分析中，对截距项的字面解释也许没什么意义，需要借助常识来解释截距项。识来解释截距项。r2值等于值等于0.9621是说，约有是说，约有96%的每周消费支出的变异，能由收入来说的每周

47、消费支出的变异，能由收入来说明。相关系数为明。相关系数为0.9809表明消费支出和收入两个变量是高度正相关的。表明消费支出和收入两个变量是高度正相关的。第74页，共91页，编辑于2022年，星期二例3.1 美国消费-收入关系，1982-1996表I.1 Y（个人消费支出）和X（国内生产总值）数据，均以1992年10亿美元为单位年份YX19823081.54620.319833240.64803.719843407.65140.119853566.55323.519863708.75487.719873822.35649.519883972.75865.219894064.66062199041

48、32.26136.319914105.86079.419924219.86244.419934343.66389.6199444866610.719954595.36742.119964714.16928.4第75页，共91页，编辑于2022年，星期二Dependent Variable:YMethod:Least SquaresDate:03/26/12 Time:11:05Sample:1982 1996Included observations:15VariableCoefficientStd.Errort-StatisticProb.C-184.07846.26198-3.979030

49、.0016X0.7064080.00782790.247070R-squared0.998406 Mean dependent var3964.087Adjusted R-squared0.998284 S.D.dependent var489.6614S.E.of regression20.28525 Akaike info criterion8.981231Sum squared resid5349.39 Schwarz criterion9.075638Log likelihood-65.3592 Hannan-Quinn criter.8.980226F-statistic8144.5

50、34 Durbin-Watson stat2.08183Prob(F-statistic)0第76页，共91页，编辑于2022年，星期二方程（方程（3.7.1）是总量（对整个国家而言）凯恩斯消费函数。）是总量（对整个国家而言）凯恩斯消费函数。边际消费倾向约为边际消费倾向约为0.71，它表明如果收入增加，它表明如果收入增加1美元，平均个人消费支出美元，平均个人消费支出约上升约上升0.71美元。按凯恩斯理论，美元。按凯恩斯理论，MPC小于小于1。对截距项的解释通常没有多少。对截距项的解释通常没有多少经济意义。经济意义。r2 的值为的值为0.9884，意味着平均个人消费支出变化的，意味着平均个人消费