线性回归的基本思想幻灯片.ppt

线性回归的基本思想第1页，共30页，编辑于2022年，星期一6.1 回归的含义回归的含义6.2 总体回归函数总体回归函数6.3 总体回归函数的统计或随机设定总体回归函数的统计或随机设定6.4 随机误差项的性质随机误差项的性质6.5 样本回归函数样本回归函数6.6 “线性线性”回归的特殊含义回归的特殊含义6.7从双变量回归到多元线性回归从双变量回归到多元线性回归6.8参数估计：普通最小二乘法参数估计：普通最小二乘法6.9综合综合6.10 一些例子一些例子6.11 总结总结第2页，共30页，编辑于2022年，星期一6.1 回归的含义回归的含义 回归分析是用来研究一个变量（称之为被解释变量回归分析是用来研究一个变量（称之为被解释变量explained variable 或应变量或应变量 dependent variable）与另一）与另一个或多个变量（称之为解释变量个或多个变量（称之为解释变量 explanatory variable 或或自变量自变量 independent variable）之间关系的一种分析方法。）之间关系的一种分析方法。例如研究商品的需求量与该商品的价格、消费者的例如研究商品的需求量与该商品的价格、消费者的收入以及其他同类商品的价格之间的关系。收入以及其他同类商品的价格之间的关系。通常我们用通常我们用Y表示应变量，用表示应变量，用X表示自变量。表示自变量。第3页，共30页，编辑于2022年，星期一 回归分析回归分析是用来处理一个是用来处理一个应变量应变量与另一个或多个与另一个或多个自变自变量量的关系，但它并不一定表明因果关系的存在。两个变的关系，但它并不一定表明因果关系的存在。两个变量是否存在因果关系，哪一个是应变量，哪一个是自变量是否存在因果关系，哪一个是应变量，哪一个是自变量是由正确的量是由正确的经济理论经济理论决定的。决定的。需要注意的是需要注意的是具有因果关系的变量之间一定具有数学具有因果关系的变量之间一定具有数学上的相关关系，而具有相关关系的变量之间并不一定具上的相关关系，而具有相关关系的变量之间并不一定具有因果关系。有因果关系。例如：例如：中国的国内生产总值与印度的人口之间具有中国的国内生产总值与印度的人口之间具有较强的相关性（相关系数较高），因为二者都以较快的较强的相关性（相关系数较高），因为二者都以较快的速度增长，但显然二者之间不具有因果关系。速度增长，但显然二者之间不具有因果关系。第4页，共30页，编辑于2022年，星期一回归分析的应用回归分析的应用（1 1）通过已知变量的值来估计应变量的均值）通过已知变量的值来估计应变量的均值（2 2）根据经济理论建立适当的假设并对其进行检）根据经济理论建立适当的假设并对其进行检验验（3 3）根据自变量的值对应变量的均值进行预测）根据自变量的值对应变量的均值进行预测（4 4）上述多个目标的综合）上述多个目标的综合 第5页，共30页，编辑于2022年，星期一6.2 总体回归函数总体回归函数:假想一例假想一例 下面我们通过一个具体例子说明回归分析的用途。下面我们通过一个具体例子说明回归分析的用途。表表6-1 6-1 每周博彩支出和每周个人可支配收入每周博彩支出和每周个人可支配收入个人可支配收入个人可支配收入每周博彩支出每周博彩支出消费者消费者1501501751752002002252252502502752753003003253253503503753751 128283333353536363838404042424343454546462 227273131313134343636373739393535393940403 325252929303031313333323234343131333334344 433332727282829293030303031313030303031315 523232424262627272828292930302929272728286 615152020222226262525272729293333303032327 718181818202023232323252526263232282830308 812121515171721212222222224243030323231319 9131314141616181820201818252531313232333310101515101019191616181832322323252534343131均值均值20.920.922.122.124.424.426.126.127.327.329.229.230.330.331.931.933.033.033.633.6第6页，共30页，编辑于2022年，星期一分析步骤：分析步骤：（1）以个人可支配收入）以个人可支配收入X为横轴，每周博彩支出量为横轴，每周博彩支出量Y为纵为纵轴，对表中数据作散点图。轴，对表中数据作散点图。（2）分析两变量间的关系）分析两变量间的关系（3）做出总体回归直线）做出总体回归直线 见见Excel文件文件。第7页，共30页，编辑于2022年，星期一总体回归函数总体回归函数PRF B1和和B2是参数是参数(parameters)，也称回归系数，也称回归系数(regression coefficients)。B1又称为截距又称为截距(intercept)，B2又称为斜率又称为斜率(slope)。斜。斜率度量了率度量了X每变动一个单位，每变动一个单位，Y的均值的变化率。的均值的变化率。Y的条件期望，可简写为的条件期望，可简写为E(Y)注意：注意：回归分析是条件回归分析回归分析是条件回归分析(conditional regression analysis)。(6-1)第8页，共30页，编辑于2022年，星期一u6.3 总体回归函数的统计或随机设定总体回归函数的统计或随机设定 随机总体回归方程随机总体回归方程(stochastic PRF)ui表示随机误差项表示随机误差项(random error term)，简称误差项。，简称误差项。0150300XY每周个人可支配收入（美元）每周个人可支配收入（美元）每每周周博博彩彩支支出出（美美元元）20.902530.324.0u.(6-2)第9页，共30页，编辑于2022年，星期一6.4 随机误差项的性质随机误差项的性质（1）在解释变量中被忽略的因素的影响；）在解释变量中被忽略的因素的影响；（2）变量观测值的观测误差的影响；）变量观测值的观测误差的影响；（3）模型关系的设定误差的影响；）模型关系的设定误差的影响；（4）其它随机因素的影响包括人类行为中的一些）其它随机因素的影响包括人类行为中的一些内在随机性；内在随机性；（5）奥卡姆的剃刀原则奥卡姆的剃刀原则“简单优于复杂简单优于复杂”。第10页，共30页，编辑于2022年，星期一6.5 样本回归函数样本回归函数如何估计总体回归函数，即求参数如何估计总体回归函数，即求参数B B1 1、B B2 2呢？呢？前面我们已经介绍了：前面我们已经介绍了：总体回归函数总体回归函数PRF随机总体回归方程随机总体回归方程(stochastic PRF)(6-1)(6-2)如果已知整个总体的数据，如上例，问题就比较简单，但如果已知整个总体的数据，如上例，问题就比较简单，但在实际中，我们往往不能得到整个总体的数据，只有来自在实际中，我们往往不能得到整个总体的数据，只有来自总体的某一个样本数据，我们该怎么做？总体的某一个样本数据，我们该怎么做？第11页，共30页，编辑于2022年，星期一Y18242623302734353340X150175200225250275300325350375Y23182425282731293334表表6-2、6-3 来自表来自表6-1总体的两个随机样本总体的两个随机样本X150175200225250275300325350375做散点图及估计样本回归直线见做散点图及估计样本回归直线见Excel文件文件表表6-2表表6-3第12页，共30页，编辑于2022年，星期一样本回归直线可用样本回归函数样本回归直线可用样本回归函数SRF来表示：来表示：(6-3)(6-1)随机的样本函数：随机的样本函数：(6-4)(6-2)第13页，共30页，编辑于2022年，星期一样本回归函数样本回归函数随机样本回归函数随机样本回归函数总体回归函数总体回归函数随机总体回归方程随机总体回归方程观察值可表示为观察值可表示为(6-3)(6-4)(6-1)(6-2)(6-6)(6-7)线性线性OLS总结总结第14页，共30页，编辑于2022年，星期一图图6-4 总体回归线与样本回归线总体回归线与样本回归线.e1u1Y1AenunXY0需需求求量量价格价格第15页，共30页，编辑于2022年，星期一6.6 “线性线性”回归的特殊含义回归的特殊含义解释变量线性解释变量线性与与参数线性参数线性图图6-5 线性和非线性需求曲线非线性举例：非线性举例：1.解释变量线性解释变量线性例如：例如：2.参数线性参数线性非线性举例：非线性举例：例如：例如：第16页，共30页，编辑于2022年，星期一图6-5 线性和非线性需求曲线线性和非线性需求曲线1111XXYY价 格价 格需求量a)线性需求曲线线性需求曲线b)非线性需求曲线非线性需求曲线第17页，共30页，编辑于2022年，星期一6.7 从双变量回归到多元线性回归从双变量回归到多元线性回归 多元线性回归：多元线性回归：如果博彩支出是收入如果博彩支出是收入(X2)、财富、财富(X3)和年龄和年龄(X4)的函数，则扩展的函数，则扩展的博彩支出函数如下：的博彩支出函数如下：个体博彩支出函数（即随机总体回归函数）为：个体博彩支出函数（即随机总体回归函数）为：（6-11）（6-12）第18页，共30页，编辑于2022年，星期一6.8 参数估计：普通最小二乘法参数估计：普通最小二乘法普通最小二乘法普通最小二乘法(OLS)最小二乘原理最小二乘原理总体回归方程：总体回归方程：样本回归函数：样本回归函数：因而因而 利用利用(6-3)最小二乘原理就是选择合适参数使得全部观察值的残差平最小二乘原理就是选择合适参数使得全部观察值的残差平方和方和(RSS)最小，数学形式为：最小，数学形式为：(6-13)第19页，共30页，编辑于2022年，星期一普通最小二乘法就是寻找使普通最小二乘法就是寻找使RSS达到最小时的参数作为参数达到最小时的参数作为参数估计值的一种方法。估计值的一种方法。利用极值原理可以得到：利用极值原理可以得到：(6-16)(6-17)正规方程正规方程(6-14)(6-15)求解得到：求解得到：第20页，共30页，编辑于2022年，星期一普通最小二乘估计量的一些性质：普通最小二乘估计量的一些性质：（1）（2）（3）（4）第21页，共30页，编辑于2022年，星期一6.9 综合综合解得：利用利用OLS方法估计样本回归方程，具体计算步骤如表方法估计样本回归方程，具体计算步骤如表6-4：见见Excel文件文件。第22页，共30页，编辑于2022年，星期一斜率：斜率：截矩：截矩：表表6-4 6-4 博彩一例的原始数据及博彩一例的原始数据及OLSOLS计算步骤（来自表计算步骤（来自表6-26-2）YiYiXiXiXiYiXiYi XiXi平方平方xixiyiyi yiyi平方平方xixi平方平方xiyixiyiYiYi估计值估计值eiei eiei平方平方eiXieiXi18150150270027002250022500-112.5-112.5-11-11121121 12656.2512656.251238123819.8364 19.8364-1.83643-1.83643 3.372 3.372-275.4648-275.4648 24175175420042003062530625-87.5-87.5-5-525257656.257656.25 437.5437.521.8728 21.8728 2.12719 2.12719 4.525 4.525 372.2588 372.2588 26200200520052004000040000-62.5-62.5-3-39 93906.253906.25 187.5187.523.9091 23.9091 2.09082 2.09082 4.372 4.372 418.1636 418.1636 23225225517551755062550625-37.5-37.5-6-636361406.251406.2522522525.9455 25.9455-2.94556-2.94556 8.676 8.676-662.7503-662.7503 30250250750075006250062500-12.5-12.51 11 1156.25156.25-12.5-12.527.9819 27.9819 2.01807 2.01807 4.073 4.073 504.5170 504.5170 2727527574257425756257562512.512.5-2-24 4156.25156.25-25-2530.0183 30.0183-3.01831-3.01831 9.110 9.110-830.0344-830.0344 34300300 1020010200900009000037.537.55 525251406.251406.25 187.5187.532.0546 32.0546 1.94532 1.94532 3.784 3.784 583.5954 583.5954 35325325 1137511375 10562510562562.562.56 636363906.253906.2537537534.0910 34.0910 0.90894 0.90894 0.826 0.826 295.4065 295.4065 33350350 1155011550 12250012250087.587.54 416167656.257656.2535035036.1274 36.1274-3.12743-3.12743 9.781 9.781-1094.6012-1094.6012 40375375 1500015000 140625140625112.5112.51111121121 12656.2512656.251238123838.1638 38.1638 1.83619 1.83619 3.372 3.372 688.5724 688.5724 合计合计29029026252625 8032580325 7406257406250 00 039439451562.551562.542004200290.00290.00-0.00119-0.00119 51.891 51.891-0.3371-0.3371 第23页，共30页，编辑于2022年，星期一对博彩支出回归结果的解释对博彩支出回归结果的解释 对博彩支出的估计结果解释如下：斜率系数对博彩支出的估计结果解释如下：斜率系数0.08145表示，在其他条件保持不变的情况下，表示，在其他条件保持不变的情况下，PDI每增加一美元，每周平均博彩支出将增加约每增加一美元，每周平均博彩支出将增加约8每分。每分。截距截距7.6182表示，当表示，当PDI为为0时，博彩的平均支出为时，博彩的平均支出为7.62美元。截距一般没有什么特殊的经济含义。美元。截距一般没有什么特殊的经济含义。第24页，共30页，编辑于2022年，星期一6.10 一些例子一些例子例例 6-1：受教育年限与平均小时工资受教育年限与平均小时工资 根据由根据由528个观察值组成的样本，表个观察值组成的样本，表6-5给出了平均小时工资给出了平均小时工资Y和受教育年限和受教育年限X的数据。的数据。根据劳动经济学中的人力资本理论，预期平均工资随受教育年根据劳动经济学中的人力资本理论，预期平均工资随受教育年限的增加而增加，二者正相关。限的增加而增加，二者正相关。数据的回归结果如下：数据的回归结果如下：回归结果表明，在其他条件不变的情况下，受教育年限每增加回归结果表明，在其他条件不变的情况下，受教育年限每增加一年，平均小时工资增加一年，平均小时工资增加72美分。美分。前面已经提到过，在大多数情况下，截距没有什么明显的前面已经提到过，在大多数情况下，截距没有什么明显的经济含义，本例亦如此。经济含义，本例亦如此。第25页，共30页，编辑于2022年，星期一例例6-2：奥肯定律：奥肯定律：布鲁金斯学会主席，前总统经济顾问委员会主席奥肯布鲁金斯学会主席，前总统经济顾问委员会主席奥肯（Arthur Okun）根据美国）根据美国1947-1960年的数据，得到如下回归方年的数据，得到如下回归方程，称之为程，称之为奥肯定律：奥肯定律：其中，其中，Yt表示失业率的变动（百分数），表示失业率的变动（百分数），Xt表示实际产出表示实际产出的增长率（百分率），用实际的增长率（百分率），用实际GNP度量，度量，2.5是对美国历史的观察是对美国历史的观察得到的长期产出增长率。得到的长期产出增长率。在上面方程中，截距为零，斜率为在上面方程中，截距为零，斜率为-0.4。奥肯定律是说实际奥肯定律是说实际GNP的增长每超过的增长每超过2.5%一个百分点，失业率将降低一个百分点，失业率将降低0.4个百分点。个百分点。奥肯定律被用来预测失业率减少到一定的百分点而所需的奥肯定律被用来预测失业率减少到一定的百分点而所需的实际实际GNP的增长率。当实际的增长率。当实际GNP增长率为增长率为5%时，将使失业率减时，将使失业率减少一个百分点，或者说若使增长率达到少一个百分点，或者说若使增长率达到7.5%，则减少失业率，则减少失业率2个个百分点。百分点。第26页，共30页，编辑于2022年，星期一例例 6-3：股票价格与利率股票价格与利率 股票价格和利率是重要的经济指标。利用股票价格和利率是重要的经济指标。利用S&P500综合指数综合指数(19411943年年10)度量股票价格，三月期国债利率度量股票价格，三月期国债利率()度量利率。度量利率。表表6-13给出了给出了19801999年这些变量的数据。年这些变量的数据。根据散点图（根据散点图（见见Excel文件文件和和Eviews文件文件），两变量间的关系可能），两变量间的关系可能不是线性的，我们可以尝试拟合如下模型：不是线性的，我们可以尝试拟合如下模型：利用利用EviewsEviews软件得到如下结果：软件得到如下结果：如果我们拟合线性模型，可以得到：如果我们拟合线性模型，可以得到：究竟哪一个模型更好？我们应该如何进行模型的选择？究竟哪一个模型更好？我们应该如何进行模型的选择？第27页，共30页，编辑于2022年，星期一例例6-4：美国中等房价与贷款利率（美国中等房价与贷款利率（19882003年）年）为了研究贷款利率对房价的影响，为了研究贷款利率对房价的影响，表表6-6给出了纽约给出了纽约19882003年中等房价和年中等房价和30年固定贷款利率的数据。年固定贷款利率的数据。回归结果表明，如果贷款利率提高一个百分点，则中等房价平回归结果表明，如果贷款利率提高一个百分点，则中等房价平均降低约均降低约23.4个单位，即个单位，即23400美元。美元。问题：降低利率是否对房价有显著的影响？是否应该考虑问题：降低利率是否对房价有显著的影响？是否应该考虑中等家庭收入水平的影响？中等家庭收入水平的影响？第28页，共30页，编辑于2022年，星期一例例6-5：古董钟与拍卖价格古董钟与拍卖价格 德国德国Triberg钟表公司每年都举行钟表拍卖会。钟表公司每年都举行钟表拍卖会。表表6-14给给出了出了32个钟表的信息数据（钟表的年代、投标人的个数、中标的个钟表的信息数据（钟表的年代、投标人的个数、中标的价格）。价格）。利用数据得到的散点图和回归结果见利用数据得到的散点图和回归结果见Excel文件文件。第29页，共30页，编辑于2022年，星期一6.11总结总结1.回归分析的基本思想回归分析的基本思想2.总体回归函数总体回归函数PRF、随机总体回归函数、样本回归函、随机总体回归函数、样本回归函数数SRF和随机样本回归函数和随机样本回归函数3.普通最小二乘法普通最小二乘法OLS方法方法4.对估计的样本回归函数的对估计的样本回归函数的解释解释 本章作业：P114：6.8、6.10、6.11、6.18第30页，共30页，编辑于2022年，星期一