3.1、3-4财务管理技术方法(ppt 71)ida.pptx

第三章 最小二乘法（一）一元线性回归1问题的提出 必要性n 通过协方差或相关系数证实变量之间存在关系，仅仅只是知道变量之间线性相关的性质 正（负）相关和相关程度的大小。n 既然它们之间存在线性关系，接下来必须探求它们之间关系的表现形式是什么？n 最好用数学表达式将这种关系尽可能准确、严谨的表示出来y=a+bx+u 把它们之间的内在联系挖掘出来。也就是直线中的截距a=？；直线的斜率b=？n 消费=基本生存+边际消费倾向X 可支配收入+随机扰动项2解决问题的思路 可能性n 寻找变量之间直线关系的方法多多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型y=a+bx+u 中的截距a=？；直线的斜率b=？正是是本章介绍的最小二乘法。n 根据该方法所得，即表现变量之间线性关系的直线有些什么特性？n 所得直线可靠吗？怎样衡量所得直线的可靠性？n 最后才是如何运用所得规律 变量的线性关系？3最小二乘法产生的历史n 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）达尔文的表弟所创。n 早年，道尔顿致力于化学和遗传学领域的研究。n 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。4最小二乘法的地位与作用n 现在回归分析法已远非道尔顿的本意n 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。n 后来，回归分析法从其方法的数学原理 误差平方和最小（平方乃二乘也）出发，改称为最小二乘法。5父亲们的身高与儿子们的身高之间关系的研究n 1889 年F.Gallton 和他的朋友K.Pearson 收集了上千个家庭的身高、臂长和腿长的记录n 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式n 下图是根据1078 个家庭的调查所作的散点图（略图）6160165170175180185140 150 160 170 180 190 200YX儿子们身高向着平均身高“回归”，以保持种族的稳定7“回归”一词的由来n 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下：n 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”见1889 年F.Gallton 的论文普用回归定律。n 后人将此种方法普遍用于寻找变量之间的规律 8最小二乘法的思路n 1 为了精确地描述Y 与X 之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到全面）。n 2 Y 与X 之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。n 3 在Y 与X 的散点图上画出直线的方法很多。n 任务？找出一条能够最好地描述Y 与X（代表所有点）之间的直线。n 4 什么是最好？找出判断“最好”的原则。n 最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。9三种距离yx纵向距离横向距离距离A 为实际点，B 为拟合直线上与之对应的点10距离是度量实际值与拟合值 是否相符的有效手段n 点到直线的距离 点到直线的垂直线的长度。n 横向距离 点沿（平行）X 轴方向到直线的距离。n 纵向距离 点沿（平行）Y 轴方向到直线的距离。也就是实际观察点的Y 坐标减去根据直线方程计算出来的Y 的拟合值。n 这个差数以后称为误差 残差（剩余）。11最小二乘法的数学原理n 纵向距离是Y 的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以又称为拟合误差或残差。n 将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线。n 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小。12数学推证过程13关于所得直线方程的结论n 结论之一：n 由（5）式，得n 即拟合直线过y 和x 的平均数点。n 结论之二：n 由（2）式，得n 残差与自变量x 的乘积和等于0，即两者不相关。14第一节 拟合直线的性质n 1 估计残差和为零n 2 Y 的真实值和拟合值有共同的均值n 3 估计残差与自变量不相关n 4 估计残差与拟合值不相关151 估计残差和为零（Residuals Sum to zero）n 由（1）式直接得此结论无须再证明。并推出残差的平均数也等于零。162 Y 的真实值和拟合值有共同的均值（The actual and fitted values of yi have the same mean）173 估计残差与自变量不相关（Residuals are unrelated with independent variable）184 估计残差与拟合值不相关（Residuals are unrelated with fitted value of yi）19关于回归直线性质的总结 残差和=0平均数相等拟合值与残差不相关自变量与残差不相关注意：这里的残差与随机扰动项不是一个概念。随机扰动项是总体的残差。20第二节 拟合优度的评价21问题的提出n 由最小二乘法所得直线究竟能够对这些点之间的关系加以反映吗？n 对这些点之间的关系或趋势反映到了何种程度？n 于是必须经过某种检验或者找出一个指标，在一定可靠程度下，根据指标值的大小，对拟合的优度进行评价。n 分四个问题进行讨论：平方和分解、方差分析、拟合优度、拟合优度与简单相关系数的关系。22 一、平方和与自由度的分解n 1、总平方和、回归平方和、残差平方和的定义n 2、平方和的分解n 3、自由度的分解231、总平方和、回归平方和、残差平方和的定义n TSS 度量Y 自身的差异程度，RSS 度量因变量Y 的拟合值自身的差异程度，ESS 度量实际值与拟合值之间的差异程度。242、平方和的分解25平方和分解的意义n TSS=RSS+ESSn 被解释变量Y 总的变动（差异）=n 解释变量X 引起的变动（差异）n+除X 以外的因素引起的变动（差异）n 如果X 引起的变动在Y 的总变动中占很大比例，那么X 很好地解释了Y；否则，X 不能很好地解释Y。263、自由度的分解n 总自由度n dfT=n-1n 回归自由度n dfR=1（自变量的个数，k 元为k）n 残差自由度n dfE=n-2n 自由度分解n dfT=dfR+dfE27平方和分解图正交分解28为什么回归平方和是由X 引起的变动ABC29二、方差分析n 模型：y=a+bx+u=LS 估计：y=a+bxn H0:b=0 HA:b030关于F 检验n 零假设H0：b=0 备择HA：b0n H0：b=0 RSS 中的X 不起作用，RSS 变动无异于随机变动=n 分子方差与分母方差是一回事=F=1n 如果F 显著地大于1，甚至FF=小概率事件发生了，根据小概率原理，小概率事件在一次试验中是不可能发生的，于是H0不成立。就不能认为X 没有作用。则直线是有意义的。可靠性=1-31三、拟合优度（或称判定系数、决定系数）n 目的：企图构造一个不含单位，可以相互进行比较，而且能直观判断拟合优劣。n 拟合优度的定义：n 意义：拟合优度越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。n 取值范围：0-132拟合优度与F 统计量之间的联系n F 显著=拟合优度必然显著33四、拟合优度等于实际值与拟合值之间简单相关系数的平方34第三节 复习与提高 y=a+bx+uxn+1 yn+1xn yn x2 y2x1 y1根据已知样本采用LS 得一拟合直线 拟合直线性质:残差和=0残差与自变量无关拟合值与残差值无关两个平均数均值相等R20TSS RSS ESSR2R21用直线反映总体Good?noYes35案例分析一：教科书LX1 P82n 教学目的：n 1 掌握依据已有序列生成新的序列n 2 掌握模型函数形式设定对估计结果的影响n 3 掌握估计参数的性质36案例分析二：LX1 HXQ50 我国人均消费函数研究n 教学目的：n 1 掌握最小二乘法的流程n 2 认识最小二乘法估计结果中的各种统计量的含义与定义n 3 所得结论的经济学解释37案例分析三：LX1 WSB3 大气压强与水的沸点的关系38案例分析四：LX2 LCHF84 平均成本U 形曲线的拟合n 教学目的：n 1 掌握非线性最小二乘法估计的流程n 2 认识最小二乘法估计结果中的各种统计量的含义与定义n 3 所得结论的经济学解释39