8.2.2一元线性回归模型的最小二乘估计 课件（共23张PPT）.pptx

《8.2.2一元线性回归模型的最小二乘估计 课件（共23张PPT）.pptx》由会员分享，可在线阅读，更多相关《8.2.2一元线性回归模型的最小二乘估计 课件（共23张PPT）.pptx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、8.2.2 一元线性回归模型一元线性回归模型参数的最小二乘法估计参数的最小二乘法估计复习回顾复习回顾1.一元线性回归模型一元线性回归模型2.一元线性回归模型与函数模型的区别一元线性回归模型与函数模型的区别Y称为称为因变量因变量或或响应变量，响应变量，x称为称为自变量自变量或或解释变量，解释变量，e是是Y与与bx+a之间的随机误差之间的随机误差a称为称为截距参数，截距参数，b称为称为斜率参数斜率参数.在一元线性回归模型中，表达式在一元线性回归模型中，表达式Y=bx+a+e刻画的是变刻画的是变量量Y与变量与变量x之间的线性相关关系，其中参数之间的线性相关关系，其中参数a和和b未知，未知，需需要根据

2、成对样本数据进行估计要根据成对样本数据进行估计.由模型的建立过程可知，由模型的建立过程可知，参数参数a和和b刻画了变量刻画了变量Y与变与变量量x的线性关系的线性关系，因此通过成对样本数据估计这两个参数，因此通过成对样本数据估计这两个参数，相当于寻找一条适当的直线，使表示成对样本数据的这些相当于寻找一条适当的直线，使表示成对样本数据的这些散点在整体上与这条直线最接近散点在整体上与这条直线最接近.探究！探究！利用前面的散点图找出一条直线，使各散点在利用前面的散点图找出一条直线，使各散点在整体上与此直线尽可能接近整体上与此直线尽可能接近.有的同学可能会想，可以采用测量的方法，先画出一有的同学可能会想

3、，可以采用测量的方法，先画出一条直线，测量出各点到直线的距离，然后移动直线，到达条直线，测量出各点到直线的距离，然后移动直线，到达一个使距离的和最小的位置一个使距离的和最小的位置 .测量出此时的斜率和截距，测量出此时的斜率和截距，就得到一条直线就得到一条直线 有的同学可能会想，可以在散点图中选则这样的两点有的同学可能会想，可以在散点图中选则这样的两点画一条直线，使得直线两侧点的个数基本相同，把这条直画一条直线，使得直线两侧点的个数基本相同，把这条直线作为所求直线如图所示线作为所求直线如图所示.还有的同学会想，在散点图中多取几对点，确定出几还有的同学会想，在散点图中多取几对点，确定出几条直线的方

4、程，再分别求出这些直线的斜率、截距的平均条直线的方程，再分别求出这些直线的斜率、截距的平均数，将这两个平均数作为所求直线的斜率和截距如图数，将这两个平均数作为所求直线的斜率和截距如图.同学们不妨去实践一下，看看这些方法是不是真的可行同学们不妨去实践一下，看看这些方法是不是真的可行.上面这些方法虽然有一定的道理，但比较难操作，我上面这些方法虽然有一定的道理，但比较难操作，我们需要另辟蹊径们需要另辟蹊径.先进一步明确我们面临的任务先进一步明确我们面临的任务:从成对样本数据出发，从成对样本数据出发，用数学的方法刻画用数学的方法刻画“从整体上看从整体上看,各散点与直线最接近各散点与直线最接近”.通常，

5、我们会想到通常，我们会想到利用利用点到直线点到直线y=bx+a的的“距离距离”来来刻画散点与该直线的接近程度，然后用刻画散点与该直线的接近程度，然后用所有所有“距离距离”之和之和刻画所有样本观测数据与该直线的接近程度刻画所有样本观测数据与该直线的接近程度.我们设满足一元线性回归模型的两个变量的我们设满足一元线性回归模型的两个变量的n对样本对样本数据为数据为(x1,y1)，(x2,y2），），(xn,yn),由由yi=bxi+a+ei(i=1，2，n)，得，得|yi(bxi+a)|=|ei|.由由yi=bxi+a+ei(i=1，2，n)，得，得|yi(bxi+a)|=|ei|.显然显然|ei|越

6、小，表示点越小，表示点(xi，yi)与点与点(xi，bxi+a)的的“距离距离”越小，即样本数据点离直线越小，即样本数据点离直线y=bx+a的的竖直距离竖直距离越小越小，如图，如图所示所示.特别地，当特别地，当ei=0时，表示点时，表示点(xi，yi)在这条直线上在这条直线上.来刻画各样本观测数据与直线来刻画各样本观测数据与直线y=bx+a的的“整体接近程度整体接近程度”.因此可以用这因此可以用这n个竖直距离之和个竖直距离之和 在实际应用中，因为绝对值使得计算不方便，所以人在实际应用中，因为绝对值使得计算不方便，所以人们通常用各散点到直线的竖直距离的平方之和们通常用各散点到直线的竖直距离的平方

7、之和刻画刻画“整体接近程度整体接近程度”.在上式中，在上式中，xi，yi(i=1，2，n)是已知的成对样本是已知的成对样本数据数据，所以所以Q由由a和和b所决定，即它是所决定，即它是a和和b的函数的函数.这个和当然越小越好这个和当然越小越好.所以我们取使所以我们取使Q达到最小的达到最小的a和和b值值,作为截距作为截距a和斜率和斜率b的估计值的估计值.Q越小越好越小越好.下面利用成对样本数据求使下面利用成对样本数据求使Q取最小值的取最小值的a和和b.上式是关于上式是关于b的二次函数，因此要使的二次函数，因此要使Q取得最小值，取得最小值，当且仅当当且仅当b的取值为的取值为时，时，Q达到最小达到最小

8、.综上，当综上，当a,b的取值为的取值为 我们将我们将 称为称为Y 关于关于x 的的经验回归方程经验回归方程，也称，也称经验回归函数经验回归函数或或经验回归公式经验回归公式，其图形称为，其图形称为经验回归直线，经验回归直线，这种求经验回归方程的方法叫这种求经验回归方程的方法叫最小二乘法最小二乘法相应的经验回归相应的经验回归直线如图所示直线如图所示.显然显然不不一定一定，因为还有其他影响儿子身高的因素，因为还有其他影响儿子身高的因素，父父亲的身高不能完全决定儿子的身高亲的身高不能完全决定儿子的身高.不过不过,我们可以作出推我们可以作出推测测,当父亲的身高为当父亲的身高为176cm时时,儿子身高一

9、般在儿子身高一般在177cm左右左右.实际上，实际上，如果把如果把这所学校这所学校父亲身高为父亲身高为176cm的所有儿的所有儿子身高作为一个子总体，那么子身高作为一个子总体，那么177cm是这个子总体均值的是这个子总体均值的估计值估计值.分析模型分析模型可以发现，高个子父亲可以发现，高个子父亲有生高个子儿子的趋有生高个子儿子的趋势，但一群高个子父亲的儿子们的平均身高要低于父亲们势，但一群高个子父亲的儿子们的平均身高要低于父亲们的平均身高，例如的平均身高，例如 矮矮个子父亲个子父亲有生矮个子儿子的趋势，但一群矮个子父有生矮个子儿子的趋势，但一群矮个子父亲的儿子们的平均身高要高于父亲们的平均身高

10、，例如亲的儿子们的平均身高要高于父亲们的平均身高，例如 根据模型，父亲身高为多少时，长大成人的儿子的平根据模型，父亲身高为多少时，长大成人的儿子的平均身高与父亲身高一样？你怎么看这个判断？均身高与父亲身高一样？你怎么看这个判断？例如，对于前表中的第例如，对于前表中的第6个观测，父亲身高为个观测，父亲身高为172cm，其儿子身高的观测值为其儿子身高的观测值为y6=176cm，预测值，预测值类似地，可以得到其他类似地，可以得到其他残差残差，如下表所示，如下表所示 残差是随机误差的估计残差是随机误差的估计结果结果，通过对残差的分析可判，通过对残差的分析可判断模型刻画数据的效果，以及判断原始数据中是否

11、存在可断模型刻画数据的效果，以及判断原始数据中是否存在可疑数据等，这方面的工作称为疑数据等，这方面的工作称为残差分析残差分析.编号编号父亲身高父亲身高/cm儿子身高观测值儿子身高观测值/cm儿子身高预测值儿子身高预测值/cm残差残差/cm1174176174.9431.0572170176171.5874.4133173170174.1044.1044169170170.7480.7485182185181.6553.3456172176173.2562.7357180178179.9771.9778172174173.2560.7359168170169.9090.0911016616816

12、8.2310.23111182178181.6553.65512173172174.1042.10413164165166.5531.55314180182179.9772.023 为了使数更加直观，用父亲身高作为横坐标，残差作为了使数更加直观，用父亲身高作为横坐标，残差作为纵坐标，可以画出残差图，如下图所示为纵坐标，可以画出残差图，如下图所示.观察残差表可以看到，残差有正有负，残差的绝对值观察残差表可以看到，残差有正有负，残差的绝对值最大是最大是4.413.观察观察残差残差的散点的散点图可以图可以发现发现，残差比较均匀，残差比较均匀地分布在横轴的两边地分布在横轴的两边,说明残差比较符合说明残

13、差比较符合一元线性回归模一元线性回归模型的假设型的假设,是均值为是均值为0,方差为方差为2的随机变量的观测值的随机变量的观测值.可见可见,通过观察残差图可以直观判断通过观察残差图可以直观判断模型模型是否满足一元线性回归是否满足一元线性回归模的假设模的假设.一般地，建立经验回归方程后，通常需要对模型刻画一般地，建立经验回归方程后，通常需要对模型刻画数据的效果进行分析数据的效果进行分析.借助残差分析还可以对模型进行改借助残差分析还可以对模型进行改进进,使使我们能根据我们能根据改进模型改进模型作出更作出更符合实际的预测与决策符合实际的预测与决策.思考思考?观察以下四幅残差图，你认为哪一个残差满足观察

14、以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定一元线性回归模型中对随机误差的假定?根据一元线性回归模型中对随机误差的假定，根据一元线性回归模型中对随机误差的假定，残差应残差应是均值为是均值为0，方差为，方差为2的随机变量的随机变量的观测值的观测值.图图(1)显示残差与观测时间显示残差与观测时间有线性关系有线性关系,应将时间变量应将时间变量纳入模型；纳入模型；图图(2)显示残差与观测时间有显示残差与观测时间有非线性关系非线性关系,应在应在模型中模型中加入时间的非线性函数部分加入时间的非线性函数部分;图图(3)说明残差的说明残差的方差不是一个常数，随观测时间变大方差不是一个常数，随观测时间变大而变大而变大;图图(4)的残差比较的残差比较均匀地均匀地分布分布在以取值为在以取值为 0 的的横轴横轴为对称轴的为对称轴的水平带状区域内水平带状区域内.可见可见,只有图只有图(4)满足一元线性回归模型对随机误差的假设满足一元线性回归模型对随机误差的假设.