5回归分析.pdf
第二十三讲 回归分析 重点：一元线性回归的数学模型、参数估计和显著性检验 难点：预测和控制，可转化为一元线性回归的非线性回归 在客观世界中，普遍存在着变量之间的关系确定性的和非确定性的，确定性关系可由函数表示，非确定性关系不具有函数关系（称这种关系为相关关系），如人的身高和体重；人的血压和年龄；气象中的温度和湿度；水、水泥、沙、石的配比和混凝土的抗压强度；回归分析是研究相关关系的一种数学工具，是数理统计的基本方法之一。本讲主要介绍一元线性回归，对其它回归只简单介绍。一、一元线性回归 1基本概念和散点图 设 R.V.y 与 x 之间存在某中种相关关系。这里 x 是可以控制或可以精确观察的变量，因此一般不把 x 看成R.V.而当作普通的变量。本讲也如此。由于 y是 R.V.对于 x 的每一确定值，y有它的分布，y的数学期望随 x 的取值而定，即是 x 的函数，记为)(x，)(x称为 y 关于 x 的回归。若)(x为线性函数，称为一元线性回归。对 x 的一组不完全相同的值nxxx,21，作独立试验得到 n 对观察结果),(,),(),(2211nnyxyxyx，这n 对观察结果就是一个容量为 n 的样本。要求)(x，首先需要推测)(x的形式，方法是将每对观察结果),(iiyx在直角坐标系中描出它的相应点，这种图称为散点图。根据散点图的形状，结合数学知识粗略给出)(x的形式。例题：（略）2数学模型 对于每个给定的 x，y 的取值不是唯一确定的，它可以分解为两部分，一部分反映 x 对 y 的线性影响，是 y的“主要部分”；另一部分反映随机因素对 y 的影响，称为“随机误差部分”，即 x 和 y 之间有baxy，其中 a，b 为常数，叫做回归系数；通常假定随机误差),0(2N，则),(2baxNy，对于上述 n 对观察结果有 独立同分布niiiiN,n,ibaxy,),0(21212 称之为一元线性回归模型，如果由样本得到上式中 a，b 的估计ba,，方程 bxay 称为 y 关于 x 的一元线性回归方程（或回归方程），其图形称为回归直线。3回归系数 a 和 b 的估计 可用极大似然估计法和最小二乘估计法估计 a 和 b，下面讲最小二乘估计法 称baxyqiii为离差，则离差平方和 niiiniibaxyqbaQ1212)(),(使),(baQ达到最小的 a 和 b 的值称为回归系数的最小二乘估计。令0),(0),(bbaQabaQ 可得ybxayxxnbxaniiinii112 解之得xaybllaxxxy/其中niiyyniixxniiiniiixyyylxxlyxnyxyyxxl121211)(,)()(注：上面的xyyyxxlll,可通过计数器中的统计功能得到。4回归方程的显著性检验线性假设的显著性检验 在以上的讨论中，我们假定 y 关于 x 的回归)(x具有线性形式，在处理实际问题时，)(x是否为 x 的线性函数，首先要根据有关专业知识和实践来判断（还有散点图），其次就要运用假设检验的方法来判断。易见，若线性假设符合实际，则 a 不应为零，因为若 a=0，则 y 就不依赖于 x 了。因此需要检验假设 0:;0:10bHbH 下面构造统计量 总离差平方和 S总=UQyyyylniiniiiyy1212)()(其中：niiiyyQ12)(称为误差平方和，它是随机误差的反映；xyxyxyniiniil allxxayyU/)()(212212称为回归平方和，它反映了回归值的分散程度。设),0(,221Nin独立同分布可以证明：)2(/22nQ 在0H为真时，)1(/22U Q与U相互独立 于是，当0H成立时，)2,1()2/(nFnQUF，还可以证明22nQS是2的无偏估计。对于给定的显著性水平，可查表得到)2,1(nF，当)2,1(nFF时，否定0H，认为回归方程有意义。当回归系数不显著时（即接受0H），可能有以下原因：除 x 外，还有其它重要因素影响 y 的取值；y 与x 没有线性相关关系；y 与 x 无明显依存关系；x 变动范围太小，使它对 y 的调节作用没能表现出来。5预测 回归方程的一个重要应用就是，对于给定的点0 xx 对应的0y是一个随机变量，由bxay00得0y的期望值的一个点估计，更重要的是，对给定的，求出0y的一个区间估计预测区间，即寻找一个0，使得1)(00yyP 可以证明)2()(112000ntSlxxnyyTxx 由此可得0y的置信区间预测区间为)(00 xy 其中Slxxnntxxx200)(11)2()(6控制 控制是预测的反问题，为了使 y 值落在给定的范围),(bayy内，寻找变量 x 应控制的范围。当回归直线的斜率0 时，控制范围为),(baxx；当回归直线的斜率0 时，控制范围为),(abxx，一般求出ax与bx计算相当烦琐，下面我们只给出当 n 较大时的讨论。当 n 较大时，xxl也较大，y较接近y，就可以近似地认为),0(2SNyy，如由正态分布知997.0)33(9544.0)22(SyySyPSyySyP，由此可得控制区间。如对于置信度为 0.997，给定bayy，可由方程组SbxaySbxaybbaa33确定控制区间的端点ax和bx 例题：（参见教材 P169 例 1.1，1.2，1.3，1.4，1.5，1.6 和 P177 例 1.7）二、一元非线性回归可化为线性回归 在实际应用中，两个变量之间往往具有某种曲线相关关系，如果自变量的变化范围有较大，就不能用直线近似，而必须用曲线回归。下面介绍几种常见的曲线，并给出适当的变换，把它们变成直线，即将这些非线性回归化为线性回归，这样上面的结果都可移植过来。（1）双曲线xaby1，令xtyv11即可化为线性回归（2）幂函数abxy，令xtyvlnln即可化为线性回归（3）指数函数axbey，令yvln即可化为线性回归（4）指数函数xabey，令xtyv1ln即可化为线性回归（5）对数函数xabyln，令xtln即可化为线性回归（6）其他类型可仿照上面进行转换。例题：（参见教材 P180 例 2.1 和 2.2）因为非线性回归方程有多种选择方法，究竟哪一种更好一些？通常是作出两种或更多一些回归方程，对它们的误差标准差)2/()(12nyySniii进行比较，S的值越小，说明拟合效果越好 三、多元线性回归 在实际问题中，R.V.y 往往与多个普通变量mxxx,21有关，这就要研究多元回归问题，如果 y 与这 m 个普通变量mxxx,21之间为线性关系，就是一个多元线性回归问题。数学模型为独立同分布niiimmiiNxxy,),0(212110 其它类似一元线性回归的讨论，这里不再重复，有需要的可以参看有关的专业书籍。
