《统计学》线性回归模型解析优秀PPT.ppt

《《统计学》线性回归模型解析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《《统计学》线性回归模型解析优秀PPT.ppt（92页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第八章回来和相关分析第八章回来和相关分析11 导言导言2 在自然界和人类社会中，常常会遇到一些变量共处于一个统一体中，他们相互联系，相互制约，在确定条件下相互转化。社会经济现象尤其如此。例如某生产厂家的生产费用由所生产的产品数量和各种生产投入要素的价格等因素所确定。3 在社会经济现象中，变量之间的关系大致可以分为两种：1).函数关系 2).统计关系。4 函数关系：变量之间依确定的函数形式形成的一一对应关系称为函数关系。若两个变量分别记作y和x，则当y 与x之间存在函数关系时，x值一旦被指定，y值就是唯一确定的。函数关系可以用公式精确的反映出来，一般记为y=f(x)。5 例如，某种商品的销售额

2、(y)与销售量(x)之间的关系，在销售价格(p)确定的条件下，只要给定一个商品销售量，就有一个唯一确定的商品销售额与之对应，用公式表示为y=p(x)。6 统计关系：两个变量之间存在某种依存关系，但变量Y并不是由变量X唯一确定的，它们之间没有严格的一一对应关系。两个变量之间的这种关系就是统计关系，也称为相关关系。7 相关关系与函数关系有特殊亲密的联系。在实际中，由于视察和测量误差等缘由，函数关系往往是通过相关关系表现的，而在探讨相关关系时，又常用函数关系作为工具，以相应的函数关系数学表达式表现相关关系的一般数量关系。8 例如：同样收入的家庭，用于食品的消费支出往往并不相同。因为对家庭食品费用的影

3、响，不仅有家庭收入的多少，还有家庭人口，生活习惯等因素，所以，家庭食品费用支出与家庭收入之间不是函数关系，而是相关关系。9 在含有变量的系统中，考察一些变量对另一些变量的影响，它们之间可能存在一种简洁的函数关系，也可能存在一种特殊困难的函数关系。有些变量之间的关系是非确定性的关系，这种关系无法用一个精确的数学来表示。10 我们须要区分两种主要类型的变量。一种变量相当于通常函数关系中的自变量，它或者能限制或者虽不能限制但可观测，这种变量称为自变量。自变量的变更能波及另一些变量，这样的变量称为因变量。人们通常感爱好的问题是自变量的变更对因变量的取值有什么样的影响。11 回来分析正是探讨自变量的变动

4、对因变量的变动的影响程度，其目的在于依据已知自变量的变更来估计或预料因变量的变更状况。12 回来的内容包括如何确定因变量与自变量之间的回来模型；如何依据样本观测数据估计并检验回来模型及未知参数；在众多的自变量中，推断哪些变量对因变量的影响是显著的，哪些变量的影响是不显著的；依据自变量的已知值或给定值来估计和预料因变量的平均值等等。13 线性回来分析是探讨变量与变量之间的线性相关关系。从分析的内容上看，线性回来是建立变量间的拟合线性相关模型，主要用于估计和预料。线性回来模型应用领域极为广泛，在很多领域里都有应用特殊成功的例子，它是现代应用统计分析方法中的重要内容之一。14 一元线性回来模型一元线

5、性回来模型158.2.1 一元线性回来模型的数学表示式一元线性回来模型的数学表示式 假如两个变量之间存在相关关系，并且一假如两个变量之间存在相关关系，并且一个变量的变更会引起另一个变量按某一线个变量的变更会引起另一个变量按某一线性关系变更，则两个变量间的关系可以用性关系变更，则两个变量间的关系可以用一元线性回来模型描述。一元线性回来模型描述。16 其数学模型为：y=(8-1)其中，y 为因变量，x为自变量，为模型参数，为回来截距，为回来系数，为随机误差项，且N(0,).17 在实际问题中，(8-1)中的模型参数 是未知的，通常只能在自变量的一些点上对因变量进行观测，得到确定量的数据，由数据动身

6、对模型进行推断。188.2.2 回来系数回来系数 的最小二乘估计。的最小二乘估计。n 假定（）,（）,（）为n次独立试验所得到的样本观测值，则有 n ，i=1,2,n (8-2)n 其中i,i=1,2,n为随机误差项，对i,i=1,2,n的基本假定是i,i=1,2,n相互独立，听从N(0,)分布。19 记 Q()=Q()是直线y=对于全部数据点的偏差平方和。取直线y=使得 Q()达到最小 即 Q()=Q()，z用y=来估计回来直线，这种方法称为最小二乘法。20 为求与 分别对应的最小二乘估计 ，留意到Q()是 的非负二次函数，因此最小值点存在且唯一，应满足以下方程组：21 求解方程组得：其中

7、，228.2.3利用最小二乘法所得到的估计量利用最小二乘法所得到的估计量 有如下性质：有如下性质：(1）分别是 的无偏估计。（2）和 的最小二乘估计 和 为“方差最小”线性无偏估计（3）的无偏估计为 :23 在实际中，方差 是未知的，因此，可用估计量 来估计 。24 例题例题1、在某类企业中随机抽取、在某类企业中随机抽取10个企业，个企业，搜集它们的产量和生产费用状况，获得数搜集它们的产量和生产费用状况，获得数据如表据如表1所示：所示：25表1 企业产量和生产费用 26 我们可作出散点图，易看出变量x与y之间的关系近似可看作是线性关系，依据表1的数据，利用最小二乘法，求一元线性回来方程，27以

8、下列出的为计算表28 29 =134.7909+0.3978x为所求的一元回来模型。308.2.4 一元线性回来模型的检验一元线性回来模型的检验 我们依据样本观测值，利用最小二乘法建立起一元线性回来模型 =，该模型是否满足回来模型的基本假设，还须要进行统计检验。31 统计检验应包括两方面的内容：一是回来方程的显著性检验，即反映回来模型 =对样本观测值的拟合程度如何;一是回来系数的显著性检验，即检验变量y与变量x之间是否能用线性关系来描述；以下介绍三种检验的方法：32（1）回来模型的拟合程度的测度 变量y的各个观测点聚集在回来直线 =四周的紧密程度，称为回来直线对样本数据点的拟合程度，常用可决系

9、数R2来表示。33 总的离差平方和 SST=+34 因为 =0 故 SST=记 SSR=，SSE=则 SST=SSR+SSE (8-5)SSR称为回来平方和，SSE称为残差平方和35 (8-5)可作如下说明：因变量的总变更量（有SST表示）可分成两部分之和，其中一部分是由自变量所引起的变更（由SSR刻画），另一部分是随机误差所引起的变更（由SSE刻画）。变量y的各个观测值点与回来直线越靠近，SSR在SST中所占的比重越大，可见，比值SSR/SST的大小，能反映回来模型拟合程度的优劣。36 由此，可定义统计量：R2=R2称为“可决系数”,明显，0R21。当R2接近于1时，回来平方和SSR在总的平

10、方和SST中所占的比重大，说明自变量对因变量的影响较大；反之，当R2接近与0时，回来平方和SSR在总的平方和SST中所占的比重小，说明自变量对因变量的影响较小。综上所述，R2越接近与1，说明模型越有效，R2越接近与0，说明模型越无效。应当留意的是，R2通常只用于模型有效性的一个大致的推断。37 R2称为“可决系数”,明显，0R21。当R2接近于1时，回来平方和SSR在总的平方和SST中所占的比重大，说明自变量对因变量的影响较大；反之，当R2接近与0时，回来平方和SSR在总的平方和SST中所占的比重小，说明自变量对因变量的影响较小。综上所述，R2越接近与1，说明模型越有效，R2越接近与0，说明模

11、型越无效。应当留意的是，R2通常只用于模型有效性的一个大致的推断。38 可决系数R2只说明白回来方程对样本视察值拟合程度的好坏，却不能表示回来直线估计值与变量y的各实际视察值的确定离差的数额。估计标准误差则是反映回来估计值与样本实际视察值的平均差异程度的指标，用Syx表示估计标准误差，其计算公式为：Syx =39 若估计标准误差Syx小，表示各实际视察值与回来估计值平均差异小，实际视察点靠近回来直线，回来直线的拟合程度好，代表性高；若样本视察点全部落在直线上，则Syx=0，说明样本实际值与估计值没有差别。若Syx大，则说明回来直线拟合不好，代表性差。40 估计标准误差也可化简为 Syx =41

12、（2）回来系数的显著性检验一元线性回来模型中，一次项系数 是一个关键的量，通过 可反映自变量x的变动对因变量y的影响。若 =0意味着y不随x变动而变动，因此y与x之间不存在线性关系；若 0，说明变量y与x之间存在线性关系；当 0时，x对y的影响为正效应；当 =45假设的检验决策规则是：若|t|,则拒绝接受原假设H0;若|t|时说明变量y与x之间存在线性关系；|t|,则拒绝接受原假设H0;若|t|（1，n-2）时，则拒绝接受原假设H0 若F （1，n-2）时，回来方程的回来效果是显著的；F (1，8)=11.26，所以，拒绝接受H0，即生产费用和参量之间存在着特殊显著的线性关系。56825 一元

13、线性回来模型的应用一元线性回来模型的应用 回来模型在应用领域里一项重要的探讨内容是如何利用回来模型进行预料，预料就是在确定自变量的某一个值时，求相应的因变量y的估计值，其中可分为点预料和区间预料。57 （1）点预料 点预料是将自变量的预料值代入回来模型=，所得到的因变量y的值作为与相对应的的预料，不难验证，是无偏预料。58（2）区间预料 类似于对参数作置信区间估计，可对预料作指定置信水平的预料区间，这样可以以相当大的概率保证预料的“方向”及精度。59 对于与 相对应的值为 ，由于样本的不得到的回来模型的 ，会不同，通过 =预料的 ，这个 与 之间总存在确定的抽样误差，可证明（)N0,60 其中

14、 ，因此，的概率为1-的 预料区间为61 因而，对于给定的置信水平1-，有 ,为 的置信水平100(1-)%的预料区间。62例题例题3、依据例题、依据例题1中所建立的回来模型，给中所建立的回来模型，给定定x0=50（千个）时，试预料（千个）时，试预料y0,并求并求=0.05时时y0的预料区间。的预料区间。63解：当x0=50时，=134.7909+0.397850=154.6809 （千元）=（8）=2.306 =26.3301 所以，（128.3607，181.0209）为y0的置信水平95%的预料区间。643 多元线性回来模型及其应用多元线性回来模型及其应用 一元线性回来将影响因变量的自变

15、量限制在一个，但在实际中，社会经济现象的困难性确定了某一现象的变动往往受多种因素的影响。如某种产品单位成本的凹凸受产品原材料消耗量，原材料价格，产品产量等多种因素影响；企业的利润受产品销售收入，产品销售成本，期间费用等因素影响，这就须要探讨两个或两个以上自变量对因变量的影响。一个因变量与多个自变量之间的线性相关关系称为多元线性回来。658.3.1多元线性回来模型的数学表示式为：多元线性回来模型的数学表示式为：y=(8-6)其中，y为因变量，i=1,2,n为自变 量.，i=0，1，,k为回来参数，为随机变量，且 668.3.2 参数的最小二乘估计参数的最小二乘估计 事实上，回来参数 ,通常是未知

16、的，须要对其进行估计。假定对于自变量 ,+和因变量y已得到n次观测，第i 次观测值为（），i=1,2,n67 于是有 =i=1,2,n 其中，为相互独立的随机变量，且 。68 回来参数 ,常用最小二乘法来估计，记 Q(,)=69 求它的最小值点（），即 Q()=Q(,)则 就是 ,的最小二乘估计。70令 Q对 ,的一阶偏导数为零，即可求出最小二乘估计。(j=1,2,n)71将上述方程组整理可得到 (8-7)方程组（8-7）称为“正规方程组”。72记 73则模型（8-6）可表示为 Y=X +正规方程组（8-7）可表示为（XTX）=XTY74当k+1阶方阵XTX满秩时，（即等价于r(X)=k+1）

17、,可解出 的唯一最小二乘估计这样就得到了y的估计式可以看出，最小二乘估计是y的观测值的线性函数，且是 的无偏估计。75因为 E()=(XTX)-1XTE(y)=(XTX)-1XTX =类似于一元线性模型，可证明最小二乘估计 为 的“方差最小”线性无偏估计，“方差最小”可理解为：对 的每个重量，最小二乘估计的方差最小。768.3.3 多元线性回来模型的检验多元线性回来模型的检验 多元线性回来模型的检验包括两个方面：对回来模型的拟合程度的评价，和回来线性相关关系的检验，方法和一元线性回来类同。778.3.4 多元线性回来模型的应用多元线性回来模型的应用 在多元线性回来模型中，预料的方法与一元线性回

18、来模型的状况特殊类似，建立了线性回来模型 之后，便可用它对有关变量进行预料。78 给定 ，对应的因变量记为y0，则y0的点估计可由模型 求得。79 若记 ，则 可证明 N 于是 N(0,1)用 代替 ，便有 t(n-k-1)80 对于给定的 ，的置信度为100（1-）%的置信区间为81 4 回来分析中的一些特殊问题回来分析中的一些特殊问题82 前面我们介绍了线性回来模型的建立和应用，一元线性回来分析在实际中应用并不广泛，而更多的是多元线性回来模型，但在实际中，正确应用线性回来模型分析实际问题并不是一件简洁的事。由于有多个自变量，以下我们来介绍回来分析中的一些特殊问题。838.4.1 自变量的选

19、择问题自变量的选择问题 在建立一个回来模型时，我们要将全部可能对因变量产生影响的自变量考虑到模型中去，而通常在全部备选的自变量中，只有一部分真正对因变量有影响，这样的变量称为有效变量，而其它的则可能对因变量没有影响，称为无效变量。因此须要将有效变量保留在模型中，而无效变量应从模型中去掉，这样就产生了自变量的筛选问题，具体方法略。848.4.2多重共线型问题多重共线型问题 在很多场合，如社会探讨，时常分析等领域中，自变量是随机的，在这种状况下，自变量之间就会有很强的统计相关性，即多重共线性。由于样本数据间存在着线性相关关系而产生的问题就称为多重共线性问题。因此检验多重共线型问题是必要的，具体方法

20、略。85 在多重共线性现象中，一种极端状况是自变量间的相关系数为，这种状况称为完全的多重共线性现象。此时，某个自变量可表示为其它自变量的线性组合，则有X的秩小于k+1,XTX的逆不存在。86 而在建立线性回来接近于零，这时虽然XTX的逆存在且可求出回来参数的唯一的最小二乘估计量，但对应的估计量方差将会随着相关程度的不断增加而增大，回来参数的估计量的方差不断地增加，使得其置信区间不断增大，从而回来系数估计值的精度下降，我们便不能精确的分析有关自变量对因变量的真正影响。另外，估计量的方差增大，也使我们在回来系数检验中简洁得到不显著的结果。878.4.3 自相关问题自相关问题在探讨线性模型 i=1,

21、2,n其中假定了随机误差项之间是相互独立的即:N(0,)=88 但在实际中，特殊是在经济分析中，大多数时间序列的资料都具有时滞性，如投资，收入，消费，就业等，这样的时间序列资料中依次观测数据之间存在着相关现象，这种相关现象又将反映到 中去，使得随机误差项 之间存在着确定程度的相关关系。随机误差项 与 ，相关称为自相关，与 相关称为r阶自相关，而最常见的是一阶自相关，即 与 相关。89以下我们探讨的是一阶自相关问题:设模型为 (8-8)i=1,2,n 其中满足 0，则 之间存在正自相关现象；若 0，则 之间存在负相关现象。91 随机误差项 的自相关现象将使得回来参数 不再是最小方差估计量，估计量的方差增大，估计精度将会下降；估计量 不能精确地估计 ，从而会引起与 有关的结论产生错误。因此，须要弄清随机误差项之间是否存在 自相关现象，具体方法略。92