数学建模多元回归分析.ppt

《数学建模多元回归分析.ppt》由会员分享，可在线阅读，更多相关《数学建模多元回归分析.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数学建模多元回归分数学建模多元回归分析析现在学习的是第1页，共32页多元线性回归模型多元线性回归模型现在学习的是第2页，共32页多元线性回归模型多元线性回归模型 （概念要点）（概念要点）1.1.一个因变量与两个及两个以上自变量之间的回归一个因变量与两个及两个以上自变量之间的回归2.2.描描述述因因变变量量 y y 如如何何依依赖赖于于自自变变量量 x1 1 ，x x2 2 ，x xp 和和误差项误差项 的方程称为的方程称为多元线性回归模型多元线性回归模型多元线性回归模型多元线性回归模型3.涉及 p p 个自变量的多元线性回归模型可表示为个自变量的多元线性回归模型可表示为 0 0 ，p p是参数

2、是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 说说明明了了包包含含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关关系所解释的变异性系所解释的变异性现在学习的是第3页，共32页多元线性回归模型多元线性回归模型 （概念要点）（概念要点）对于 n 组实际观察数据(yi;xi1,，xi2，xip)，(i=1,2,n)，多元线性回归模型可表示为y1=0 0+1 1 x11+2 2 x12+px1p+1 1y2=0 0+1 1 x21+2 2 x22+px2p+2 2 y

3、n=0 0+1 1 xn1+2 2 xn2+pxnp+n 现在学习的是第4页，共32页多元线性回归模型多元线性回归模型（基本假定）（基本假定）1.自变量 x1，x2，xp是确定性变量，不是随机变量2.随机误差项的期望值为0，且方差2 都相同3.误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立现在学习的是第5页，共32页多元线性回归方程多元线性回归方程 （概念要点）（概念要点）1.描述 y 的平均值或期望值如何依赖于 x1，x1，xp的方程称为多元线性回归方程多元线性回归方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+p xp ，p p称为偏回归系数称为偏回归系

4、数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均平均变动值的平均平均变动值现在学习的是第6页，共32页多元线性回归方方程的直观解释多元线性回归方方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的y y)回归面回归面 0 0 i ix x1 1y yx x2 2(x x1 1,x x2 2)现在学习的是第7页，共32页多元线性回归的估计多元线性回归的估计(经验经验)方程方程1.1.总总体体回回归归参参数数 是是未未知知的的，利利用用样样本本数数据据去去估计估计2.2.用用样样

5、本本统统计计量量 代代替替回回归归方方程程中中的的 未未知知参参数数 即得到估计的回归方程即得到估计的回归方程 是是 估计值估计值 是是 y y 的估计值的估计值现在学习的是第8页，共32页参数的最小二乘估计参数的最小二乘估计现在学习的是第9页，共32页参数的最小二乘法参数的最小二乘法 （要点）（要点）2.2.根根据据最最小小二二乘乘法法的的要要求求，可可得得求求解解各回归参数 的标准方程如下1.使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即现在学习的是第10页，共32页回归方程的显著性检验回归方程的显著性检验现在学习的是第11页，共32页多重样本决定系数多重样本决定系数 （多重

6、判定系数（多重判定系数 R R2 2 ）1.1.回归平方和占总离差平方和的比例回归平方和占总离差平方和的比例2.2.反映回归直线的拟合程度反映回归直线的拟合程度3.3.取值范围在取值范围在 0,1 之间之间4.4.R R2 2 1 1，说明回归方程拟合的越好；，说明回归方程拟合的越好；R20 0，说明回归方程拟合的越差5.5.等于多重相关系数的平方，即等于多重相关系数的平方，即R R2=(=(R R)2 2现在学习的是第12页，共32页修正的多重样本决定系数修正的多重样本决定系数 （修正的多重判定系数（修正的多重判定系数 R R2 2 2 2 ）1.由于增加自变量将影响到因变量中被估计的回归方

7、程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2 2的值的值2.用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为现在学习的是第13页，共32页回归方程的显著性检验回归方程的显著性检验 （线性关系的检验线性关系的检验 ）1.1.检检验验因因变变量量与与所所有有的的自自变变量量和和之之间间的的是是否否存存在在一一个个显著的线性关系，也被称为显著的线性关系，也被称为总体的显著性总体的显著性总体的显著性总体的显著性检验2.检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应应用用 F F 检检验验来分析二者之间的差别是否显著n

8、 n如如果果是是显显著著的的，因因变变量量与与自自变变量量之之间间存存在在线线性性关关系系n n如如果果不不显显著著，因因变变量量与与自自变变量量之之间间不不存存在在线线性性关关系系现在学习的是第14页，共32页回归方程的显著性检验回归方程的显著性检验（步骤）（步骤）1.1.提出假设提出假设n nH H0 0：1 1 2 2 p p=0 =0 线性关系不显著线性关系不显著n nH H1 1：1 1，2 2，p p至少有一个不等于至少有一个不等于0 02.2.计算检验统计量F F3.确定显著性水平确定显著性水平 和分子自由度和分子自由度p、分母自由度、分母自由度n-p-1-1找找出临界值出临界值

9、F 4.4.作出决策：若作出决策：若F F F F，拒绝，拒绝H H0 0；若若F FF F，接受，接受H H0 0现在学习的是第15页，共32页回归系数的显著性检验回归系数的显著性检验（要点）（要点）1.如果F F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi i 对因变量对因变量 y 的影响是否显著2.对每一个自变量都要单独进行检验3.3.应用应用 t 检验检验4.在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验回归系数的显著性检验现在学习的是第16页，共32页回归系数的显著性检验回归系数的显著性检验 （步骤）（步骤）1.1

10、.提出假设提出假设n nH H0 0：i i=0 (=0 (自变量自变量 x xi i 与与 因变量因变量 y y 没有线性关系没有线性关系)n nH H1 1：i i 0 (0 (自变量自变量 x xi i 与与 因变量因变量 y y有线性关系有线性关系)2.计算检验的统计量 t3.确定显著性水平，并进行决策n t tt t，拒绝，拒绝H H0 0；t t F F0.050.05(2,7)=4.74(2,7)=4.74，回归方程显著，回归方程显著4.4.回归系数的显著性检验回归系数的显著性检验n nt t=9.35489.3548t t=0.3646=0.3646，；t t 2 2=4.79

11、62 4.7962 t t=2.3646=2.3646；两两个个回回归系数均显著归系数均显著一个含有四个变量的回归现在学习的是第20页，共32页第三节第三节 可化为线性回归的可化为线性回归的 曲线回归曲线回归一一.基本概念基本概念二二.非线性模型及其线性化方法非线性模型及其线性化方法现在学习的是第21页，共32页非线性回归非线性回归1.因变量 y 与 x 之间不是线性关系2.可通过变量代换转换成线性关系3.用最小二乘法求出参数的估计值4.并非所有的非线性模型都可以化为线性模型现在学习的是第22页，共32页几种常见的非线性模型几种常见的非线性模型 指数函数2.线性化方法n两端取对数得：两端取对数

12、得：lnlny y =ln=ln +x xn令：令：y y =ln=lny y，则有，则有y y =lnln +x x1.基本形式：3.3.图像图像 现在学习的是第23页，共32页几种常见的非线性模型几种常见的非线性模型 幂函数2.线性化方法n两端取对数得：两端取对数得：lg lg y y=lg=lg +lglg x xn令：令：y y =lg=lgy y，x x=lg=lg x x，则则y y =lglg +x x 1.基本形式：3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 现在学习的是第24页，共32页几种常见的非线性模型几种常见的非线性模型 双曲线函数2

13、.线性化方法n令：令：y y =1/=1/y y，x x=1/=1/x x,则有则有y y =+x x 1.基本形式：3.3.图像图像 0 0 0现在学习的是第25页，共32页几种常见的非线性模型几种常见的非线性模型 对数函数2.线性化方法nx x=lg=lgx x,则有则有y y =+x x 1.基本形式：3.图像 0 0 0 0 现在学习的是第26页，共32页几种常见的非线性模型几种常见的非线性模型 S 型曲线2.线性化方法n令：令：y y =1/=1/y y，x x=e=e-x x,则有则有y y =+x x 1.基本形式：3.图像现在学习的是第27页，共32页非线性回归非线性回归（实例

14、）（实例）【例例】为为研研究究生生产产率率与与废废品品率率之之间间的的关关系系，记记录录数数据如下表。试拟合适当的模型。据如下表。试拟合适当的模型。废品率与生产率的关系废品率与生产率的关系废品率与生产率的关系废品率与生产率的关系生产率（周生产率（周/单位单位)x1000200030003500 4000 4500 5000废品率（废品率（%）y5.26.56.88.110.210.313.0现在学习的是第28页，共32页非线性回归非线性回归（实例）（实例）生产率与废品率的散点图现在学习的是第29页，共32页非线性回归非线性回归（实例）（实例）1.用线性模型：y=01x+，有 y=2.671+0

15、.0018x2.用指数模型：y=x ，有 y=4.05(1.0002)x x3.比较 直线的残差平方和5.3371指数模型的残差平方和6.11。直线模型略好于指数模型现在学习的是第30页，共32页本章小结本章小结1.相关系数与相关分析相关系数与相关分析2.一一元元线线性性回回归归模模型型、回回归归方方程程与与估估计计的的回回归方程归方程3.多多元元线线性性回回归归模模型型、回回归归方方程程与与估估计计的的回回归方程归方程4.回归方程与回归系数的显著性检验回归方程与回归系数的显著性检验5.非线性回归的线性化非线性回归的线性化5.用用Excel 进行回归分析进行回归分析现在学习的是第31页，共32页结结 束束现在学习的是第32页，共32页