数学建模多元回归分析 (2).ppt

数学建模多元回归分析数学建模多元回归分析现在学习的是第1页，共29页多元线性回归模型多元线性回归模型现在学习的是第2页，共29页多元线性回归模型多元线性回归模型 （概念要点）（概念要点）1.一个因变量与两个及两个以上自变量之间的回归2.描述因变量 y y 如如何何依依赖赖于于自自变变量量 x x1，x2 2，xp p 和和误差项误差项 的方程称为的方程称为多元线性回归模型多元线性回归模型3.3.涉及涉及 p p 个自变量的多元线性回归模型可表示为个自变量的多元线性回归模型可表示为 0 0 ，p p是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 说说明明了了包包含含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关关系所解释的变异性系所解释的变异性现在学习的是第3页，共29页多元线性回归模型多元线性回归模型 （概念要点）（概念要点）对于 n 组实际观察数据(yi;xi1,，xi2，xip)，(i=1,2,n)，多元线性回归模型可表示为y1=0 0+1 1 x11+2 2 x12+px1p+1 1y2=0 0+1 1 x21+2 2 x22+px2p+2 2 yn=0 0+1 1 xn1+2 2 xn2+pxnp+n 现在学习的是第4页，共29页多元线性回归模型多元线性回归模型（基本假定）（基本假定）1.自变量 x1，x2，xp是确定性变量，不是随机变量2.随机误差项的期望值为0，且方差2 都相同3.误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立现在学习的是第5页，共29页多元线性回归方程多元线性回归方程 （概念要点）（概念要点）1.描述 y 的平均值或期望值如何依赖于 x1，x1，xp的方程称为多元线性回归方程多元线性回归方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+p xp ，p p称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动动一个单位时，一个单位时，y y 的平均平均变动值的平均平均变动值现在学习的是第6页，共29页多元线性回归方方程的直观解释多元线性回归方方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的y y)回归面回归面 0 0 i ix x1 1y yx x2 2(x x1 1,x x2 2)现在学习的是第7页，共29页多元线性回归的估计多元线性回归的估计(经验经验)方程方程1.总体回归参数 是未知的，利用样本数据去估计2.2.用用样样本本统统计计量量 代代替替回回归归方方程程中中的的 未未知知参参数数 即得到估计的回归方程 是是 估计值估计值 是是 y y 的估计值的估计值现在学习的是第8页，共29页参数的最小二乘估计参数的最小二乘估计现在学习的是第9页，共29页参数的最小二乘法参数的最小二乘法 （要点）（要点）2.根据最小二乘法的要求，可得求解各各回回归归参参数数 的的标准方程如下标准方程如下1.使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即现在学习的是第10页，共29页回归方程的显著性检验回归方程的显著性检验现在学习的是第11页，共29页多重样本决定系数多重样本决定系数 （多重判定系数（多重判定系数 R R2 2 ）1.回归平方和占总离差平方和的比例2.2.反映回归直线的拟合程度反映回归直线的拟合程度3.取值范围在 0,1 0,1 之间4.4.R2 1 1，说明回归方程拟合的越好；，说明回归方程拟合的越好；R2 20，说明回归，说明回归方程拟合的越差方程拟合的越差5.等于多重相关系数的平方，即R2=(R)2现在学习的是第12页，共29页修正的多重样本决定系数修正的多重样本决定系数 （修正的多重判定系数（修正的多重判定系数 R R2 2 ）1.由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值2.用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为现在学习的是第13页，共29页回归方程的显著性检验回归方程的显著性检验 （线性关系的检验线性关系的检验 ）1.检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总总体体的的显显著著性性检验2.检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应应用用 F 检检验验来分析二者之间的差别是否显著n n如果是显著的，因变量与自变量之间存在线性关系如果是显著的，因变量与自变量之间存在线性关系n n如果不显著，因变量与自变量之间不存在线性关系如果不显著，因变量与自变量之间不存在线性关系现在学习的是第14页，共29页回归方程的显著性检验回归方程的显著性检验（步骤）（步骤）1.提出假设n nH H0 0：1 1 2 2 p p=0 =0 线性关系不显著线性关系不显著n nH H1 1：1 1，2 2，p p至少有一个不等于至少有一个不等于0 02.计算检验统计量F F3.确定显著性水平确定显著性水平 和分子自由度和分子自由度p、分母自由度、分母自由度n-pn-p-1-1找找出临界值出临界值F F 4.作出决策：若F F F ，拒绝H0；若若F FF F，接受，接受H H0现在学习的是第15页，共29页回归系数的显著性检验回归系数的显著性检验（要点）（要点）1.如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著2.对每一个自变量都要单独进行检验3.应用 t 检验4.在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验现在学习的是第16页，共29页回归系数的显著性检验回归系数的显著性检验 （步骤）（步骤）1.提出假设n nH H0 0：i i=0 (=0 (自变量自变量 x xi i 与与 因变量因变量 y y 没有线性关系没有线性关系)n nH H1 1：i i 0 (0 (自变量自变量 x xi i 与与 因变量因变量 y y有线性关系有线性关系)2.计算检验的统计量 t3.确定显著性水平，并进行决策 t tt t，拒绝，拒绝H H0 0；t t F F0.050.05(2,7)=4.74(2,7)=4.74，回归方程显著，回归方程显著4.4.回归系数的显著性检验回归系数的显著性检验 t t=9.35489.3548t t=0.3646=0.3646，；t t 2 2=4.7962 4.7962 t t=2.3646=2.3646；两两个个回回归系数均显著归系数均显著一个含有四个变量的回归现在学习的是第20页，共29页第三节第三节 可化为线性回归的可化为线性回归的 曲线回归曲线回归一一.基本概念基本概念二二.非线性模型及其线性化方法非线性模型及其线性化方法现在学习的是第21页，共29页非线性回归非线性回归1.因变量 y 与 x 之间不是线性关系2.可通过变量代换转换成线性关系3.用最小二乘法求出参数的估计值4.并非所有的非线性模型都可以化为线性模型现在学习的是第22页，共29页几种常见的非线性模型几种常见的非线性模型 指数函数2.线性化方法两端取对数得：两端取对数得：lnlny y =ln=ln +x x令：令：y y =ln=lny y，则有，则有y y =lnln +x x1.基本形式：3.图像 现在学习的是第23页，共29页几种常见的非线性模型几种常见的非线性模型 幂函数2.线性化方法两端取对数得：两端取对数得：lg lg y y=lg=lg +lglg x x令：令：y y =lg=lgy y，x x=lg=lg x x，则则y y =lglg +x x 1.基本形式：3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 现在学习的是第24页，共29页几种常见的非线性模型几种常见的非线性模型 双曲线函数2.线性化方法令：令：y y =1/=1/y y，x x=1/=1/x x,则有则有y y =+x x 1.基本形式：3.图像 0 0 0现在学习的是第25页，共29页几种常见的非线性模型几种常见的非线性模型 对数函数2.线性化方法x x=lg=lgx x,则有则有y y =+x x 1.基本形式：3.图像 0 0 0 0 现在学习的是第26页，共29页几种常见的非线性模型几种常见的非线性模型 S 型曲线2.线性化方法令：令：y y =1/=1/y y，x x=e=e-x x,则有则有y y =+x x 1.基本形式：3.图像现在学习的是第27页，共29页非线性回归非线性回归（实例）（实例）【例例】为研究生产率与废品率之间的关系，记录数据如下表。试拟合适当的模型。废品率与生产率的关系废品率与生产率的关系废品率与生产率的关系废品率与生产率的关系生产率（周生产率（周生产率（周生产率（周/单位单位单位单位)x x10001000200020003000300035003500400040004500450050005000废品率（废品率（废品率（废品率（%）y y5.25.26.56.56.86.88.18.110.210.210.310.313.013.0现在学习的是第28页，共29页非线性回归非线性回归（实例）（实例）生产率与废品率的散点图现在学习的是第29页，共29页