第四章线性回归分析精选文档.ppt
第四章线性回归分析本讲稿第一页，共三十页第四章第四章 线性回归分析线性回归分析一、一、引言引言二、二、回归分析方法回归分析方法 三、三、软件实现软件实现 目录下页返回上页结束本讲稿第二页，共三十页20042004年全国数模竞赛的年全国数模竞赛的B B题题“电力市场的输电电力市场的输电 某电网有某电网有8 8台发电机组，台发电机组，6 6条主要线路，表条主要线路，表1 1和和表表2 2中的方案中的方案0 0给出了各机组的当前出力和各线路给出了各机组的当前出力和各线路上对应的有功潮流值，方案上对应的有功潮流值，方案132132给出了围绕方案给出了围绕方案0 0的一些实验数据，试用这些数据确定各线路上的一些实验数据，试用这些数据确定各线路上有功潮流关于各发电机组出力的近似表达式有功潮流关于各发电机组出力的近似表达式.阻塞管理阻塞管理”的第的第1 1个问题：个问题：一、引言一、引言目录下页返回上页结束本讲稿第三页，共三十页本讲稿第四页，共三十页本讲稿第五页，共三十页目录下页返回上页结束对本问题，我们采用多元线性回归分析，效果很好对本问题，我们采用多元线性回归分析，效果很好.二、回归分析方法二、回归分析方法例例 如图如图1 1是是1212组儿子身高组儿子身高 和父亲身高和父亲身高 数据数据 关系的散布点，采用直线拟合的示意图关系的散布点，采用直线拟合的示意图.设设6 6条线路上有功潮流为条线路上有功潮流为 ，8 8台发电台发电，该问题一般函数表达式：，该问题一般函数表达式：机组出力为机组出力为本讲稿第六页，共三十页 图图1 1 平面上散布点的直线拟合示意图平面上散布点的直线拟合示意图 目录下页返回上页结束本讲稿第七页，共三十页上面的示例中自变量只有一个，属一元回归分析上面的示例中自变量只有一个，属一元回归分析.如果自变量有多个，则属多元回归分析如果自变量有多个，则属多元回归分析.如如4.14.1中赛中赛就属多元回归分析就属多元回归分析.1.一元线性回归一元线性回归模型：模型：目录下页返回上页结束题，自变量是题，自变量是8 8台发电机组出力台发电机组出力,作回归分析作回归分析 其中其中 本讲稿第八页，共三十页找一条最好的直线通过找一条最好的直线通过 个已知的观测点，实际个已知的观测点，实际上就是寻找满足如下目标的直线参数上就是寻找满足如下目标的直线参数 目标函数：目标函数：利用高等数学可求解参数利用高等数学可求解参数 目录下页返回上页结束对一组观测值对一组观测值 ，满足：，满足：其中各其中各 相互独立且相互独立且 本讲稿第九页，共三十页记记则则有：有：目录下页返回上页结束本讲稿第十页，共三十页则则另外一个问题就是对另外一个问题就是对 的无偏估计问题的无偏估计问题.可以证明可以证明,的无偏估计为：的无偏估计为：目录下页返回上页结束这里这里,本讲稿第十一页，共三十页2.多元线性回归模型多元线性回归模型 模型：模型：个观测值个观测值,则满足则满足:目录下页返回上页结束是未知参数是未知参数.设设 是是的的 其中各其中各 相互独立，且相互独立，且 本讲稿第十二页，共三十页则方程组用矩阵表达为则方程组用矩阵表达为假定矩阵假定矩阵 的秩等于的秩等于.即列满秩即列满秩.目录下页返回上页结束令令 则则 解得解得 本讲稿第十三页，共三十页的无偏估计的无偏估计 当当 时，就变成一元回归分析，其参数时，就变成一元回归分析，其参数 的求解的求解及及 的无偏估计与一元回归分析得到的结论是一致的的无偏估计与一元回归分析得到的结论是一致的.3.回归模型的假设检验回归模型的假设检验当完成回归模型中参数及回归偏差当完成回归模型中参数及回归偏差 的估计后，的估计后，还需要对模型进行评价还需要对模型进行评价.包括包括:目录下页返回上页结束本讲稿第十四页，共三十页检验采用线性回归是否适合检验采用线性回归是否适合每一个变量是否对因变量起作用每一个变量是否对因变量起作用 采用线性回归好坏程度的度量采用线性回归好坏程度的度量 3.1 回归方程的显著性检验回归方程的显著性检验 当原假设当原假设 成立时，说明回归方程不显著成立时，说明回归方程不显著.当备选假设当备选假设 成立时，说明回归方程显著成立时，说明回归方程显著.目录下页返回上页结束至少有一个至少有一个 本讲稿第十五页，共三十页目录下页返回上页结束令令，考虑总离差平方和，考虑总离差平方和,称为剩余残差平方和称为剩余残差平方和.,称为回归平方和称为回归平方和.本讲稿第十六页，共三十页在在 成立的条件下，可以证明成立的条件下，可以证明且且 与与 相互独立，则相互独立，则 统计量统计量 的数值的数值 目录下页返回上页结束对给定显著水平对给定显著水平，可查表得，可查表得,计算计算 本讲稿第十七页，共三十页回归方程不显著回归方程不显著.3.2 回归系数的显著性检验回归系数的显著性检验 检验假设检验假设用，在回归模型中可以去掉用，在回归模型中可以去掉.目录下页返回上页结束若若,则拒绝则拒绝，即认为各系数不为，即认为各系数不为零，线性回归方程是显著的零，线性回归方程是显著的.否则接受否则接受,即认为线性即认为线性当原假设当原假设 成立时，说明自变量成立时，说明自变量 对对 不起作不起作本讲稿第十八页，共三十页当备选假设当备选假设 成立时，说明自变量成立时，说明自变量 对对 有作有作用，在回归模型中不能去掉用，在回归模型中不能去掉.对角线上的第对角线上的第 j+1 个元素个元素的条件下，有的条件下，有目录下页返回上页结束可以证明，可以证明，是是 的主对角的主对角而而,且且 与与 独立，则在独立，则在 成立成立本讲稿第十九页，共三十页认为认为 等于零等于零.3.3 复相关系数复相关系数对一个因变量和一组自变量和之间线性相关程度，对一个因变量和一组自变量和之间线性相关程度，复相关系数来度量复相关系数来度量.目录下页返回上页结束对给定的显著水平对给定的显著水平，查表得，查表得,计算计算统计量统计量的数值的数值，若，若 则拒绝则拒绝，即，即认为认为显著不为零显著不为零.若若 则接受则接受，即，即定义定义 本讲稿第二十页，共三十页变量变量之间线性相关程度越强之间线性相关程度越强.调整的复相关系数调整的复相关系数(Adjust ).其其定义定义如下如下:当当 和和 越接近越接近1.1.表示因变量表示因变量 与各自变量与各自变量 之间线性相关程度越强之间线性相关程度越强.三、软件实现三、软件实现解决线性回归问题的最常用软件有：解决线性回归问题的最常用软件有：Matlab，统计，统计软件软件SPSS和和SAS.目录下页返回上页结束，当，当 越接近越接近1 1，表示因变量，表示因变量 与各自与各自本讲稿第二十一页，共三十页1.1.SAS8求解过程求解过程1).1).启动启动SAS软件软件,鼠标点击鼠标点击Solutions-Analysis-Analyst,启动分析员启动分析员.2).2).在弹出的表中输入数据在弹出的表中输入数据,结果如图结果如图2.其中其中 132行为行为32组试验数据（方案组试验数据（方案0未选，后面将作为未选，后面将作为测试数据）测试数据）.8台机组的出力用台机组的出力用 表示，表示，6条条线路的潮流值用线路的潮流值用表示表示.（由于数据较多，可（由于数据较多，可将数据拷贝到记事本中，然后由将数据拷贝到记事本中，然后由SAS直接读入更方便直接读入更方便.）目录下页返回上页结束本讲稿第二十二页，共三十页图图2 2 SAS数据输入图数据输入图本讲稿第二十三页，共三十页3).3).鼠标点击鼠标点击Statistics-Regression-Linear在弹出对话框中在弹出对话框中(见图见图3),将左边文本框中将将左边文本框中将8个个自变自变量量选入选入Explanatory框中框中,将因变量将因变量 选入选入Dependent框中框中.然后点击然后点击OK即可执行回归分析即可执行回归分析.图图3 3 SAS线性回归对话框线性回归对话框目录下页返回上页结束本讲稿第二十四页，共三十页4).4).SAS进行回归分析结果见下面表进行回归分析结果见下面表3 3The REG ProcedureModel:MODEL1Dependent Variable:Y1 Analysis of Variance Source DF Sum of Squares Mean Square F Value Pr F Model 8 60.73531 7.59191 5861.52|t|Intercept 1 110.29651 0.44512 247.79 .0001 X1 1 0.08284 0.00084653 97.86 .0001 X2 1 0.04828 0.00191 25.21 .0001 X3 1 0.05297 0.00064256 82.44 .0001 X4 1 0.11993 0.00149 80.24 .0001 X5 1 -0.02544 0.00093315 -27.26 .0001 X6 1 0.12201 0.00126 96.45 .0001 X7 1 0.12158 0.00146 82.99 .0001 X8 1 -0.00123 0.00103 -1.19 0.2450表表.3 .3 SAS回归分析结果表回归分析结果表目录下页返回上页结束本讲稿第二十五页，共三十页从表中可以得到从表中可以得到,总离差平方和总离差平方和 =60.76510,回归平方和回归平方和=60.73531,残差平方和残差平方和=0.02979;回归得到的均方误差回归得到的均方误差 =0.03599,复相关系数复相关系数=0.9995,调整的复相关系数调整的复相关系数=0.9993.回归方程的系数在表中也可以完全得到回归方程的系数在表中也可以完全得到.该回归该回归方程为：方程为：目录下页返回上页结束=5861.52,而概率而概率 ,故不管故不管取检验水平取检验水平 或或 都说明回归显著都说明回归显著.本讲稿第二十六页，共三十页 SAS8可以同时完成了可以同时完成了6个回归模型参数及各指标个回归模型参数及各指标的计算的计算.上面只列出了上面只列出了 的回归计算的回归计算.其他其他5个回归方程个回归方程的计算可同时得到，这里就不一一列出的计算可同时得到，这里就不一一列出.2.2.线性回归的线性回归的Matlab实现实现回归分析的求解在回归分析的求解在Matlab中可用函数中可用函数regress实现实现.其使用格式为：其使用格式为：b,bint,r,rint,stats=regress(Y,X,alpha)其中其中Y为列向量，表达因变量的取值，为为列向量，表达因变量的取值，为2中的中的(11)式；式；X为矩阵，代表自变量的取值，为为矩阵，代表自变量的取值，为2中的中的(12)式式.Alpha 为置信水平，缺省时取为置信水平，缺省时取0.05.目录下页返回上页结束本讲稿第二十七页，共三十页b-参数参数 的取值，为列向量的取值，为列向量.bint-参数参数 的置信的置信度为度为(1-alpha)的置信区间的置信区间.当置当置信区间包含信区间包含0时，说明该参数未通过时，说明该参数未通过 检验，可认检验，可认认为认为0.r-残差向量，取值为残差向量，取值为Y-X.b.rint-残差的置信度为残差的置信度为(1-alpha)的置信区间的置信区间.stats-回归方程的统计量回归方程的统计量.stats(1)为复相关系数为复相关系数,stats(2)为为F值值,stats为为F值对应的概率值值对应的概率值.目录下页返回上页结束本讲稿第二十八页，共三十页参考文献参考文献 1 姜启源姜启源,谢金星谢金星.数学模型数学模型(第三版第三版).).北京：北京：高高等教育出版社等教育出版社,2003.2 2 薛定宇薛定宇,陈阳泉陈阳泉.高等应用数学问题的高等应用数学问题的MATLAB求解求解.北京：清华大学出版社北京：清华大学出版社,2004.3 3 田铮，肖华勇田铮，肖华勇.随机数学基础随机数学基础.北京：高等教育北京：高等教育出版社出版社,2005.目录下页返回上页结束本讲稿第二十九页，共三十页再见目录下页返回上页结束本讲稿第三十页，共三十页
