回归与相关分析讲稿.ppt

《回归与相关分析讲稿.ppt》由会员分享，可在线阅读，更多相关《回归与相关分析讲稿.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、回归与相关分析第一页，讲稿共三十三页哦第七章要点提示第七章要点提示 本章对两个变量的相互关系进行分析，是多元统计分析的基本章对两个变量的相互关系进行分析，是多元统计分析的基石。学习时石。学习时首先要求区分首先要求区分“回归回归”术语古今含义的不同之处，充分认术语古今含义的不同之处，充分认识一元线性回归与相关分析的基础地位；识一元线性回归与相关分析的基础地位；熟悉回归关系与相关关系熟悉回归关系与相关关系的本质区别及两者在统计表述方法上的联系（如的本质区别及两者在统计表述方法上的联系（如r与与b在数学意义上的统在数学意义上的统一性）和各自的侧重点；一性）和各自的侧重点；重点掌握直线回归与相关分析的

2、显著性检重点掌握直线回归与相关分析的显著性检验方法和双变量回归模型的协方差分析技术，以便将统计控制手段与试验方法和双变量回归模型的协方差分析技术，以便将统计控制手段与试验控制手段一起综合运用到试验设计和统计分析中去。验控制手段一起综合运用到试验设计和统计分析中去。涉及教材内容：第九章全五节，第十章、第十一章各一节。涉及教材内容：第九章全五节，第十章、第十一章各一节。作业布置：作业布置：教材教材第十、十一章所余三节内容自习第十、十一章所余三节内容自习；教材教材P191 P191 T5、T6、T9；P224 P224 T7。第二页，讲稿共三十三页哦第一节第一节 直线回归直线回归一、回归的含义一、回

3、归的含义 “回归回归”原文为原文为regression，该术语最先由，该术语最先由英国的英国的F.Galton于于1886年左右研究人类身高遗年左右研究人类身高遗传的规律时所作的传的规律时所作的“高尔顿解释高尔顿解释”中使用，详中使用，详情如右图所示：情如右图所示：高尔顿对此所作的解释是：大自然有高尔顿对此所作的解释是：大自然有一种约束机制，使人类身高分布保持某种稳定形态一种约束机制，使人类身高分布保持某种稳定形态而不作两极分化，也就是有而不作两极分化，也就是有回归于中心的作用回归于中心的作用，这个中心值这个中心值即该种族身高在一定历史时期的平即该种族身高在一定历史时期的平均值。均值。现在就现

4、在就“回归回归”所作的定义是：所作的定义是：如果两个变量如果两个变量X和和Y，总是，总是Y随着随着X的变化的变化而变化，且这种而变化，且这种变化关系不可逆变化关系不可逆，则称，则称X和和Y为为回归关系。其中：回归关系。其中：X叫自变量叫自变量dependent variable；Y叫因变叫因变量或依变量量或依变量independent variable。高高：xg 71 72 g (69)64 a矮矮：xa 67 调查调查n 1074个家庭，统计结果：个家庭，统计结果：X 68英寸英寸 69英寸英寸得：得：X 1 (1英寸英寸2.54cm)但分组统计的结果却并非如此但分组统计的结果却并非如此父

5、母为高个子组时，父母为高个子组时，g 721父母为矮个子组时，父母为矮个子组时，a 641 走向指回归的本意走向指回归的本意 走向指回归的今义走向指回归的今义第三页，讲稿共三十三页哦第一节第一节 直线回归直线回归二、建立直线回归方程二、建立直线回归方程 例例7.1 一些夏季害虫的盛发期迟早与春季一些夏季害虫的盛发期迟早与春季温度高低有关。江苏武进县观察温度高低有关。江苏武进县观察1956-1964年年3 月下旬至月下旬至4 月中旬的月中旬的3 段旬均温累积值段旬均温累积值X和一代三化螟盛发期和一代三化螟盛发期Y(5月月10日起算日起算)所得所得结果如下，试予分析。结果如下，试予分析。解解 描散

6、点图描散点图 本例已知害虫盛发期迟早随春季气温的变本例已知害虫盛发期迟早随春季气温的变化而变化，且不可逆，又据散点图反映的化而变化，且不可逆，又据散点图反映的趋势来看，在趋势来看，在3045的温度范围，盛发的温度范围，盛发期天数随值呈下降的线性变化关系。期天数随值呈下降的线性变化关系。故可假定直线回归方程为：故可假定直线回归方程为：y a bx 读作读作“Y依依x直线回归直线回归”30 35 40 45年份195619571958195919601961196219631964X()35.534.131.740.336.840.231.739.244.2333.7Y(d)12169273139

7、170y a bx第四页，讲稿共三十三页哦第一节第一节 直线回归直线回归数据整理数据整理 由原始数据算出由原始数据算出一级数据一级数据6个个：X333.7 Y70 XY2436.4X 212517.49 Y 2794 n9 再由一级数据算出再由一级数据算出二级数据二级数据5个个：SSX X 2 (X)2/n144.64SSY Y 2 (Y)2/n 249.56SP XY X Y/n 159.04 XX/n 37.08 Y/n 7.78计算计算三级数据三级数据 b SP/SSX 1.10 (159.04)144.64 a bX48.55 7.78(1.10)37.08 得所求直线回归方程为：得所

8、求直线回归方程为：y 48.55 1.10 xy 48.55 1.10 x30 35 40 4531.744.2第五页，讲稿共三十三页哦第一节第一节 直线回归直线回归三、直线回归关系的显著性检验三、直线回归关系的显著性检验 将将a bx 代入代入Y a bx 得：得：y b(xx)及及 y b(xx)于是由因变量离均差的两个线性分量：于是由因变量离均差的两个线性分量：(Y)2(Yy)(y )2 可推导出因变量总可推导出因变量总SS的如下分解公式：的如下分解公式：(Y)2(Yy)2(y )2 简写成：简写成：SSY SSQ SSU Q U分别叫分别叫“离回归离回归平方和平方和”与与“回归回归平方

9、和平方和”其计算公式及本例分解结果：其计算公式及本例分解结果：SSUSP2/SSX159.042/144.64 174.89 SSQSSY SSU249.56174.8974.67 故故 F MSU/MSQ 16.4*(F0.01,1,712.25)(174.891)/(74.677)表明双变量直线回归关系极显著表明双变量直线回归关系极显著,所得方程所得方程 y 48.55 1.10 x可用于预测。可用于预测。也可对回归系数进行也可对回归系数进行t-test来证实。来证实。只是要利用只是要利用df(分子分子)1时，时，Ft2的关系的关系推导出回归系数的标准误推导出回归系数的标准误SbSe/SS

10、X其中，其中，Se2SSQ/dfQ 74.677 10.67于是于是t-test的步骤如下：的步骤如下：(1)H0:=0(为回归系数为回归系数b的真值的真值)(2)Sb Se2/SSX 0.2715 10.67144.64 t(b)Sb(-1.1)0.2715-4.05(3)按自由度按自由度 7 查得两尾查得两尾 t0.01=3.50(4)推断：推断：t t0.01 H0 不成立。不成立。可见可见t-test与与F-test的效果完全一致。的效果完全一致。若显著性检验结果不显著若显著性检验结果不显著,则则三选一：三选一：Y与与X没有回归关系；没有回归关系；Y与与X有回归关系，但不是直线回归；有

11、回归关系，但不是直线回归；Y与与X有回归关系，但不是简单回归，有回归关系，但不是简单回归，而是多元回归。而是多元回归。第六页，讲稿共三十三页哦第二节第二节 直线相关直线相关一、相关的含义一、相关的含义 如果两个变量如果两个变量X和和Y，总是，总是X和和Y 相互制约、相互制约、平行变化平行变化，则称，则称X和和Y为相关关系。为相关关系。此时，此时，X和和Y没有严格意义上的自变量和因变没有严格意义上的自变量和因变量之分，既可以说量之分，既可以说Y随着随着X的变化而变化，的变化而变化，也可也可以讲以讲X随着随着Y 的变化而变化。即不存在谁决定的变化而变化。即不存在谁决定谁或谁依赖谁的问题。谁或谁依赖

12、谁的问题。如人或动物的胸围和体重，作物的生物产量和如人或动物的胸围和体重，作物的生物产量和经济产量，树干的胸径与材积等。经济产量，树干的胸径与材积等。可见，相关关系以双向、平行为特征。可见，相关关系以双向、平行为特征。但相关关系如果仅从数学角度看，和回但相关关系如果仅从数学角度看，和回归关系是统一的，因为其双变量变化规律如归关系是统一的，因为其双变量变化规律如果是线性关系的话，也可以由根据果是线性关系的话，也可以由根据“最小二最小二乘法乘法”原理得出的直线方程来表述，所以有原理得出的直线方程来表述，所以有些文献不区分回归关系和相关关系，将二者些文献不区分回归关系和相关关系，将二者笼统地称之笼统

13、地称之“回归回归”或者或者“相关相关”。从统计上讲，相关分析的侧重点和回归从统计上讲，相关分析的侧重点和回归分析不完全一样。分析不完全一样。二、相关系数二、相关系数 前已述及，具有线性回归关系的双变量前已述及，具有线性回归关系的双变量中，中，Y变量的总变异量分解为：变量的总变异量分解为：SSY SSQ SSU Q U 对于具有线性相关关系的双变量，对于具有线性相关关系的双变量，Y变量的总平方和也可以分解成同样的两个分变量的总平方和也可以分解成同样的两个分量，只是分别改称为量，只是分别改称为“非相关平方和非相关平方和”与与“相关相关平方和平方和”于是有：于是有：r SSU/SSY SP/SSX

14、SSY “r”叫叫相关系数相关系数，其绝对值越大，其绝对值越大，SSU所占的比重就越大，在散点图上就表所占的比重就越大，在散点图上就表现为各散点越靠近直线；反之，现为各散点越靠近直线；反之，即即SSQ所占的比重越大，各散点越远离直线。所占的比重越大，各散点越远离直线。并且有以下性质：并且有以下性质：r 的正负和的正负和b一样取决于一样取决于SP的正负；的正负；r0，正相关；正相关；r0，负相关，负相关 r1，1或或r（1，1）；）；决定系数决定系数 r 2bb 或或 r bb第七页，讲稿共三十三页哦第二节第二节 直线相关直线相关三、相关分析举例三、相关分析举例 例例7.2 为研究绵羊胸围（为研

15、究绵羊胸围（cm）和体重（）和体重（kg）的相互关系，调查了的相互关系，调查了10只绵羊胸围和体重的对应观只绵羊胸围和体重的对应观察值察值X和和Y，所得结果如下表，试予分析。所得结果如下表，试予分析。解解 描散点图描散点图 本例已知绵羊胸围（本例已知绵羊胸围（X）和体重（）和体重（Y）为相）为相关关系，散点图也显示两者的变化规律呈关关系，散点图也显示两者的变化规律呈线性线性正相关正相关，SP0。故可假定直线相关方程为：故可假定直线相关方程为：y a bx 或或 x a b y后一个方程也可写成：后一个方程也可写成：y a b x绵羊12345678910X(cm)687070717171737

16、47676720Y(kg)50606865697271737577680y a bx807468625650第八页，讲稿共三十三页哦第二节第二节 直线相关直线相关数据整理数据整理 由原始数据算出由原始数据算出一级数据一级数据6个个：X720 Y680 XY49123X 251904 Y 246818 n10 再由一级数据算出再由一级数据算出二级数据二级数据5个个：SSX X 2 (X)2/n64SSY Y 2 (Y)2/n 578SP XY X Y/n 163 XX/n 72 Y/n 68计算计算三级数据三级数据 b SP/SSX 16364 2.547 a 72 2.54768 115.4b

17、 SP/SSY 163578 0.282 a 68 0.282 72 52.82 即所求相关方程可以有两个即所求相关方程可以有两个(如右图如右图)r SP/SSX SSY 0.8475r 2bb2.547 0.2820.7192y 52.82 0.282 x76726840 50 60 70 8080706050y 2.547x115.4第九页，讲稿共三十三页哦第二节第二节 直线相关直线相关、直线相关关系的显著性检验、直线相关关系的显著性检验 和直线回归关系的显著性检验原理一样，直和直线回归关系的显著性检验原理一样，直线相关关系的双变量也可导出线相关关系的双变量也可导出Y变量总变量总SS的如下

18、的如下分解公式：分解公式：(Y)2(Yy)2(y )2 简写成：简写成：SSY SSQ SSU Q U分别叫分别叫“非相关非相关平方和平方和”与与“相关相关平方和平方和”其计算公式引用三级数据后简化为：其计算公式引用三级数据后简化为：SSY (1 r 2)SSY r 2 SSY 或者或者 SSX (1 r 2)SSX r 2 SSX SSU r 2 SSY0.7182 578 415 SSQ(1 r 2)SSY 0.2818 578 163 故故 F MSU/MSQ 20.4*(F0.01,1,811.26)(n 2)r 2/(1 r 2)表明双变量直线相关关系极其显著表明双变量直线相关关系极

19、其显著,所得两个直线相关方程都可用于预测。所得两个直线相关方程都可用于预测。也可对回归系数进行也可对回归系数进行t-test来证实。来证实。只是要利用只是要利用df(分子分子)1时，时，Ft2的关系的关系推导出相关系数的标准误：推导出相关系数的标准误：Sr(1 r 2)/(n 2)并且并且Se2SSQ/dfQ 1638 20.4于是于是t-test的步骤如下：的步骤如下：(1)H0:=0(为相关系数为相关系数 r 的真值的真值)(2)Sr 0.28188 0.1877 t(r)Sr0.84750.18774.516(3)按自由度按自由度 8 查得两尾查得两尾 t0.01=3.355(4)推断：

20、推断：t t0.01 H0 不成立。不成立。可见可见t-test与与F-test的效果完全一致。的效果完全一致。若显著性检验结果不显著若显著性检验结果不显著,则则三选一：三选一：Y与与X没有相关关系；没有相关关系；Y与与X有相关关系，但不是直线相关；有相关关系，但不是直线相关；Y与与X有相关关系，但不是简单相关，有相关关系，但不是简单相关，而是复相关。而是复相关。第十页，讲稿共三十三页哦第二节第二节 直线相关直线相关四、回归与相关关系的统一性四、回归与相关关系的统一性 既然相关关系和回归关系的显著性检验原理既然相关关系和回归关系的显著性检验原理一样，那么，不论回归还是相关关系，其检验一样，那么

21、，不论回归还是相关关系，其检验都可用都可用“相关系数相关系数”r 进一步简化如下：即由进一步简化如下：即由 t2 F (n 2)r 2/(1 r 2)解得：解得：r t2/(n 2 t2)于是利用这一关系将各个自由度下的于是利用这一关系将各个自由度下的 t 临临界值界值t0.05和和 t0.01换算出相关系数换算出相关系数r的临界值的临界值r0.05和和 r0.01，从而得到直接用于检验回归或者是相关关系显，从而得到直接用于检验回归或者是相关关系显著性的临界值表著性的临界值表(附表附表10)。如从教材如从教材P376查得查得M2，dfQ8时时 r0.05 0.632，r0.01 0.765今得

22、今得 r 0.8475*r0.01 再由例再由例7.1从从P376查得查得M2，dfQ7时时 r0.05 0.666，r0.01 0.798算得算得“r”0.8371*r0.01 检验效果与检验效果与F-test或者是或者是t-test完全一样。完全一样。例例7.2关于关于体重体重(Y)的的ANOVA表：表：SOV DF SSY MS F F 0.01相关相关 1 415 415 20.4*11.26非相关非相关 8 163 20.4 总总 9 578也可针对也可针对胸围胸围(X)做做ANOVA表：表：SOV DF SSX MS F F 0.01相关相关 1 46 46 20.4*11.26非

23、相关非相关 8 18 2.25 总总 9 64例例7.1只对只对盛发期盛发期(Y)做做ANOVA表：表：SOV DF SSY MS F F 0.01回归回归 1 175 175 16.4*12.25离回归离回归 7 75 10.7 总总 8 250第十一页，讲稿共三十三页哦第三节 多项式回归 例例7.3 观测观测n7块小麦田孕穗期的叶面积指数块小麦田孕穗期的叶面积指数(x)和每和每667m2的籽粒产量的籽粒产量(y)的关系，的关系，得结果如下，试就其数量变化特点建立多项式回归方程并予以分析。得结果如下，试就其数量变化特点建立多项式回归方程并予以分析。解解 先描散点图；先描散点图；初步判断为二次

24、多项式初步判断为二次多项式 通常称之为抛物线；通常称之为抛物线；这种变化关系在农业和这种变化关系在农业和生物学领域普遍存在；生物学领域普遍存在；完成这类实例分析的方完成这类实例分析的方法是法是将曲线单回归的问题通将曲线单回归的问题通过变量代换转化为二元线性过变量代换转化为二元线性回归的问题回归的问题来解决，这也是来解决，这也是完成更高次多项式回归分析完成更高次多项式回归分析的基本点。的基本点。田块1234567 X3.374.124.875.626.377.127.8739.34Y(kg)3493743883954013973842688第十二页，讲稿共三十三页哦y y2 2a ab b1 1

25、x xb b2 2x x2 2的图象的图象 一、确定多项式方程次数的方法b b2 2 0 0 b b2 2 0 0当两个变数间的曲线关系很难确定时，可以使当两个变数间的曲线关系很难确定时，可以使用多项式去逼近，称为多项式回归（用多项式去逼近，称为多项式回归（polynomial regression)。最简单的多项式是二次多项式，其方程为：最简单的多项式是二次多项式，其方程为：y2 ab1xb2x2 它的图象是抛物线。当它的图象是抛物线。当b20时，曲线凹向上，时，曲线凹向上，有一个极小值；有一个极小值；b2 0时，曲线凸向上，有一时，曲线凸向上，有一个极大值，见右图。个极大值，见右图。本本例

26、例(x,y)的的散散点点图图呈呈单单锋锋趋趋势势，没没有有明明显显的的其其它凹凸变化，故预期可用它凹凸变化，故预期可用二次式二次式配合配合。但但多多项项式式回回归归方方程程通通常常只只能能用用于于描描述述试试验验范范围围内内Y依依X的的变变化化关关系系，外外推推一一般般不不可可靠靠，这这一一点点首首先必须明确。先必须明确。第十三页，讲稿共三十三页哦三次多项式的方程为：三次多项式的方程为：y3ab1xb2xb3x3它的图形是具有两个弯曲它的图形是具有两个弯曲(一个极大值和一个极大值和一个极小值一个极小值)和一个拐点的曲线。当和一个拐点的曲线。当b30时，时，这类曲线由凸向上转为凹向上；当这类曲线

27、由凸向上转为凹向上；当b3 0时，时，这类曲线由凹向上转为凸向上，见右图。这类曲线由凹向上转为凸向上，见右图。多项式方程的一般形式：多项式方程的一般形式：yab1xb2x2.bkxk 这是这是k-1个具有个弯曲个具有个弯曲(k-1个极值个极值)和和k-2 个拐点的曲线；两个变数的个拐点的曲线；两个变数的n对观察值最多可对观察值最多可配到配到 k n 1 次多项式；次多项式；k越大，包含的越大，包含的 统计数越多，计算和解释越复杂；一个多项式统计数越多，计算和解释越复杂；一个多项式回归方程应取多少次为宜，可根据资料的散点回归方程应取多少次为宜，可根据资料的散点图作出初步选择；散点图趋势所表现的曲

28、线的图作出初步选择；散点图趋势所表现的曲线的峰数谷数峰数谷数1，即为，即为多项式回归方程次数多项式回归方程次数。散点波动较大或峰谷两侧不对称，可再高一次。散点波动较大或峰谷两侧不对称，可再高一次。一、确定多项式方程次数的方法b30 b30y3=a+b1x+b2x2+b3x3 的图象第十四页，讲稿共三十三页哦二、建立多项式回归方程变量代换变量代换（代换得到的变量个数以（代换得到的变量个数以m表示）表示）设例设例7.3的二次多项式方程为：的二次多项式方程为：y y2 2 a ab b1 1x xb b2 2x x2 2 令令x1 x，x2x 2 ；则方程线性化为：则方程线性化为：y y2 2 a

29、ab b1 1x x1 1b b2 2x x2 2数据整理数据整理 由原始数据算出由原始数据算出一级数据一级数据9个个：X1 X 39.34 Y2688 X1Y XY 15229.56 X2 X 2236.8408 Y 21034112.00 X1 X2 X3 1508.0760 n7 X2 2 X 4 10029.7617 X2Y X2Y92170.76 再由一级数据算出再由一级数据算出二级数据二级数据9个个：SS1 X 2 (X)2/n15.75 SS2 X2 2 (X2)2/n2016.39556 SP10 X1Y X1 Y/n 123 SP20 X2Y X2 Y/n 1223.8928

30、 SP12 SP21 X1 X2 X1 X2/n 177.030704 SSY 1920 Y/n 384 x x1 1 X1/n 5.62 x x2 2 X2/n 33.8344 仍按仍按“最小二乘方最小二乘方”原理计算原理计算三级数据三级数据bi 例例7.1 已知已知 a bx，则二次多项式可类推，即：，则二次多项式可类推，即：a b1 1x1 1 b2 2x2 2 也就是列方程组求算各回归系数时，不必把常数项列为未知数求解，这样也就是列方程组求算各回归系数时，不必把常数项列为未知数求解，这样一来，就可用阶数更少的矩阵运算来减少解方程的工作量。一来，就可用阶数更少的矩阵运算来减少解方程的工作

31、量。第十五页，讲稿共三十三页哦二、建立多项式回归方程 1 1、只将只将b bi i 列为未知数列为未知数求解的方法；求解的方法；对于任意次多项式，对于任意次多项式，yab1xb2x2.bkxk 若令若令x x1 1x x，x x2 2x x2 2，,x,xk kx xk k，则该式可化为：则该式可化为：y yk ka ab b1 1x x1 1b b2 2x x2 2.b bk kx xk k 这时多元线性方程采用矩阵方法只需求这时多元线性方程采用矩阵方法只需求 m=k =k 元方程组的解。元方程组的解。SSSS11 11 SP SP1212 SP SP1k1k b1 SPSP1010 SP

32、SP21 21 SSSS22 22 SP SP1k1k b2 SPSP2020 A A .，b b .Z Z .SP SPm1 1 SP SPm2 2 SS SSmk k bk SPSPm0 0 也就是说，以也就是说，以二级数据二级数据为元素构建的矩阵为元素构建的矩阵 AbAbZ Z 阶数只有阶数只有 mm 。求得求得A A-1-1，并由，并由b bA A-1-1 Z Z 可获得相应的多项式回归方程中可获得相应的多项式回归方程中 k k 个回归个回归系数系数b bi i的解，本例的解，本例 m=k=2=k=2，求解过程如下：，求解过程如下：A A SSSS1111 SP SP1212 15.7

33、50000 177.03070415.750000 177.030704 ，Z Z SPSP1010 123.0000123.0000 SPSP2121 SS SS22 22 177.030704 2016.395336177.030704 2016.395336 SP SP2020 1223.89261223.8926第十六页，讲稿共三十三页哦二、建立多项式回归方程 1 1、只将只将b bi i 列为未知数列为未知数求解的方法；求解的方法；采用矩阵方法求解的关键在于求逆矩阵，这属于采用矩阵方法求解的关键在于求逆矩阵，这属于线性代数线性代数范围的知识，范围的知识，教材分别在教材分别在P171P

34、171和和P195P195提示了逆矩阵求算方法，本例用提示了逆矩阵求算方法，本例用二级数据二级数据构建两个矩构建两个矩阵后简化了计算，只需对二阶矩阵求逆阵后简化了计算，只需对二阶矩阵求逆(C(Cijij叫叫高斯乘数高斯乘数)，结果如下：，结果如下：A A-1-1 SSSS1111 SP SP1212 -1-1 4.8198034.819803 -0.42315765 -0.42315765 C C1111 C C1212 SPSP2121 SS SS22 22 -0.42315765-0.42315765 0.037647330.03764733 C C21 21 C C2222 b bA A

35、-1-1 Z Z 4.8198034.819803 -0.42315765 123.0000 -0.42315765 123.0000 74.93616874.936168 -0.42315765 -0.42315765 0.037647330.03764733 1223.8926 -5.972095 1223.8926 -5.972095 于是获得本例多项式回归方程中两个回归系数：于是获得本例多项式回归方程中两个回归系数：b b1 174.974.9，b b2 2-5.97-5.97 a a b1 1x1 1 b2 2x2 2 38438474.95.6274.95.62(5.97)33.8

36、3445.97)33.8344165.05165.05I IA A-1-1 A A 1.000000568 0.000000346 1.000000568 0.000000346 1 0 1 0(单位矩阵单位矩阵)0.000006380 1.000003942 )0.000006380 1.000003942 0 10 1第十七页，讲稿共三十三页哦二、建立多项式回归方程 2 2、把常数项把常数项 a a 列为未知数列为未知数求解的方法；求解的方法；对于任意次多项式，对于任意次多项式，yab1xb2x2.bkxk 若令若令x x1 1x x，x x2 2x x2 2，,x,xk kx xk k，

37、则该式可化为：则该式可化为：y yk ka ab b1 1x x1 1b b2 2x x2 2.b bk kx xk k 一般的多元线性方程，采用矩阵方法需求一般的多元线性方程，采用矩阵方法需求 m+1+1 元方程组的解。元方程组的解。1 x1 x12 12 x x22 22 x xk2 k2 1 x 1 x12 12 x x12122 2 x x1212k k y y1 1 1 x 1 x1111 x x21 21 x xk1k1 1 x 1 x11 11 x x11112 2 x x1111k k y y2 2X X .，Y Y .1 x1 x1n1n x x2n2n x xknkn 1

38、x 1 x1n1n x x1n1n2 2 x x1n 1n y yn n 求得求得X XX X,X XY Y和和(X(XX)X)-1-1，并由，并由b b(X(XX)X)-1-1(X(XY)Y)获得相应的获得相应的多项式回归方程中多项式回归方程中k k个回归系数个回归系数 b bi i 和一个常数项和一个常数项 a a 的解。的解。教材从直线回归的内容开始就介绍了利用矩阵计算三级数据教材从直线回归的内容开始就介绍了利用矩阵计算三级数据 a a 和和 b b 并并进行显著性检验的方法，以此作为用矩阵进行多元回归与相关分析的铺垫。进行显著性检验的方法，以此作为用矩阵进行多元回归与相关分析的铺垫。这

39、在当今电脑普及的时代意义非同小可，因为用矩阵进行回归与相关分析可这在当今电脑普及的时代意义非同小可，因为用矩阵进行回归与相关分析可一石三鸟一石三鸟：更容易理解计算机解方程的程序；更容易理解计算机解方程的程序；其中的其中的m+1+1阶阶(或或 m=k=k 阶阶)逆矩阵可验证所得方程组的解是否正确包括其精度是否足够；逆矩阵可验证所得方程组的解是否正确包括其精度是否足够；该逆矩阵的该逆矩阵的对角线上的元素用于检验回归与相关关系的显著性非常方便。对角线上的元素用于检验回归与相关关系的显著性非常方便。第十八页，讲稿共三十三页哦 1 3.37 11.3569 349 1 4.12 16.9744 374X

40、 X Y Y 1 7.87 61.9369 384 7 39.34 236.8408X XX X 39.34 236.8408 1508.0760 236.8408 1508.0760 10029.7617 2688 X XY Y 15229.56 92170.76E:matlabR12binwin32matlab.exe 165.03532698b 74.89269841 5.96825397 图图11.13 11.13 小麦孕穗期叶面积指数与产量的关系小麦孕穗期叶面积指数与产量的关系至此即获得了二元线性回归方程至此即获得了二元线性回归方程y y2 2165.03532698165.0353

41、269874.89269841x74.89269841x1 1 5.96825397x5.96825397x2 2 y2=165.04 74.89x5.97x2二、建立多项式回归方程第十九页，讲稿共三十三页哦本例互逆矩阵验算结果 (m1)(m1)34.52472939 12.76246560 1.10370464(X(XX)X)-1-1 12.76246560 4.81693498 0.42290417 1.10370464 0.42290417 0.03762493 0.99926016 0.00000296 0.00001274 (X(XX)(XX)(XX)X)-1-1 0.0232550

42、0 0.99990676 0.00040240 0.04719600 0.00018830 0.99919211 1 0 0 I I 0 1 0 0 0 1 7 39.34 236.8408XX 39.34 236.8408 1508.0760 236.8408 1508.0760 10029.7617第二十页，讲稿共三十三页哦 多项式回归分析中，多项式回归分析中，Y Y 变量的总平方和变量的总平方和SSSSY Y 亦可分解为回归和离回归亦可分解为回归和离回归两部分两部分,即：即：SSSSY Y SSSSU U SSSSQ Q 上式中，上式中，SSSSU U为为 k k 次多项式的总回归效应平

43、方和，即次多项式的总回归效应平方和，即 Y Y 变量总变异变量总变异中能被中能被 X X 的的 k k 次多项式所说明的部分，计算过程用矩阵表述为：次多项式所说明的部分，计算过程用矩阵表述为：SSSSY YY YY Y(1(1Y)Y)2 2/n/n 1034112.001034112.00268826882 2/7/71920.00 1920.00 SSSSQ Q为为k k次多项式的离回归平方和，其中：次多项式的离回归平方和，其中：SSSSQ Q Y YY Yb b(X(XY)Y)12.714312.7143 1034112.001034112.00(165.03532698 74.89269

44、841(165.03532698 74.89269841 5.96825397)5.96825397)(X(XY)Y)SSSSU U SSSSY Y SSSSQ Q 1920.001920.0012.714312.71431907.28571907.2857 也可利用二、三级数据直接计算总回归效应平方和也可利用二、三级数据直接计算总回归效应平方和SSSSU U：SSSSU U b b1 1 SPSP10 10 b b2 2 SPSP20 20 1907.94361907.9436 74.9362123.000074.9362123.0000(-5.9721)1223.8928(-5.9721)

45、1223.8928 SS SSQ Q SSSSY Y SSSSU U 1920.001920.001907.9436 1907.9436 12.056412.0564三、多项式回归的假设测验第二十一页，讲稿共三十三页哦总回归关系的总回归关系的F-testF-test 将Y变量的总平方和SSy分解成多项式回归(SSU)和离回归(SSQ)两部分。前者由X的各次分量项的引起，包括一次回归效应和二次回归效应，具有自由度dfk；后者与X的不同无关，具有自由度dfn-(k+1)，也就是误差效应。于是：F(SSU/k)/(SSQ/n-(k+1)可测验多项式回归关系的真实性。根据本例已算得的结果，可作成方差分

46、析表于下。该表的F测验结果极其显著，表明用所得二次多项式来描述叶面积指数与亩产量是可行的。二次多项式回归关系的 F-test表 变异来源 DF SS MS F F0.01 多项式回归 2 1907.2857 953.6429 300.02*18.00 离回归 4 12.7143 3.1786 总 6 1920.00 第二十二页，讲稿共三十三页哦总回归关系的总回归关系的R-testR-test 同多元相关系数Ry.12.m相类似，k次多项式的回归平方和占Y总平方和的比率的平方根值（记作Ry.x.x2,.,xk），可用来表示Y与X的多项式的相关密切程度，即有：Ry.x.x2,.,xk SSU/SS

47、Y 上式中的Ry.x.x2,.,xk叫相关指数。和线性相关的情况一样：R2y.x.x2,.,xk SSU/SSY 表示k次多项式的决定系数，即在Y的总平方和SSY中，可由X的k次多项式引起的平方和SSU所占的比率。Ry.x.x2,.,xk的显著性可通过查表直接获知。如本例查附表10，当df4,k2(即附表10中的Mk13)时，R0.010.949,于是:Ry.x.x2,.,xk1907.28571920.00 0.9967*R0.01 故Y与X的二次多项式的“复相关”(总回归)关系极显著。对于Ry.x.x2,.,xk的测验和本例F-test结论完全一致，择一即可。但不论F-test还是R-te

48、st都只是一个综合性测验，表明叶面积指数与亩产量需要一个多项式来描述，并不能证实 k 次项或者其它各次项的显著性。第二十三页，讲稿共三十三页哦 各次分量项偏回归关系的各次分量项偏回归关系的F-testF-test 本例总回归效应极显著既然不能排除多项式方程中个别乃至若干个本例总回归效应极显著既然不能排除多项式方程中个别乃至若干个分量项不显著的可能性，就有必要分别对各次分量项进行偏回归关系的分量项不显著的可能性，就有必要分别对各次分量项进行偏回归关系的F-testF-test。这与多元线性回归中偏回归关系的假设测验相类似，亦需先计。这与多元线性回归中偏回归关系的假设测验相类似，亦需先计算各次分量

49、项的偏回归平方和算各次分量项的偏回归平方和SSSSbi bi，即：，即：SSSSbi bi b bi i2 2/C/C(i+1)(i+1)(i+1)(i+1)此时此时SSSSbibi具有自由度具有自由度dfdf1 1，故由：，故由：F F SSSSbibi/(SS/(SSQ Q/n-(k+1)/n-(k+1)可测验第可测验第 i i 次分量是否显著。本例由逆矩阵对角线上的元素算得次分量是否显著。本例由逆矩阵对角线上的元素算得 Y Y 对对各次分量项的偏回归平方和为：各次分量项的偏回归平方和为：SSSSb1b174.8926984174.892698412 2/4.81693498/4.8169

50、34981164.41601164.4160 SS SSb2b2(-5.96825397)(-5.96825397)2 2/0.03762493/0.03762493946.7142946.7142变异来源变异来源 DF SS MS F FDF SS MS F F0 0。0101一次分量一次分量 1 1164.4160 1164.4160 366.331 1164.4160 1164.4160 366.33*21.20 21.20二次分量二次分量 1 946.7142 946.7142 297.841 946.7142 946.7142 297.84*离回归离回归 4 12.7143 3.17