数理统计CH回归分析.pptx

《数理统计CH回归分析.pptx》由会员分享，可在线阅读，更多相关《数理统计CH回归分析.pptx（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2/12/20231本章内容本章内容7.1 7.1 变量间的关系7.27.2 一元线性回归7.3 7.3 多元线性回归7.4 7.4 回归注意事项7 回归分析重点：一元线性回归和决定系数第1页/共68页2/12/202327.1 变量间的关系Correlation between Variables7 回归分析第2页/共68页2/12/202337.1 变量间的关系(1)函数关系第3页/共68页2/12/202347.1 变量间的关系(2)随机关系第4页/共68页2/12/20235(3)相关关系7.1 变量间的关系第5页/共68页2/12/20236(4)回归分析解决的问题 考察响应变量与自

2、变量之间的关系，存在如下三种类型：(1)确定性关系：响应=自变量的函数(2)不确定关系：响应=独立随机变量(3)相关关系：响应=函数+独立随机变量回归分析就是对相关关系相关关系中的函数部分进行估计和检验7.1 变量间的关系第6页/共68页2/12/20237 生物学家FGalton和统计学家KPearson的种族身高研究(1889)。高个父亲群体的平均身高高个父亲群体儿子们的平均身高整个种族的平均身高低个父亲群体儿子们的平均身高低个父亲群体的平均身高(5)为什么称作“回归分析”7.1 变量间的关系第7页/共68页2/12/20238(6)回归分析类型一元回归：只有一个自变量的回归多元回归：有两

3、个以上自变量的回归线性回归：回归函数是自变量的线性组合非线性回归：回归函数是自变量的非线性组合7.1 变量间的关系第8页/共68页2/12/202397.2 一元线性回归Linear Regression 7 回归分析第9页/共68页2/12/202310案例案例：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉强度y，试验结果如表所示。问题问题：(1)估计y对x的回归函数；(2)检验回归估计的显著性；(3)考察y与x的相关程度；(4)由x预测y。抗拉强度试验结果(1)案例和问题7.2 一元线性回归x(%)y(MPa)2.073.104.145.176.20128194273372454

4、x称作自变量y称作响应变量第10页/共68页2/12/202311(2)数据模式7.2 一元线性回归抗拉强度试验结果x(%)y(MPa)2.073.104.145.176.20128194273372454随机的试验响应非随机人工控制变量第11页/共68页2/12/202312(3)回归模型7.2 一元线性回归回归模型指响应与自变量关系的数学表达回归模型描述响应y与自变量x的关系模型对 的分布没有特别要求第12页/共68页2/12/202313用线性回归模型描述第i次观测响应yi与自变量xi的关系：7.2 一元线性回归(3)回归模型回归模型指响应与自变量关系的数学表达一元线性回回模型第13页/

5、共68页2/12/202314以矩阵形式表达线性回归模型：7.2 一元线性回归(3)回归模型响应向量设计矩阵回归参数误差向量第14页/共68页2/12/2023157.2 一元线性回归(3)回归模型n阶协差阵n阶单位阵以矩阵形式表达线性回归模型：第15页/共68页2/12/202316(4)回归分析内容7.2 一元线性回归第16页/共68页2/12/2023177.2.1 回归最小二乘估计Least-Square Estimation on Linear Regression7.2 一元线性回归第17页/共68页2/12/202318对于回归方程回归方程的估计记作 回归估计实际上是由样本数据求

6、得回归方程的一个估计，回归方程的估计亦简称作回归方程。求一元回归方程等价于对回归系数和回归截距进行参数估计。(1)回归估计问题7.2.1 回归最小二乘估计回归方程估计的期望：第18页/共68页2/12/202319(2)最小二乘思想7.2.1 回归最小二乘估计最小二乘几何描述第19页/共68页2/12/202320 求回归方程a+bx的估计，数学上就是用一个一元线性函数一元线性函数去拟合试验数据，几何上可看作为试验点拟合一条直线直线。可拟合的直线有无穷多条，哪一条直线在表达y对x的相关关系上更合理呢？自然想到与所有试验点总距离为最小总距离为最小的那条线较合理。(2)最小二乘思想7.2.1 回归

7、最小二乘估计合理解决方案 第20页/共68页2/12/202321回归方程的最小二乘估计可归结为求解下面的优化模型：用残差(误差)平方和代表试验点与回归直线的总距离残差计算：(2)最小二乘思想7.2.1 回归最小二乘估计第21页/共68页2/12/202322步骤步骤1：构建由观测数据表达的残差平方和回归最小二乘估计问题可表为：(3)回归最小二乘估计7.2.1 回归最小二乘估计残差平方和第22页/共68页2/12/202323步骤步骤2：残差平方和分别对a,b求偏导7.2.1 回归最小二乘估计(3)回归最小二乘估计第23页/共68页2/12/2023247.2.1 回归最小二乘估计(3)回归最

8、小二乘估计第24页/共68页2/12/202325符号简写：步骤步骤3：令偏导等于0整理出正规方程组7.2.1 回归最小二乘估计(3)回归最小二乘估计正规方程组第25页/共68页2/12/202326则下面的正规方程组有唯一解(克莱姆法则)：步骤步骤4：用克莱姆法则解方程组得回归估计7.2.1 回归最小二乘估计若有(3)回归最小二乘估计克莱姆法则第26页/共68页2/12/202327克莱姆法则7.2.1 回归最小二乘估计(3)回归最小二乘估计第27页/共68页2/12/2023287.2.1 回归最小二乘估计克莱姆法则(3)回归最小二乘估计第28页/共68页2/12/202329(4)回归最

9、小二乘估计概要7.2.1 回归最小二乘估计第29页/共68页2/12/202330(5)回归最小二乘估计的性质7.2.1 回归最小二乘估计第30页/共68页2/12/202331xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.203414214730497.2.1 回归最小二乘估计(6)回归最小二乘估计案例数据的表格算法第31页/共68页2/12/2023327.2.1 回归最小二乘估计平方和计算(6)回归最小二乘估计案例第32页/共68页2/12/202333回归方程：7.2.1 回归最小二乘

10、估计参数估计(6)回归最小二乘估计案例第33页/共68页2/12/2023347.2.1 回归最小二乘估计(6)回归最小二乘估计案例 求回归方程几何上就是求一条能较好解释数据的最佳直线。第34页/共68页2/12/2023357.2.2 回归显著性检验Significance Testing on Linear Regression7.2 一元线性回归第35页/共68页2/12/2023367.2.2 回归显著性检验(1)线性相关存在性线性相关存在但相关程度不同第36页/共68页2/12/202337(1)线性相关存在性7.2.2 回归显著性检验0RFModelErrorSSRSSE1n-2S

11、SR/1SSE/(n-2)MSR/MSEpTotalSSTn-1一元线性回归方差分析表7.2.2 回归显著性检验显著性检验全部工作可归结于方差分析表SourceSSdfMSF valueF(dfR,dfE)ModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSETotalSST n-1或：(10)显著性检验第57页/共68页2/12/202358相关系数取值范围决定系数7.2.2 回归显著性检验决定系数是对y与x线性相关程度的估计(11)线性相关程度第58页/共68页2/12/2023597.2.2 回归显著性检验决定系数表征回归效应在响应总变异中的比重(11)线性相

12、关程度第59页/共68页2/12/202360 xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.20341421473049(12)回归分析案例7.2.2 回归显著性检验数据的表格算法第60页/共68页2/12/2023617.2.2 回归显著性检验平方和计算(12)回归分析案例第61页/共68页2/12/2023627.2.2 回归显著性检验(12)回归分析案例回归参数估计平方和计算第62页/共68页2/12/202363SourceSSDFMSF valuePrFModelError6888

13、5.63315.171368885.63105.06655.680.000131Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数第63页/共68页2/12/202364SourceSSDFMSF valueF0.05(1,3)ModelError68885.63315.171368885.63105.06655.6810.1280Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数第64页/共68页2/12/2023657.2.2 回归显著性检验(12)回归分析案例第65页/共68页2/12/202366(13)回归分析小结一元线性回归分析可归结为：(1)利用样本对回归方程a+bx做最小二乘估计，即做回归参数a,b的最小二乘估计；(2)用右方F检验法和双侧t检验法分别检验回归方程和回归系数的显著性；(3)计算决定系数R2，对响应y与自变量x的线性相关程度做出评价。7.2.2 回归显著性检验第66页/共68页2/12/202367结束结束7 回归分析第67页/共68页2/12/2023王玉顺：数理统计07_回归分析68谢谢您的观看！第68页/共68页