误差理论与数据处理回归分析.pptx
n n 回归分析的基本概念和主要内容n n 一元线性回归方程的求法n n 回归方程的方差分析和显著性检验n n 一元非线性回归方法n n 多元线性回归重点与重点与难点点第1页/共51页第一节回归分析的基本概念一、变量之间的关系一、变量之间的关系相关关系函数关系u 产品的销售量与投入的广告费用之间的关系u 水稻产量与施肥量的关系u 加工误差与零件直径之间的关系第2页/共51页第一节回归分析的基本概念二、回归分析步骤二、回归分析步骤1)由数据确定变量之间的数学表达式回归方程或经 验公式2)对回归方程进行方差分析和显著性检验3)因素分析第3页/共51页第二节一元线性回归一元线性回归：确定两个变量之间的线性关系，即 直线拟合问题。一、回归方程的确定一、回归方程的确定例：确定某段导线的电阻与温度之间的关系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散点图：2025 303540 45507678828084第4页/共51页如何求得如何求得 和和 的最佳估计值呢的最佳估计值呢?第二节一元线性回归设测量数据有如下结构形式：式中，分别表示其它随机因素对电阻值 影响的总和。最小二乘原理第5页/共51页第二节一元线性回归设得到的回归方程残差方程为设测得值 的精度相等，则有第6页/共51页第二节一元线性回归令第7页/共51页第二节一元线性回归问题一：回归直线 的预报精度如何？问题二:回归直线是否符合 y 与x 间的客观规律？设x无误差,根据最小二乘原理,第8页/共51页二、回归方程的方差分析及显著性检验二、回归方程的方差分析及显著性检验第二节一元线性回归问题:y 与x 的回归直线是否显著？（一）回归方程的方差分析引起变差的原因：A、自变量x的取值不同 B、其它因素xy如:实验误差 其他自变量 与x非线性 与x无关第9页/共51页第二节一元线性回归UQ可以证明可以证明：第10页/共51页第二节一元线性回归v总的离差平方和：v回归平方和：回归平方和：v残余平方和：残余平方和：反映总变差中由于x x和y y的线性关系而引起y y的变化反映所有观测点到回归直线的残余误差，即其它反映所有观测点到回归直线的残余误差，即其它因素对因素对y y变差的影响。变差的影响。第11页/共51页第二节一元线性回归（二）回归方程显著性检验 F检验法基本思路：方程是否显著取决于U和Q的大小，U越大，Q越小，说明y与x的线性关 系愈密切。计算统计量F对一元线性回归，应为第12页/共51页若 回归在0.01的水平上高度显著。第二节一元线性回归回归在0.05的水平上显著。回归在0.1的水平上显著。回归不显著。查F分布表，根据给定的显著性水平 和已知的自由度1和N-2进行检验.第13页/共51页（三）残余方差与残余标准差第二节一元线性回归残余方差：排除了x 对y的线性影响后，衡量y随机波 动的特征量。残余标准差：含义：越小，回归直线的精度越高。第14页/共51页第二节一元线性回归（四）方差分析表来源来源来源来源平方和平方和平方和平方和自由度自由度自由度自由度方差方差方差方差 F F F F显著性显著性显著性显著性回归回归回归回归残余残余残余残余 1 1 1 1 N-2 N-2 N-2 N-2 总计总计总计总计 N-1 N-1 N-1 N-1 第15页/共51页第二节一元线性回归例：确定某段导线的电阻与温度之间的关系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.101)求导线电阻与温度的关系式;2)方差分析与显著性检验;3)预报温度为20度时,导线的电阻值.解:1)作散点图 2)令 ,计算第16页/共51页因此,来源来源来源来源平方和平方和平方和平方和自由度自由度自由度自由度方差方差方差方差 F F F F显著性显著性显著性显著性回归回归回归回归残余残余残余残余 总计总计总计总计 3)方差分析和显著性检验4)预报156第17页/共51页第二节一元线性回归2 2、重复试验回归方程的求法、重复试验回归方程的求法三、重复试验情况三、重复试验情况1 1、重复试验的目的：、重复试验的目的：减小试验误差减小试验误差分析回归方程不显著的原因分析回归方程不显著的原因用标准压力计对某固体压力传感器进行检定用标准压力计对某固体压力传感器进行检定,所得数据如所得数据如表表,试对仪器定标并分析仪器的误差。试对仪器定标并分析仪器的误差。i=1mt=1N第18页/共51页第二节一元线性回归第19页/共51页3 3、方差分析、方差分析失拟平方和：失拟平方和：误差平方和：误差平方和：第20页/共51页第二节一元线性回归4 4、F F 统计检验统计检验1 1）回归方程显著性检验）回归方程显著性检验2 2）F F1 1 检验检验 F F1 1显著，说明失拟误差大。显著，说明失拟误差大。F F1 1不显著，说明回归方程不显著可能与试验误差有关。不显著，说明回归方程不显著可能与试验误差有关。3 3）F F2 2 检验检验 F F2 2不显著，说明试验误差是回归方程不显著的主要原因不显著，说明试验误差是回归方程不显著的主要原因 F F2 2显著，说明试验误差不是回归方程不显著的唯一原因，可能失显著，说明试验误差不是回归方程不显著的唯一原因，可能失 拟误差也是回归方程不显著的原因之一。拟误差也是回归方程不显著的原因之一。第21页/共51页第二节一元线性回归来源来源 平方和平方和 自由度自由度 方差方差 F F 显著性显著性回归回归失拟失拟误差误差总计总计 5 5、方差分析表、方差分析表第22页/共51页第二节一元线性回归用标准压力计对某固体压力传感器进行检定用标准压力计对某固体压力传感器进行检定,所得数据如所得数据如表表,试对仪器定标并分析仪器的误差。试对仪器定标并分析仪器的误差。i=1mt=1N第23页/共51页第二节一元线性回归第24页/共51页第二节一元线性回归来源来源 平方和平方和 自由度自由度 方差方差 F F 显著性显著性回归回归失拟失拟误差误差总计总计 方差分析表方差分析表第25页/共51页第二节一元线性回归1）分组法平均值法 将自变量按由小到大次序排列，分成个数相等或近于相 等的两个组（分组数等于未知数个数），则可建立相应的两 组观测方程：将两组观测方程分别相加，得b和b02）图解法紧绳法四、回归直线的简便求法第26页/共51页第三节两个变量都具有误差时线性回归方程的确定回归方程的求法回归方程的求法戴明（戴明（Deming）解法）解法 若若 ，分别具有误差分别具有误差 ，假定假定 之间为线性关系，其数学模型为之间为线性关系，其数学模型为 所求回归方程为所求回归方程为式中，式中，分别为分别为 的估计值。的估计值。为使为使 的误差在求回归方程式具有等价性，令的误差在求回归方程式具有等价性，令 ，则回归方程可写成，则回归方程可写成第27页/共51页第三节两个变量都具有误差时线性回归方程的确定式中，式中，根据戴明推广的最小二乘原理，点根据戴明推广的最小二乘原理，点 到回归直线的到回归直线的垂直距离垂直距离 的平方和的平方和 为最小条件下所求得的回归系数为最小条件下所求得的回归系数 是最佳估计值。是最佳估计值。由解析几何可知，点由解析几何可知，点 到到回归直线的距离回归直线的距离 为为式中，式中，第28页/共51页第三节两个变量都具有误差时线性回归方程的确定 根据最小二乘原理，为使根据最小二乘原理，为使 为最小，即求解为最小，即求解得得 第29页/共51页变量 的方差可用下式估计：第三节两个变量都具有误差时线性回归方程的确定第30页/共51页第四节一元非线性回归2、求解未知参数。可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式回归。1、确定函数类型并检验。一、求解思路二、回归曲线函数类型的选取和检验1、直接判断法2、作图观察法，与典型曲线比较，确定其属于何种类型，然后检验。第31页/共51页第32页/共51页第四节一元非线性回归3、直线检验法（适用于待求参数不多的情况）a、预选回归曲线b、c、求出几对与x,y相对应的Z1,Z2值d、以Z1,Z2为坐标作图，若为直线，则说明原选定的曲线 类型是合适的，否则重新考虑。第33页/共51页4、表差法（适用于多项式回归，含有常数项多于两个的情况）第四节一元非线性回归a、用试验数据画图；b、确定定差 ，列出xi,yi各对应值；c、根据x,y的读出值作出差值 ，看其是否与确 定方程式的标准相符，若一致，则说明原选定 的曲线类型是合适的。第34页/共51页第35页/共51页例：检验表中所示观测数据可用例：检验表中所示观测数据可用 表示。表示。第36页/共51页第四节一元非线性回归三、化曲线回归为直线回归问题例：测定某变压器油的例：测定某变压器油的y与温度与温度x的变化曲线，以便根据油温的变化曲线，以便根据油温 确定粘度。确定粘度。x/0C101520253035404550556065707580y/0E4.243.512.922.522.202.001.811.701.601.501.431.371.321.291.25第37页/共51页第38页/共51页第四节一元非线性回归四、回归曲线方程的效果与精度：四、回归曲线方程的效果与精度：残余平方和残余平方和残余标准差残余标准差相关指数相关指数衡量回归曲线效果好坏衡量回归曲线效果好坏的指标的指标可以作为可以作为根据回归根据回归方程预报方程预报y值的精值的精度指标度指标第39页/共51页第四节一元非线性回归注注 意意并非表明：第40页/共51页第五节多元线性回归讨论多个变量之间试验结果的数学表示讨论多个变量之间试验结果的数学表示一、多元线性回归方程一、多元线性回归方程 假如因变量假如因变量 与与M个自变量个自变量 的内的内在联系是线性的，通过试验得到在联系是线性的，通过试验得到N组观测数据：组观测数据：那么这批数据的测量方程为：那么这批数据的测量方程为：式中，式中，是是M1个待估计参数；个待估计参数；是是N个相互独立，服从同一正态分布的随机变量。个相互独立，服从同一正态分布的随机变量。第41页/共51页第五节多元线性回归回归方程为：回归方程为：其中，其中，是是 的最佳估计值。的最佳估计值。令令第42页/共51页第五节多元线性回归常用回归方程为：常用回归方程为：由最小二乘原理，由最小二乘原理，其中，其中，第43页/共51页第五节多元线性回归二、回归方程的显著性和精度二、回归方程的显著性和精度来源来源来源来源 平方和平方和平方和平方和自由度自由度自由度自由度 方差方差方差方差 F F F F回归回归回归回归残余残余残余残余 M M M M N-M-1 N-M-1 N-M-1 N-M-1 U/MU/MU/MU/M总计总计总计总计 N-1 N-1 N-1 N-1 第44页/共51页第五节多元线性回归三、每个自变量在多元回归中所起的作用三、每个自变量在多元回归中所起的作用问题：问题：一个回归方程显著，并不意味着每个自变量对一个回归方程显著，并不意味着每个自变量对 因变量因变量 的影响都是重要的，有些重要，有的影响都是重要的，有些重要，有 些次要，如何确定？些次要，如何确定？解决办法：解决办法：考察偏回归平方和考察偏回归平方和 的的F统计量衡量每个统计量衡量每个自变量自变量 在回归中所起的作用。在回归中所起的作用。UM个变量个变量 所引起的回归平方和；所引起的回归平方和；U去除去除 后的后的M1个变量。个变量。偏回归平方和偏回归平方和第45页/共51页第五节多元线性回归用残余平方和用残余平方和Q对它进行对它进行F检验：检验：当当 时，则认为变量时，则认为变量 对对 的影响在的影响在 水平上显著。水平上显著。第46页/共51页第五节多元线性回归例：根据经验知道某量例：根据经验知道某量y受变量受变量x1、x2的影响，通过试验获得的影响，通过试验获得 一批数据，试建立一批数据，试建立y对对x1、x2的线性回归方程。的线性回归方程。第47页/共51页第五节多元线性回归解：设计算第48页/共51页第五节多元线性回归二、回归方程的方差分析与显著性检验二、回归方程的方差分析与显著性检验来源来源来源来源 平方和平方和平方和平方和自由度自由度自由度自由度 方差方差方差方差 F F F F 回归回归回归回归残余残余残余残余 2 2 2 2 26 26 26 26总计总计总计总计 28 28 28 28 0.05第49页/共51页第五节多元线性回归三、因素分析三、因素分析结论：x1是主要因素，x2影响很小，可以忽略。第50页/共51页感谢您的观看！第51页/共51页
