智能检测理论与技术03.ppt

《智能检测理论与技术03.ppt》由会员分享，可在线阅读，更多相关《智能检测理论与技术03.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第三章第三章 基于回归分析的智能检测基于回归分析的智能检测 Intelligent Detection Theory and Technology智能检测理论与技术智能检测理论与技术智能检测智能检测第二章内容回顾第二章内容回顾一、一、系统类别与模型系统类别与模型二、二、检测系统的模型检测系统的模型三、检测系统静态特性三、检测系统静态特性四、检测系统动态特性四、检测系统动态特性五、五、基于过程的智能检测基于过程的智能检测智能检测智能检测3.1 3.1 回归分析方法概述回归分析方法概述回归分析方法概述回归分析方法概述第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归分析回归分析回

2、归分析回归分析回归分析是一种简单、实用而且成熟的确定变量回归分析是一种简单、实用而且成熟的确定变量间相关关系的方法。以间相关关系的方法。以最小二乘原理最小二乘原理为基础的回为基础的回归技术常用于线性模型的拟合。归技术常用于线性模型的拟合。uu 线性关系线性关系线性关系线性关系t t 线性回归线性回归线性回归线性回归t t 非线性回归非线性回归非线性回归非线性回归uu 自变量数量自变量数量自变量数量自变量数量t t 一元回归分析一元回归分析一元回归分析一元回归分析t t 多元回归分析多元回归分析多元回归分析多元回归分析智能检测智能检测3.1 3.1 回归分析方法概述回归分析方法概述回归分析方法概

3、述回归分析方法概述第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归分析回归分析回归分析回归分析智能检测智能检测3.1 3.1 回归分析方法概述回归分析方法概述回归分析方法概述回归分析方法概述第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归分析回归分析回归分析回归分析uu 线性化线性化线性化线性化 在实践中，几个变量间的关系并不限于线性关系，更在实践中，几个变量间的关系并不限于线性关系，更在实践中，几个变量间的关系并不限于线性关系，更在实践中，几个变量间的关系并不限于线性关系，更广泛地存在着非线性的相关关系。在解决非线性回归的问广泛地存在着非线性的相关关系。在

4、解决非线性回归的问广泛地存在着非线性的相关关系。在解决非线性回归的问广泛地存在着非线性的相关关系。在解决非线性回归的问题中，可以采用下面两种线性化方法：题中，可以采用下面两种线性化方法：题中，可以采用下面两种线性化方法：题中，可以采用下面两种线性化方法：t t 通过变量变换的方法通过变量变换的方法通过变量变换的方法通过变量变换的方法，把非线性关系化成线性关系。，把非线性关系化成线性关系。，把非线性关系化成线性关系。，把非线性关系化成线性关系。需要确定曲线的函数类型。需要确定曲线的函数类型。需要确定曲线的函数类型。需要确定曲线的函数类型。t t 如果实际问题的曲线类型不易判断时，可如果实际问题的

5、曲线类型不易判断时，可如果实际问题的曲线类型不易判断时，可如果实际问题的曲线类型不易判断时，可采用多项采用多项采用多项采用多项式进行逼近式进行逼近式进行逼近式进行逼近。因为任意曲线都可以近似地用多项式表。因为任意曲线都可以近似地用多项式表。因为任意曲线都可以近似地用多项式表。因为任意曲线都可以近似地用多项式表示。示。示。示。非线性回归一般都可以转化为线性回归。非线性回归一般都可以转化为线性回归。非线性回归一般都可以转化为线性回归。非线性回归一般都可以转化为线性回归。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检

6、测基于回归分析的智能检测n 线性回归线性回归线性回归线性回归uu 一元线性回归一元线性回归一元线性回归一元线性回归 两个变量两个变量两个变量两个变量x x x x、Y Y Y Y(随机变量随机变量随机变量随机变量)，x x x x确定后，确定后，确定后，确定后，Y Y Y Y 按一定统计规律取值，有按一定统计规律取值，有按一定统计规律取值，有按一定统计规律取值，有随机性。随机性。随机性。随机性。Y Y Y Y的数学期望的数学期望的数学期望的数学期望E(E(E(E(Y Y Y Y)代替代替代替代替Y Y Y Y，研究研究研究研究E(E(E(E(Y Y Y Y)和和和和x x x x的关系，近似表

7、示的关系，近似表示的关系，近似表示的关系，近似表示x x x x和和和和Y Y Y Y的关系。回归函数：的关系。回归函数：的关系。回归函数：的关系。回归函数：一元线性回归函数：一元线性回归函数：一元线性回归函数：一元线性回归函数：其中其中其中其中i i i i为待定系数，称为回归系数。为待定系数，称为回归系数。为待定系数，称为回归系数。为待定系数，称为回归系数。则随机变量则随机变量则随机变量则随机变量Y Y Y Y可以表示为线形部分可以表示为线形部分可以表示为线形部分可以表示为线形部分y y y y和随机部分的叠加，即和随机部分的叠加，即和随机部分的叠加，即和随机部分的叠加，即:其中其中其中其

8、中为随机变量。为随机变量。为随机变量。为随机变量。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 线性回归线性回归线性回归线性回归uu 多元线性回归多元线性回归多元线性回归多元线性回归 假设因变量假设因变量假设因变量假设因变量Y Y Y Y(随机变量随机变量随机变量随机变量)的均值的均值的均值的均值E(E(E(E(Y Y Y Y)=)=)=)=y y y y可以表示成自可以表示成自可以表示成自可以表示成自变量变量变量变量 x x x xi i i i：1111i i i ip p p

9、p 的线性组合，多元线性回归，即：的线性组合，多元线性回归，即：的线性组合，多元线性回归，即：的线性组合，多元线性回归，即：其中其中其中其中i i i i为待定系数，称为为待定系数，称为为待定系数，称为为待定系数，称为p p p p元线性回归函数的回归系数。元线性回归函数的回归系数。元线性回归函数的回归系数。元线性回归函数的回归系数。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归函数系数的估计回归函数系数的估计回归函数系数的估计回归函数系数的估计uu 一元回归系数确定一元回归系数

10、确定一元回归系数确定一元回归系数确定，n n n n 次独立观测次独立观测次独立观测次独立观测 设设设设 0 0 0 0和和和和 1 1 1 1分别为分别为分别为分别为 0 0 0 0和和和和 1 1 1 1的估计，则的估计，则的估计，则的估计，则Y Y Y Y关于关于关于关于x x x x的线性回归方的线性回归方的线性回归方的线性回归方程程程程表示为表示为表示为表示为 根据偏差最小准则，即最小二乘原理有根据偏差最小准则，即最小二乘原理有根据偏差最小准则，即最小二乘原理有根据偏差最小准则，即最小二乘原理有智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分

11、析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归函数系数的估计回归函数系数的估计回归函数系数的估计回归函数系数的估计uu 最小值存在，最小值存在，最小值存在，最小值存在，可以证明可以证明可以证明可以证明 0 0 0 0和和和和 1 1 1 1分分分分别为别为别为别为 0 0 0 0和和和和 1 1 1 1的最小方差无偏估计。的最小方差无偏估计。的最小方差无偏估计。的最小方差无偏估计。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归函数系数的估计回归函数系数的

12、估计回归函数系数的估计回归函数系数的估计uu 可以证明可以证明可以证明可以证明 0 0 0 0和和和和 1 1 1 1分别为分别为分别为分别为 0 0 0 0和和和和 1 1 1 1的最小方差无偏估计，亦称的最小方差无偏估计，亦称的最小方差无偏估计，亦称的最小方差无偏估计，亦称最优线性无偏估计最优线性无偏估计最优线性无偏估计最优线性无偏估计。uu 多元线性回归多元线性回归多元线性回归多元线性回归智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数

13、显著性检验回归系数显著性检验uu 显著性检验显著性检验显著性检验显著性检验 对于一元线性回归，对于一元线性回归，对于一元线性回归，对于一元线性回归，1 1 1 1反映自变量反映自变量反映自变量反映自变量x x x x对随机变量对随机变量对随机变量对随机变量Y Y Y Y的影响的影响的影响的影响程度，程度，程度，程度，1 1 1 1大说明影响显著，有显著影响说明回归合理，回归效大说明影响显著，有显著影响说明回归合理，回归效大说明影响显著，有显著影响说明回归合理，回归效大说明影响显著，有显著影响说明回归合理，回归效果好。如无影响，应选择有影响的自变量重新回归。果好。如无影响，应选择有影响的自变量重

14、新回归。果好。如无影响，应选择有影响的自变量重新回归。果好。如无影响，应选择有影响的自变量重新回归。uu 显著性检验方法显著性检验方法显著性检验方法显著性检验方法t t F F F F 检验法检验法检验法检验法：检验自变量和因变量之间是否存在线性关系。：检验自变量和因变量之间是否存在线性关系。：检验自变量和因变量之间是否存在线性关系。：检验自变量和因变量之间是否存在线性关系。t t t t t t 检验法检验法检验法检验法：检验每个自变量对因变量的影响是否显著。：检验每个自变量对因变量的影响是否显著。：检验每个自变量对因变量的影响是否显著。：检验每个自变量对因变量的影响是否显著。t t 相关系

15、数检验法相关系数检验法相关系数检验法相关系数检验法：复相关系数衡量回归方程拟合品质，：复相关系数衡量回归方程拟合品质，：复相关系数衡量回归方程拟合品质，：复相关系数衡量回归方程拟合品质，偏相关系数评价每个自变量对因变量的作用。偏相关系数评价每个自变量对因变量的作用。偏相关系数评价每个自变量对因变量的作用。偏相关系数评价每个自变量对因变量的作用。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数显著性检验回归系数显著性检验uu F F F F 检

16、验法检验法检验法检验法t t 假设假设假设假设：如果如果如果如果H HH H0 0 0 0成立，则不能认为成立，则不能认为成立，则不能认为成立，则不能认为X X X X与与与与y y y y有线性相关关系。有线性相关关系。有线性相关关系。有线性相关关系。t t 检验统计量：检验统计量：检验统计量：检验统计量：智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数显著性检验回归系数显著性检验uu F F F F 检验法检验法检验法检验法t t 式中：

17、式中：式中：式中：回归离差平方和回归离差平方和回归离差平方和回归离差平方和，反映回归值与平均值的偏差，反映回归值与平均值的偏差，反映回归值与平均值的偏差，反映回归值与平均值的偏差，揭示揭示揭示揭示y y y y与与与与X X X X的线性关系所引起的数据波动。的线性关系所引起的数据波动。的线性关系所引起的数据波动。的线性关系所引起的数据波动。残差平方和残差平方和残差平方和残差平方和，反映观测值与回归值的偏差，揭，反映观测值与回归值的偏差，揭，反映观测值与回归值的偏差，揭，反映观测值与回归值的偏差，揭示试验误差和非线性关系对试验结果所引起的数据示试验误差和非线性关系对试验结果所引起的数据示试验误

18、差和非线性关系对试验结果所引起的数据示试验误差和非线性关系对试验结果所引起的数据波动。波动。波动。波动。总离差平方和总离差平方和总离差平方和总离差平方和，反映观测值与平均值的偏差程，反映观测值与平均值的偏差程，反映观测值与平均值的偏差程，反映观测值与平均值的偏差程度。度。度。度。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数

19、显著性检验回归系数显著性检验回归系数显著性检验回归系数显著性检验uu F F F F 检验法检验法检验法检验法 对给定的显著性水平对给定的显著性水平对给定的显著性水平对给定的显著性水平 （一般取（一般取（一般取（一般取1%1%1%1%或或或或5%5%5%5%），有：），有：），有：），有：-当当当当 时，拒绝时，拒绝时，拒绝时，拒绝 H HH H0 0 0 0，即可认为变量，即可认为变量，即可认为变量，即可认为变量y y y y与与与与X X X X 有线性相关关系有线性相关关系有线性相关关系有线性相关关系。-当当当当 时，接受时，接受时，接受时，接受 H HH H0 0 0 0 ，即可认为变

20、量即可认为变量即可认为变量即可认为变量y y y y与与与与X X X X没有线性相关关系没有线性相关关系没有线性相关关系没有线性相关关系。-一般当一般当一般当一般当 时，则认为可以用时，则认为可以用时，则认为可以用时，则认为可以用X X X X的线性模型来拟合的线性模型来拟合的线性模型来拟合的线性模型来拟合 y y y y，即模型通过了，即模型通过了，即模型通过了，即模型通过了F F F F 检验检验检验检验。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数

21、显著性检验回归系数显著性检验回归系数显著性检验uu t t t t 检验法检验法检验法检验法t t 假设假设假设假设：如果如果如果如果H HH H0 0 0 0成立，则不能认为成立，则不能认为成立，则不能认为成立，则不能认为x x x xi i i i与与与与y y y y有线性相关关系。有线性相关关系。有线性相关关系。有线性相关关系。t t 检验统计量：检验统计量：检验统计量：检验统计量：智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数显著

22、性检验回归系数显著性检验uu t t t t 检验法检验法检验法检验法 对给定的显著性水平对给定的显著性水平对给定的显著性水平对给定的显著性水平 （一般取（一般取（一般取（一般取1%1%1%1%或或或或5%5%5%5%），有：），有：），有：），有：-当当当当 时，拒绝时，拒绝时，拒绝时，拒绝 H HH H0 0 0 0，即可认为，即可认为，即可认为，即可认为x x x xi i i i对对对对y y y y有影响有影响有影响有影响。-当当当当 时，接受时，接受时，接受时，接受 H HH H0 0 0 0,即可认为即可认为即可认为即可认为x x x xi i i i对对对对y y y y无关重

23、要无关重要无关重要无关重要，应该从回归方程中剔除应该从回归方程中剔除应该从回归方程中剔除应该从回归方程中剔除。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数显著性检验回归系数显著性检验uu 相关系数检验法相关系数检验法相关系数检验法相关系数检验法衡量回归方程的拟合品质：定义衡量回归方程的拟合品质：定义衡量回归方程的拟合品质：定义衡量回归方程的拟合品质：定义复相关系数复相关系数复相关系数复相关系数R R R R（），），），），R R R R

24、 越接近于越接近于越接近于越接近于1 1 1 1，表明方程拟合得越好。，表明方程拟合得越好。，表明方程拟合得越好。，表明方程拟合得越好。（R R2 2称为复判定系数）称为复判定系数）称为复判定系数）称为复判定系数）智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归系数显著性检验回归系数显著性检验回归系数显著性检验回归系数显著性检验uu 相关系数检验法相关系数检验法相关系数检验法相关系数检验法评价自变量评价自变量评价自变量评价自变量 x x x xj j j j 对因变量对因变量对因变

25、量对因变量 y y y y 的作用：定义的作用：定义的作用：定义的作用：定义偏相关系数偏相关系数偏相关系数偏相关系数V V V Vj j j j ，V V V Vj j j j越大，说明越大，说明越大，说明越大，说明 x x x xj j j j 对对对对 y y y y 的作用越显著。的作用越显著。的作用越显著。的作用越显著。智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归变量的选择回归变量的选择回归变量的选择回归变量的选择uu回归效果不显著的原因：回归效果不显著的原因：回归效果

26、不显著的原因：回归效果不显著的原因：t t 影响影响影响影响y y y y 的因素除了自变量的因素除了自变量的因素除了自变量的因素除了自变量x x x xi i i i (i i i i=1,2,=1,2,=1,2,=1,2,p p p p)之外，之外，之外，之外，还有其他不可忽略的因素还有其他不可忽略的因素还有其他不可忽略的因素还有其他不可忽略的因素;t t y y y y与自变量与自变量与自变量与自变量x x x xi i i i (i i i i=1,2,=1,2,=1,2,=1,2,p p p p)之间的关系不是线性之间的关系不是线性之间的关系不是线性之间的关系不是线性的的的的;t t

27、 y y y y与自变量与自变量与自变量与自变量x x x xi i i i (i i i i=1,2,=1,2,=1,2,=1,2,p p p p)之间无关。之间无关。之间无关。之间无关。相关系数相关系数相关系数相关系数智能检测智能检测3.2 3.2 线性回归分析方法线性回归分析方法线性回归分析方法线性回归分析方法第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归变量的选择回归变量的选择回归变量的选择回归变量的选择uu 回归变量选择回归变量选择回归变量选择回归变量选择 选择恰当，获得最优经验回归函数，否则，影响选择恰当，获得最优经验回归函数，否则，影响选择恰当，获得最优经验回

28、归函数，否则，影响选择恰当，获得最优经验回归函数，否则，影响回归函数质量，抵消显著变量的作用。回归函数质量，抵消显著变量的作用。回归函数质量，抵消显著变量的作用。回归函数质量，抵消显著变量的作用。uu 选择原则选择原则选择原则选择原则t t 包括所有显著变量；包括所有显著变量；包括所有显著变量；包括所有显著变量；t t 自变量个数尽可能少自变量个数尽可能少自变量个数尽可能少自变量个数尽可能少 ，减少减少减少减少计算量。计算量。计算量。计算量。可以证明，相关系数检验，可以证明，相关系数检验，可以证明，相关系数检验，可以证明，相关系数检验，F F F F检验和检验和检验和检验和t t t t检验三

29、种检验方法的检检验三种检验方法的检检验三种检验方法的检检验三种检验方法的检验效果是一样的。验效果是一样的。验效果是一样的。验效果是一样的。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归分析回归分析uu 变量分析变量分析 uu 系统机理分析系统机理分析uu 系统先验知识系统先验知识智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n

30、 回归模型回归模型uu 过程系统回归模型过程系统回归模型 uu 系统机理模型系统机理模型uu 系统先验知识系统先验知识智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 回归建模方法回归建模方法uu 过程系统回归建模过程系统回归建模 uu 系统动力学模型系统动力学模型uu 系统先验知识系统先验知识智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智

31、能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 选定回归变量选定回归变量 t t 回归变量回归变量t t 显著性检验显著性检验 uu 建立系统回归模型建立系统回归模型uu 优化回归模型优化回归模型uu 智能检测模型估计被测量智能检测模型估计被测量智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 多元逐步回归多元逐步回归多元逐步回归多元逐步回归uu 主元分析法主元分析法主元分析法主元分析法

32、uu 部分最小二乘法部分最小二乘法部分最小二乘法部分最小二乘法为了避免矩阵求逆运算，可以采用为了避免矩阵求逆运算，可以采用为了避免矩阵求逆运算，可以采用为了避免矩阵求逆运算，可以采用递推最小二乘递推最小二乘递推最小二乘递推最小二乘，为了防止数据饱和还可以采用为了防止数据饱和还可以采用为了防止数据饱和还可以采用为了防止数据饱和还可以采用带遗忘因子的最小带遗忘因子的最小带遗忘因子的最小带遗忘因子的最小二乘法二乘法二乘法二乘法。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能

33、检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 多元逐步回归多元逐步回归多元逐步回归多元逐步回归 （“最优回归方程最优回归方程”技术）技术）t t 多元逐步回归是从与多元逐步回归是从与多元逐步回归是从与多元逐步回归是从与y y y y有关的变量中选取对有关的变量中选取对有关的变量中选取对有关的变量中选取对y y y y有显著影有显著影有显著影有显著影响的变量来建立回归方程的一种常用算法。响的变量来建立回归方程的一种常用算法。响的变量来建立回归方程的一种常用算法。响的变量来建立回归方程的一种常用算法。t t 基本思想基本思想基本思想基本思想：对全部自变量按其对因变量影响程度的大

34、：对全部自变量按其对因变量影响程度的大：对全部自变量按其对因变量影响程度的大：对全部自变量按其对因变量影响程度的大小，从大到小依次逐个地引入回归方程，而且随时对回小，从大到小依次逐个地引入回归方程，而且随时对回小，从大到小依次逐个地引入回归方程，而且随时对回小，从大到小依次逐个地引入回归方程，而且随时对回归方程当前所含的全部自变量进行检验，看其对因变量归方程当前所含的全部自变量进行检验，看其对因变量归方程当前所含的全部自变量进行检验，看其对因变量归方程当前所含的全部自变量进行检验，看其对因变量的作用是否显著。不显著则立即加以剔除。只有在回归的作用是否显著。不显著则立即加以剔除。只有在回归的作用

35、是否显著。不显著则立即加以剔除。只有在回归的作用是否显著。不显著则立即加以剔除。只有在回归方程中所含的所有因子对因变量作用都显著时，才考虑方程中所含的所有因子对因变量作用都显著时，才考虑方程中所含的所有因子对因变量作用都显著时，才考虑方程中所含的所有因子对因变量作用都显著时，才考虑引入新的因子，继而对它进行检验。如此往复输入、剔引入新的因子，继而对它进行检验。如此往复输入、剔引入新的因子，继而对它进行检验。如此往复输入、剔引入新的因子，继而对它进行检验。如此往复输入、剔除，直至无法引入新变量或剔除老变量为止。除，直至无法引入新变量或剔除老变量为止。除，直至无法引入新变量或剔除老变量为止。除，直

36、至无法引入新变量或剔除老变量为止。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 主元分析法主元分析法主元分析法主元分析法t t 在研究工业过程时，为了全面了解和分析问题，通常记在研究工业过程时，为了全面了解和分析问题，通常记在研究工业过程时，为了全面了解和分析问题，通常记在研究工业过程时，为了全面了解和分析问题，通常记录了许多与之有关的变量。这些变量虽然不同程度的反映录了许多与之有关的变量。这些变量虽然

37、不同程度的反映录了许多与之有关的变量。这些变量虽然不同程度的反映录了许多与之有关的变量。这些变量虽然不同程度的反映了过程的部分信息，但某些变量之间可能存在相关性，即了过程的部分信息，但某些变量之间可能存在相关性，即了过程的部分信息，但某些变量之间可能存在相关性，即了过程的部分信息，但某些变量之间可能存在相关性，即当当当当X X X X中存在中存在中存在中存在线性相关的变量线性相关的变量线性相关的变量线性相关的变量时，时，时，时，不存在，不能采用多不存在，不能采用多不存在，不能采用多不存在，不能采用多元线性回归方法。若元线性回归方法。若元线性回归方法。若元线性回归方法。若X X X X的变量接近

38、线性关系，则多元线性的变量接近线性关系，则多元线性的变量接近线性关系，则多元线性的变量接近线性关系，则多元线性回归方法计算不稳定。为了解决线性回归时回归方法计算不稳定。为了解决线性回归时回归方法计算不稳定。为了解决线性回归时回归方法计算不稳定。为了解决线性回归时由于数据共线由于数据共线由于数据共线由于数据共线性而导致病态协方差矩阵不可逆问题性而导致病态协方差矩阵不可逆问题性而导致病态协方差矩阵不可逆问题性而导致病态协方差矩阵不可逆问题，以及在尽可能保持，以及在尽可能保持，以及在尽可能保持，以及在尽可能保持原有信息的基础上减少变量个数原有信息的基础上减少变量个数原有信息的基础上减少变量个数原有信

39、息的基础上减少变量个数，简化建模，可以采用统，简化建模，可以采用统，简化建模，可以采用统，简化建模，可以采用统计学中的计学中的计学中的计学中的主元分析主元分析主元分析主元分析和和和和主元回归方法主元回归方法主元回归方法主元回归方法。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 主元分析法主元分析法主元分析法主元分析法t t 主元分析法是一种将多个相关变量转化为主元分析法是一种将多个相关变量转化为主元分析

40、法是一种将多个相关变量转化为主元分析法是一种将多个相关变量转化为少数几个相少数几个相少数几个相少数几个相互独立的变量互独立的变量互独立的变量互独立的变量的有效地分析方法。的有效地分析方法。的有效地分析方法。的有效地分析方法。t t 基本思想基本思想基本思想基本思想：主元分析的最终目的是在数据表中找到能：主元分析的最终目的是在数据表中找到能：主元分析的最终目的是在数据表中找到能：主元分析的最终目的是在数据表中找到能概括原数据表中的信息或者能将一个高维空间进行降维概括原数据表中的信息或者能将一个高维空间进行降维概括原数据表中的信息或者能将一个高维空间进行降维概括原数据表中的信息或者能将一个高维空间

41、进行降维处理。主元回归解决了由于输入变量间的线性相关而引处理。主元回归解决了由于输入变量间的线性相关而引处理。主元回归解决了由于输入变量间的线性相关而引处理。主元回归解决了由于输入变量间的线性相关而引起的计算问题。同时，由于忽略了那些次要的主元，还起的计算问题。同时，由于忽略了那些次要的主元，还起的计算问题。同时，由于忽略了那些次要的主元，还起的计算问题。同时，由于忽略了那些次要的主元，还起到了抑制测量噪声对模型系统影响的作用。起到了抑制测量噪声对模型系统影响的作用。起到了抑制测量噪声对模型系统影响的作用。起到了抑制测量噪声对模型系统影响的作用。智能检测智能检测3.3 3.3 基于回归分析的智

42、能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 主元分析法算法步骤主元分析法算法步骤主元分析法算法步骤主元分析法算法步骤t t （1 1 1 1）数据预处理，对）数据预处理，对）数据预处理，对）数据预处理，对X X X X、Y Y Y Y按列标准化按列标准化按列标准化按列标准化t t （2 2 2 2）求相关矩阵）求相关矩阵）求相关矩阵）求相关矩阵R R R Rt t （3 3 3 3）求）求）求）求R R R R的特征值和特征向量的特征值和特征向量的

43、特征值和特征向量的特征值和特征向量P P P Pt t （4 4 4 4）根据特征值从大到小重新排列特征值和特征向量）根据特征值从大到小重新排列特征值和特征向量）根据特征值从大到小重新排列特征值和特征向量）根据特征值从大到小重新排列特征值和特征向量P P P Pt t （5 5 5 5）计算主元贡献率）计算主元贡献率）计算主元贡献率）计算主元贡献率t t （6 6 6 6）计算累积主元贡献率，当其大于）计算累积主元贡献率，当其大于）计算累积主元贡献率，当其大于）计算累积主元贡献率，当其大于85%85%85%85%，记录主元个数，记录主元个数，记录主元个数，记录主元个数k k k kt t （7

44、 7 7 7）计算主元矩阵）计算主元矩阵）计算主元矩阵）计算主元矩阵t t （8 8 8 8）计算回归系数）计算回归系数）计算回归系数）计算回归系数智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 部分最小二乘法部分最小二乘法部分最小二乘法部分最小二乘法（第二代回归分析方法）（第二代回归分析方法）t tPLSPLSPLSPLS方法将高维数据空间投影到低维特征空间，得到相互方法将高维数据空间投影到低维特征空间

45、，得到相互方法将高维数据空间投影到低维特征空间，得到相互方法将高维数据空间投影到低维特征空间，得到相互正交的特征向量，再建立特征向量之间的一元线性回归关系。正交的特征向量，再建立特征向量之间的一元线性回归关系。正交的特征向量，再建立特征向量之间的一元线性回归关系。正交的特征向量，再建立特征向量之间的一元线性回归关系。正交特征投影使正交特征投影使正交特征投影使正交特征投影使PLSPLSPLSPLS有效地克服了普通最小二乘回归的共线有效地克服了普通最小二乘回归的共线有效地克服了普通最小二乘回归的共线有效地克服了普通最小二乘回归的共线性问题性问题性问题性问题。同时同时同时同时PLSPLSPLSPLS

46、方法将多元回归问题转化为若干个一元回方法将多元回归问题转化为若干个一元回方法将多元回归问题转化为若干个一元回方法将多元回归问题转化为若干个一元回归，适用于样本数较少且变量数较多的过程建模。归，适用于样本数较少且变量数较多的过程建模。归，适用于样本数较少且变量数较多的过程建模。归，适用于样本数较少且变量数较多的过程建模。与主元回与主元回与主元回与主元回归相比，归相比，归相比，归相比，PLSPLSPLSPLS在选取特征向量时强调输入对输出的预测作用，在选取特征向量时强调输入对输出的预测作用，在选取特征向量时强调输入对输出的预测作用，在选取特征向量时强调输入对输出的预测作用，去除了对回归无益的噪声，

47、使模型包含最少的变量数，因此去除了对回归无益的噪声，使模型包含最少的变量数，因此去除了对回归无益的噪声，使模型包含最少的变量数，因此去除了对回归无益的噪声，使模型包含最少的变量数，因此PLSPLSPLSPLS具有更好的具有更好的具有更好的具有更好的鲁棒性和预测稳定性鲁棒性和预测稳定性鲁棒性和预测稳定性鲁棒性和预测稳定性。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理基于回归模型的智能检测原理uu 部分最小二乘法部分最小二乘法部分最小二

48、乘法部分最小二乘法（第二代回归分析方法）（第二代回归分析方法）t t 部分最小二乘回归法可以集部分最小二乘回归法可以集部分最小二乘回归法可以集部分最小二乘回归法可以集多元回归分析多元回归分析多元回归分析多元回归分析，典型相典型相典型相典型相关分析关分析关分析关分析和和和和主元分析主元分析主元分析主元分析的基本功能为一体，将建模预测类的基本功能为一体，将建模预测类的基本功能为一体，将建模预测类的基本功能为一体，将建模预测类型的数据分析方法和非模型式的数据认识分析方法有型的数据分析方法和非模型式的数据认识分析方法有型的数据分析方法和非模型式的数据认识分析方法有型的数据分析方法和非模型式的数据认识分

49、析方法有机的结合起来。机的结合起来。机的结合起来。机的结合起来。t t 基本思想基本思想基本思想基本思想：部分最小二乘回归法与普通多元回归分：部分最小二乘回归法与普通多元回归分：部分最小二乘回归法与普通多元回归分：部分最小二乘回归法与普通多元回归分析方法在思路上的主要区别就是它在回归建模过程中析方法在思路上的主要区别就是它在回归建模过程中析方法在思路上的主要区别就是它在回归建模过程中析方法在思路上的主要区别就是它在回归建模过程中采用了采用了采用了采用了信息综合与筛选技术信息综合与筛选技术信息综合与筛选技术信息综合与筛选技术。还有就是它不直接考虑。还有就是它不直接考虑。还有就是它不直接考虑。还有

50、就是它不直接考虑因变量集合与自变量集合的回归模型，而是在变量系因变量集合与自变量集合的回归模型，而是在变量系因变量集合与自变量集合的回归模型，而是在变量系因变量集合与自变量集合的回归模型，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量。统中提取若干对系统具有最佳解释能力的新综合变量。统中提取若干对系统具有最佳解释能力的新综合变量。统中提取若干对系统具有最佳解释能力的新综合变量。智能检测智能检测3.3 3.3 基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测基于回归分析的智能检测第三章第三章 基于回归分析的智能检测基于回归分析的智能检测n 基于回归模型的智能检测原理