误差分析数据判别分析幻灯片.ppt

《误差分析数据判别分析幻灯片.ppt》由会员分享，可在线阅读，更多相关《误差分析数据判别分析幻灯片.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、误差分析课件数据判别分析第1页，共52页，编辑于2022年，星期二判别分析概念及应用o概念o应用第2页，共52页，编辑于2022年，星期二判别分析概念o在自然科学与社会科学等众多领域中,研究对象往往用某种方式已划分为若干类型,当得到一个新的样品,要确定该样品属于已知类型的哪一类,这类问题就属于判别分析.第3页，共52页，编辑于2022年，星期二判别分析的应用o在工业生产中判断产品的等级;o在经济发展中判断一个国家经济发展程度;o医学中根据化验结果判断病人的疾病类型等.第4页，共52页，编辑于2022年，星期二相似性测度o判断样品之间的相似性常采用近邻准则，就是把待分类样品与标准模版进行比较，看

2、和哪个模版匹配程度更好，从而确定待测样品的分类。o计算模式相似性测度有欧式距离、马氏距离、夹角余弦距离、Tanimoto测度等多种距离算法。第5页，共52页，编辑于2022年，星期二近邻准测分类的两种计算方法o1 通过与样品库所有样品特征分别作相似性测度，找出最接近的样品，取该样品所属类别作为待测样品的类别。o2 待测样品与样品库中不同类别的中心或重心作相似性测度，找出最接近类的中心，以该类作为待测样品的类别。第6页，共52页，编辑于2022年，星期二距离算法o样品与样品之间的距离o样品与类之间的距离o类内距离o类与类之间的距离第7页，共52页，编辑于2022年，星期二样品间距离示意图o同类内

3、样品间的距离o不同类内样品间的距离第8页，共52页，编辑于2022年，星期二样品与样品之间的距离oA:oB:第9页，共52页，编辑于2022年，星期二样品间的距离计算公式第10页，共52页，编辑于2022年，星期二样品与类之间的距离oW为代表某类样品的集合，其中有n个样品，x为待测样品。第11页，共52页，编辑于2022年，星期二样品与类的距离的计算方法o1 计算待测样品和类中每个样品之间的距离后求平均值。o2 计算类的中心点，以类中所有的样品特征的平均值作为类的中心，然后计算待测样品到中心点的距离。第12页，共52页，编辑于2022年，星期二类内距离o同一个类内任意样品之间距离之和的平均值第

4、13页，共52页，编辑于2022年，星期二类与类之间的距离o最短距离法、最长距离法、重心法、平均距离法第14页，共52页，编辑于2022年，星期二数据判别的方法模版匹配o把未知样品和一个标准模版相比，看它们是否相同或者相似。o两类别o多类别第15页，共52页，编辑于2022年，星期二两类别o有两个标准样品模版为A和B，其特征向量分别为X和Y，任何一个待识别的样品为M,可以用距离判别来判断它属于A或者B,如果M和A的距离近则属于A，否则属于B。这就是最小距离判别法。第16页，共52页，编辑于2022年，星期二多类别o多种类别，每类有N个样品，计算待测样品到各类中心的马氏距离，比较各距离，取最小的

5、距离值，则待测样品就属于该类。第17页，共52页，编辑于2022年，星期二马氏距离o在判别分析中最常用到马氏距离，此方法考虑到了欧式分布中没有考虑到的总体分布的分散性信息。o设x，y是来自均值向量为 、协方差矩阵 的总体G的两个样品，则x，y之间的马氏距离是o 而两个总体G1和G2,其均值向量分别为和 ，G1和G2的协方差距阵相等，皆为，则总体G1和G2间的马氏距离是 第18页，共52页，编辑于2022年，星期二马氏距离的性质o1o2o3第19页，共52页，编辑于2022年，星期二马氏距离判别的合理性o设G1为正态总体o它们的概率密度为：oG2为正态总体第20页，共52页，编辑于2022年，星

6、期二马氏距离判别的合理性o两个总体的协方差矩阵相等，对于新产品X，要判别X属于哪个总体，根据统计学似然比准则，很自然应将X判归在该样品观测处其概率密度较大的那个总体。o即有下列判别准则：第21页，共52页，编辑于2022年，星期二马氏距离判别的合理性o而 的充分必要条件是：o即，（马氏距离）因此，当两个总体G1和G2为正态总体且其协方差矩阵相等时，采用马氏距离判别准则和似然比准则时一致的。第22页，共52页，编辑于2022年，星期二具体讨论两个总体协方差矩阵相等或不等的情况o1当两个总体协方差矩阵相等时，考虑样品X到两总体的马氏平方距离的差：第23页，共52页，编辑于2022年，星期二具体讨论

7、两个总体协方差矩阵相等或不等的情况o记o则第24页，共52页，编辑于2022年，星期二具体讨论两个总体协方差矩阵相等或不等的情况o这样，距离判别准则化为o其中W1和W2都是线性判别函数，在实际问题中，通常以来自总体的训练样本的均值和协方差来估计线性判别函数。第25页，共52页，编辑于2022年，星期二具体讨论两个总体协方差矩阵相等或不等的情况o2 当两个总体协方差矩阵不等的时候第26页，共52页，编辑于2022年，星期二多个总体的距离判别oN个总体均值向量和协方差矩阵已知，计算待测样品X到各总体的马氏距离，比较这N个距离，判断X属于其马氏距离最小的总体，如果最小距离在不止一个总体达到，则可将X

8、判给具有最小距离总体的任何一个。第27页，共52页，编辑于2022年，星期二判别准则的评价o1 误判率回代估计法o2 误判率的交叉确认估计法第28页，共52页，编辑于2022年，星期二误判率回代估计法o设G1和G2为两个总体，容量分别为n1、n2，以全体训练样本作为n1n2个新样品，逐个代入已建立的判别准则中判别其归属。第29页，共52页，编辑于2022年，星期二误判率回代估计法o其中n12是将属于G1的样品误判为属于G2的个数，n21是将属于G2的样品误判为属于G1的个数，总的误判个数是n12n21，而总体n1n2，误判率回代估计为第30页，共52页，编辑于2022年，星期二误判率的交叉确认

9、估计法o误判率的交叉估计确认估计是每次剔除训练样本中的一个样品，利用其余容量为n1+n2-1的训练样本建立相应的判别准则，再用所建立的判别准则对剔除的那个样品作判别。对训练样本中的每个样品作上述分析，以其误判的比例作为误判概率的估计。第31页，共52页，编辑于2022年，星期二误判率的交叉确认估计法步骤o从总体G1的容量为n1的训练样本开始，依次剔除其中一个样品，用剩余的容量为n11的训练样本和总体G2的容量为n2的训练样本建立相应的判别函数。o用建立的判别函数对剔除的那个样品作判别o重复以上步骤，直到G1的训练样本中的n1的样品依次被剔除，记录其误判的样品个数o对G2重复以上步骤，确定误判率

10、。第32页，共52页，编辑于2022年，星期二两种误判率确认方法的比较o误判率的交叉确认估计法，所得到的估计称为误判率的交叉确认估计，此方法较回代法更合理，但计算量较大。o误判率的回代估计法作出的误判率是建立判别函数的数据反过来用作评价准则的数据得到，因此由此得出的估计往往比真实误判率小，当训练样本较大的时候，此法可以作为真实误判率的一种近似估计。第33页，共52页，编辑于2022年，星期二其他分类判别准则o基于概率统计的贝叶斯分类准则o判别函数分类设计（线性、非线性、支持向量机）o神经网络分类o决策树分类o粗糙集分类第34页，共52页，编辑于2022年，星期二数据判别分析 第二部分第二部分

11、实例分析实例分析距离判别分析法在岩体质量等级分类中的应用主讲人：吴佳欢第35页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o研究意义 工程岩体质量反映了岩体结构固有的物理力学特性，为工程稳定分析、岩体的合理利用以及正确选择各类岩体力学参数等提供了可靠的依据。第36页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o对象特征在岩石力学与工程系统中，许多情况下由于系统具有在岩石力学与工程系统中，许多情况下由于系统具有1.1.复杂性复杂性2.2.模糊性模糊性3.3.高度非线性高度非线性数据分布形式和变量之

12、间的数据分布形式和变量之间的关系是难以准确获知的关系是难以准确获知的第37页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展趋势1.单因素定性分级单因素定性分级2.由于应用和分析侧重点不同，相应地采用不同的评价指标和分级由于应用和分析侧重点不同，相应地采用不同的评价指标和分级标准标准3.采用静态和动态等多种评价方法从不同侧面进行岩体质量采用静态和动态等多种评价方法从不同侧面进行岩体质量的综合评价的综合评价4.岩体质量评价与岩体稳定性分析的有机结合岩体质量评价与岩体稳定性分析的有机结合多因素定性分级多因素定性分级多因素定量综合模式多因素定量综合

13、模式第38页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展概况1.早期方法（统计方法、回归方法等）2.RMR分类3.马氏距离判别分析法第39页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o马氏距离判别分析法第40页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o马氏距离判别分析法=注释：注释：S第41页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o岩体质量等级判定的距离判别分析模型1.判别参数的

14、确定判别参数的确定岩体质量等级的影响因素岩体质量等级的影响因素 （1）岩石性质）岩石性质 （2）岩体结构）岩体结构 （3）储存环境）储存环境以单轴抗压强度（以单轴抗压强度（X1）岩体声波纵波速度岩体声波纵波速度(X2)体积节理数体积节理数(X3)节理面粗糙度系数节理面粗糙度系数(X4)节理面风化变异系数节理面风化变异系数(X5)透水性系数透水性系数(X6)第42页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o岩体质量等级判定的距离判别分析模型2.距离判别分析模型的建立距离判别分析模型的建立 距离判别分析模型示意图距离判别分析模型示意图 第43页

15、，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o岩体质量等级判定的距离判别分析模型2.距离判别分析模型的建立距离判别分析模型的建立 第44页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o岩体质量等级判定的距离判别分析模型3.判别结果的检验判别结果的检验 第45页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o岩体质量等级判定的距离判别分析模型4.结论结论 采用距离判别分析法能够解决传统分类方法中考虑的因素不够、采用距离判别分析法能够解决传统分类方法中

16、考虑的因素不够、实用性窄以及使用起来有局限性等缺陷。该模型在判别分类中具有较实用性窄以及使用起来有局限性等缺陷。该模型在判别分类中具有较强的判别能力，为解决岩体质量等级判定和分类提供了一条新的途径。强的判别能力，为解决岩体质量等级判定和分类提供了一条新的途径。第46页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用 第47页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展概况早期方法的不足：这些方法需要已知数据分布形式和对变量之间关系的假定，这些方法需要已知数据分布形式和对变量之间关系的假定，分级

17、效果的好坏很大程度上取决于对模型的认识，人为因素很大。分级效果的好坏很大程度上取决于对模型的认识，人为因素很大。返回第48页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展概况RMR分类：R1R1：岩石抗压强度：岩石抗压强度 R2R2：岩石质量指标：岩石质量指标 R3R3：节理间距：节理间距R4R4：节理状态：节理状态 R5R5：地下水状态：地下水状态第49页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展概况RMR分类：第50页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o发展概况RMR分类的不足：实用性窄，使用起来有局限性，对采集数据依赖较大。返回第51页，共52页，编辑于2022年，星期二数据判别实例分析 距离判别分析法在岩体质量等级分类中的应用o马氏距离判别分析法 返回第52页，共52页，编辑于2022年，星期二