多元统计分析判别分析课件.ppt

关于多元统计分析判别分析现在学习的是第1页，共46页1问题引入2思路点拨3判别分析方法4DNA序列分类问题的求解5.参考文献目 录现在学习的是第2页，共46页 首先，我们来考虑一下2000年“网易杯”全国大学生数学建模竞赛的A题是关于“DNA序列分类”的问题 1问题引入现在学习的是第3页，共46页 人类基因组中的DNA全序列是由4个碱基A，T，C，G按一定顺序排成的长约30亿的序列，毫无疑问，这是一本记录着人类自身生老病死及遗传进化的全部信息的“天书”。但是，除了这四种碱基外，人们对它所包含的内容知之甚少，如何破译这部“天书”是二十一世纪最重要的任务之一。在这个目标中，研究DNA全序列具有什么结构，由这4个字符排成的看似随机的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学（Bioinformatics）最重要的课题之一。现在学习的是第4页，共46页虽然人类对这部“天书”知之甚少，但也发现了DNA序列中的一些规律性和结构。例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的。现在学习的是第5页，共46页作为研究DNA序列的结构的尝试，试对以下序列进行分类：问题一：下面有20个已知类别的人工制造的序列（见附件1），其中序列标号110 为A类，11-20为B类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：A类 ；B类 。现在学习的是第6页，共46页问题二：请对 182个自然DNA序列（http:/ 问题的本 质对另外20个未标明类别的DNA序列进行分类 根据所给的20个已知类别的DNA序列所提供的信息 对182个自然DNA序列进行分类 现在学习的是第8页，共46页 如果将每一个DNA序列都看作样本，那么该问题就进一步提炼成一个纯粹的数学问题：设有两个总体（类）和 ，其分布特征（来自各个总体的样本）已知，对给定的新品 ，我们需要判断其属于哪个总体（类）。对于上面的数学问题，可以用很多成熟的方法来解决，例如：（1）BP神经网络；（2）聚类分析；（3）判别分析；等等。1G2GX现在学习的是第9页，共46页 如何选取方法是建模过程中需要解决的另外一个问题：BP神经网络是人工神经网络的一种，它通过对训练样本的学习，提取样本的隐含信息，进而对新样本的类别进行预测。BP神经网络可以用以解决上面的DNA序列分类问题，但是，如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决DNA序列分类问题的关键所在；聚类分析和判别分析都是多元统计分析中的经典方法，都可以用来将对象（或观测值）分成不同的集合或类别，但是，聚类分析更侧重于“探索”对象（或观测值）的自然分组方式，而判别分析则侧重于将未知类别的对象（或观测值）“归结”（或者说，分配）到已知类别中。显然，判别分析更适合用来解决上面的DNA序列分类问题。现在学习的是第10页，共46页3判别分析方法 判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题都可以这样描述：设有 个 维的总体 ，其分布特征已知（如已知分布函数分别为 或者已知来自各个总体的样本），对给定的一个新样品 ，我们需要判断其属于哪个总体。一般来说，根据判别规则的不同，可以得到不同的判别方法，例如，距离判别、贝叶斯（Bayes）判别、费希尔（Fisher）判别、逐步判别、序贯判别等。这里，我们简单介绍三个常用的判别方法：距离判别、贝叶斯（Bayes）判别和费希尔（Fisher）判别。km12,kG GG12(),(),()kFx F xF xX现在学习的是第11页，共46页判 别 分 析 方 法1.距离判别2.贝叶斯（Bayes）判别3.费希尔（Fisher）判别4.判别分析模型的 显著性检验 现在学习的是第12页，共46页3.1 距离判别 距离判别的基本思想：样品 X离哪个总体的距离最近，就判断 X 属于哪个总体。这里的“距离”是通常意义下的距离（欧几里得距离：在 m 维欧几里得空间 R 中，两点 与 的欧几里得距离，也就是通常我们所说的距离为 ）吗？带着这个疑问，我们来考虑这样一个问题：TmxxxX),(21TmyyyY),(2122222112)()()(),(mmYXYXYXYXd现在学习的是第13页，共46页21,GG),(21NX)6,(22NY 设有两个正态总体 ，和 ，现在有一个新的样品位于 A 处（参见图1）1d2d 从图中不难看出：，是否 A 处的样品属于总体 呢？21d d1G图 1现在学习的是第14页，共46页 显然不是，因为从概率的角度来看，总体 的样本比较分散，而总体 的样本则非常集中，因此 处的样品属于总体 的概率明显大于属于总体 的概率，也就是说，处的样品属于总体 的“可能性”明显大于属于总体 的“可能性”！这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此，需要引入新的距离概念这就是下面给出的马氏距离。2G1G2G1GA1G2GA2G现在学习的是第15页，共46页定义1（马氏距离）：设总体 G 为 m 维总体（m 个因素或指标），其均值向量为 （这里 T 表示转置），协方差阵为 ，则样品 到总体 G 的马氏距离定义为Tm),(21mmij)(TmxxxX),(21)()(),(12XXGXdT现在学习的是第16页，共46页3.1.1 两总体的距离判别 先考虑两个总体（）的情况。设有两个总体 和 ,和 分别是 和 的协方差阵，和 分别是 和 的均值。对于新的样品 ，需要判断它来自那个总体。设来自（）的训练样本为其中 表示来自哪个总体，表示来自总体 的样本量。2k1G2G121G2G121G2GXiG2,1iTijmijijijxxxX),(212,1iinj,2,1 iG现在学习的是第17页，共46页要判断新样品 来自哪个总体，一般的想法是分别计算新样品到两个总体的马氏距离 和 ：如果 则判定 ；反之，如果 则判定 ：即 （1）A.时的判别方法21X),(12GXd),(22GXd),(),(2212GXdGXd1GX),(),(2212GXdGXd2GX2211222212,(,)(,),(,)(,)X Gd XGd XGX Gd XGd XG if:if:现在学习的是第18页，共46页其中 ，记 为了得到更简单的判别规则，我们下面计算新样品到两个总体的马氏距离 和 的差221211112211121112211221(,)(,)()()()()2()2()()22()TTTTTTTdX GdX GXXXXXXX ),(12GXd),(22GXd)(2121)(211)()(XXWT现在学习的是第19页，共46页显然，判别规则（1）式等价于 （2）通常，称 为判别系数向量称 为线性判别函数。注意判别准则（1）式或者（2）式将 维空间 划分成两部分：和 也即 。距离判别的实质就是：给出空间 的一个划分 和 ，如果样品 落入 之中，则判定 ；如果样品 落入 之中，则判定 。12,()0,()0X GW XX GW Xif:if:)(XWmmR 0)(|1XWXD 0)(|2XWXD21DDRmmR1D2DX1D1GXX2D2GX现在学习的是第20页，共46页 当 时，根据判别准则（1）式，我们同样的给出判别函数 为相应的判别规则为 （3）B.时的判别方法2121)(XW)()()()()(21221111XXXXXWTT12,()0,:()0XGW XXGif W Xif:现在学习的是第21页，共46页 在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观测值，在这种情况下，就需要利用数理统计的知识，对 进行估计。利用已知样本，易得 的无偏估计分别为C.的估计 2121,2121,2121,111111njjXnX212221njjXnX11111111)(11njTjjXXXXnS21222222)(11njTjjXXXXnS现在学习的是第22页，共46页 对于多个总体的情况，可以类似于两个总体的处理过程，我们给出如下的步骤：第一步：计算样品 到每个总体的马氏距离 ；第二步：比较 的大小，将样品 判为距离最小的那个总体。如果均值为：和协方差：未知，可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。3.1.2 多总体的距离判别X),2,1)(2kiXdi),2,1)(2kiXdiX),2,1(kii),2,1(kii现在学习的是第23页，共46页3.1.3 距离判别的不足 距离判别方法简单实用，容易实现，并且结论的意义明确。但是，距离判别没有考虑：（1）各总体本身出现的可能性在距离判别中没有考虑；（2）错判造成的损失在距离判别中也没有考虑。在很多情况下，不考虑上面的两种因素是不合理的。贝叶斯（Bayes）判别方法克服了距离判别的不足。现在学习的是第24页，共46页与前面距离判别方法不同的是：所谓贝叶斯（Bayes）判别，就是在考虑各总体的先验概率和错判损失的情况下，给出空间 的一个划分：，使得运用此划分来判别归类时，所带来的平均错判损失最小。3.2 贝叶斯判别mR,21kDDDD现在学习的是第25页，共46页贝叶斯（Bayes）判别问题的数学描述为：设有 个 维的总体 ，其密度函数分别为 ，若已知这 个总体各自出现的概率（先验概率）为 （，且 ），假设已知将本来属于总体 的样品错判为总体 所造成的损失为 。在这样的情形下，对于新的样品 ，需要判断它来自那个总体。为了给出贝叶斯（Bayes）判别准则，我们从下面几个方面来讨论：kmkGGG,21)(,),(),(21xfxfxfkk12,kqqq0iq11kiiqiGjG),2,1,)(|(kjiijLX现在学习的是第26页，共46页 先验概率表示对各总体的先知认识，或者说，事先对所研究的问题所具有的认识。一般来说，先验概率并不容易获得，其更多的来自于长期累积的经验。先验概率可以通过下面几种赋值方法得到：基于经验或者历史资料进行估计；利用训练样本中各种样品所占的比例 作为 的值。其中 表示第 类总体的样品数，是总训练样本数，该方法要求训练样本是通过随机抽样得到的；3.假定 。nniiqiniknnnn21kqqqk/121A.确定先验概率现在学习的是第27页，共46页 这里用 表示将本来属于总体 的样品错判为总体 的概率，即误判概率，显然，根据概率的定义，易得：（）（4）实际上，（4）式的几何意义是很明显的，见图2。B.确定错判概率 )|(ijPiGjG图2表示的是两个正态总体的误判概率示意图。现在学习的是第28页，共46页误判概率的估计方法有以下几种：（1）利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并作为误判概率的估计值；（2）当训练样本足够大时，从训练样本中预留一部分作为检验集，并记录判错的比率，作为误判概率的估计值；（3）运用舍一法：每次预留一个样本来检验，用剩下 的样本建立判别准则，循环检验完所有训练样本，记录判错的比率，以此作为误判概率的估计值。现在学习的是第29页，共46页C.确定错判损失 错判必然带来损失。现实中，错判的损失一般来说很难定量给出。但是可以运用赋值法来确定：（1）根据经验或者实际问题的特征人为 确定；（2）假设各种误判损失都相等。现在学习的是第30页，共46页 基于前面的讨论，运用概率知识：判别法 将本来属于总体 的样本错判给其它总体的平均损失为那么，关于先验概率的平均错判损失 为 （5）如果能找到 使得平均损失 达到最小，那么 就称为贝叶斯（Bayes）判别的解。)(*Dg*DD.确定平均损失现在学习的是第31页，共46页定理1：设有 个总体：，已知 的联合密度函数为 ，先验概率为 ，错判损失为 ，则贝叶斯（Bayes）判别的解为 其中 （6）下面给出贝叶斯（Bayes）判别的解的主要结论：kkGGG,21iG)(Xfi),2,1(kiqi)|(ijL,*2*1*kDDDD),2,1(,2,1,),()(|*kikjijXhXhXDjii现在学习的是第32页，共46页 3.3 费希尔判别 费希尔判别的基本思想：借助于方差分析的思想，利用投影将 元的数据投影到某一个方向，使得投影后组与组之间的差异尽可能的大，然后根据一定的判别规则对新样本的类别进行判断。首先构造一个线性判别函数 （7）可见上面的函数将 元的数据投影到了一个方向，系数 的确定原则是使得总体间的差异最大，总体内部的离差最小。现在学习的是第33页，共46页A.确定线性判别函数 设有 个 元总体：，它们的均值为：；协方差为：。在 的条件下，有 令这里确定 ，使得 个总体间的差异最大，总体内部的离差最小，则 应该达到最大。kmkGGG,21),2,1(kii),2,1(kiiiGX iTTTAXEAXAE)()(ki,2,1AAAXDAXADiTTT)()(ki,2,1AAAAeTkiiT1BAAAkAAAbTkiiiTkiTiT)(112kiik11kii1kBkiii1AkAABAAebATT)(现在学习的是第34页，共46页为了确保 的唯一性，不妨设 。因此，问题转化为：在条件 约束下，求 使得 式达到最大这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法：求解得 （8）由方程（8）第一式知，是 的特征根，是相应的特征向量。可以证明 （的大小可以衡量判别函数 的判别效果，故称 为判别效率）。设 的非零特征根为 ，相应的满足约束条件的特征向量为 ，显然，取 时 达到最大。A1AAT1AATABAAT)1()(AABAAATT010)(2AAddABdAdTB1A)(A)(A)(XU)(AB1021rrlll,211lA 1)(A现在学习的是第35页，共46页B.确定判别规则 假设系数 已经求出，那么线性判别函数 就完全确定下来，对于一个新的样品 ，可以构造下面的判别规则：（9）)(XUX1,|min|iTTTTijj kX GA X AA X A if:现在学习的是第36页，共46页3.4 判别分析模型的显著性检验 建立了判别分析模型以后还需要对模型进行评价，这就需要对判别分析模型的显著性进行检验，主要包括两个方面：判别效果的检验和各变量判别能力的检验1，2。所谓判别效果的检验就是检验 k 个总体的均值是否有显著的差异，反映了采用判别分析模型的有效性问题；各变量判别能力的检验反映的是各指标（因素）对判别分类所起的作用时候显著。具体的检验方法因为过于复杂，这里不再赘述。需要说明的是，作为多元统计分析中的经典方法，判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。现在学习的是第37页，共46页4DNA序列分类问题的求解 关于DNA序列分类问题的讨论和分析，我们在第1部分和第2部分已经作了详细的分析和讨论。这里，我们将根据多元统计分析的知识建立判别分析模型来求解DNA序列的分类问题（这里只求解问题一）。首先，需要提取每条序列的所蕴含的特征因为将序列的全部信息都作为指标（因素）来建立判别模型是不可能的。现在学习的是第38页，共46页A.特征的提取 DNA序列中所蕴含的信息是非常丰富的，因此，如何提取特征、提取什么特征是一个非常困难的问题这个问题涉及到生物学的知识，此处将不深入展开讨论。我们考虑采用序列中4个碱基A，T，C，G的含量百分比作为DNA序列的特征。为了便于讨论，我们用 表示碱基A在序列中所占的百分比；表示碱基T在序列中所占的百分比；表示碱基C在序列中所占的百分比；表示碱基G在序列中所占的百分比。因为，+=1，因此 、和 中只有三个变量是独立的，不失一般性，我们选取 、和 为指标，以 表示第 个DNA序列的特征向量，换句话说，“完全”代表第 个DNA序列。axtxcxgxaxtxcxgxaxtxcxgxaxtxcxTctaixxxX),(iTctaixxxX),(i现在学习的是第39页，共46页 正如前面第2部分中所分析的：在此DNA序列分类问题中，共有两个已知的总体（类）（A类）和 （B类），而且，训练样本共有 个，其中，前10个样本（记为 ）属于总体（类）；后 10个样本（记为 ）属于总体 （类）。需要解决的问题是：对给定的新样品 ，我们需要判断其属于哪个总体（类）。1G2G20n1021,XXX1G201211,XXX2GX现在学习的是第40页，共46页B.建立判别模型 这里分别建立距离判别和费希尔（Fisher）判别模型。（1）距离判别模型在距离判别模型中，首先需要估计总体（类）和 的均值 和协方差阵 ，运用前面3.1.1小节的公式，可以得到均值 和协方差阵 的无偏估计。然后，计算样本 到总体（类）和 的马氏距离 ；根据判别准则（1），可得：若 ，则判定 为A类；若 ，则判定 为B类。1G2G)2,1(ii)2,1(ii)2,1(ii)2,1(iiX1G2G)()(),(111112XXGXdT)()(),(212222XXGXdT),(),(2212GXdGXdX),(),(2212GXdGXdX现在学习的是第41页，共46页（2）费希尔判别模型 首先，确定判别函数 利用费希尔(Fisher)判别准则，可以求出 确定了判别函数，就可以根据费希尔(Fisher)判别准则（9）式，判断新的DNA序列的类别问题了。ctaxaxaxay3219377.0,087.0,3365.0321aaa现在学习的是第42页，共46页C.模型求解和软件实现 判别分析的计算机实现是非常简单的，运用Matlab和SPSS等软件都可以进行判别分析。经过计算，结果如下：（1）距离判别：运用上面算法对已知类别的训练本进行判定，结果为：A类：1，2，3，5，6，7，8，9，10B类：4，11，12，13，14，15，16，17，18，19，20只有第4个样本发生了误判，故正确率为95%。运用上面算法对21-40进行分类，结果为A类：22，23，25，27，29，30，32，33，34，35，36，37B类：21，24，26，28，31，38，39，40现在学习的是第43页，共46页（2）费希尔判别 运用上面算法对已知类别的训练本进行判定，结果为：A类：1，2，3，5，6，7，8，9，10 B类：4，11，12，13，14，15，16，17，18，19，20 只有第4个样本发生了误判，故正确率为95%。运用上面算法对21-40进行分类，结果为：A类：22，23，25，27，29，34，35，36，37B类：21，24，26，28，30，31，32，33，38，39，40现在学习的是第44页，共46页参考文献1 高惠璇，应用多元统计分析，北京大学出版社，2005。2 张尧庭,方开泰，多元统计分析引论，科学出版社，1982。3 陈家鼎，孙山泽，李东风，数理统计学讲义，高等教 育出版社，1998。4 梁之舜，邓集贤，杨维权等，概率论与数理统计（第 二版）（上），高等教育出版社，1998。5 朱建平，应用多元统计分析，科学出版社，2006。6 全国大学生数学建模竞赛优秀论文汇编（1999-2000），中国物价出版社，2002。现在学习的是第45页，共46页感谢大家观看现在学习的是第46页，共46页