数学建模判别分析.ppt

《数学建模判别分析.ppt》由会员分享，可在线阅读，更多相关《数学建模判别分析.ppt（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章 判别分析v5.1 引言v5.2 距离判别v5.3 贝叶斯判别v5.4 费希尔判别5.2 距离判别v一、两组距离判别v二、多组距离判别一、两组距离判别 设组 和 的均值分别为 和 ，协差阵分别为 和 ，是一个新样品(维)，现欲判断它来自哪一组。v1.时的判别v2.时的判别1.时的判别v判别规则：v令 ，其中 ，则上述判别规则可简化为v称 为两组距离判别的判别函数，由于它是 的线性函数，故又可称为线性判别函数，称 为判别系数。误判概率v误判概率v正态组的误判概率 设 ，则 其中 是两组之间的马氏距离。v从上述误判概率的公式中可以看出，两个正态组越是分开（即越大），两个误判概率就越小，此时的

2、判别效果也就越佳。当两个正态组很接近时，两个误判概率都将很大，这时作判别分析就没有什么实际意义。界定组之间是否已过于接近v我们可对假设 进行检验，若检验接受原假设 ，则说明两组均值之间无显著差异，此时作判别分析一般会是徒劳的；若检验拒绝 ，则两组均值之间虽然存在显著差异，但这种差异对进行有效的判别分析未必足够大（即此时作判别分析未必有实际意义），故此时还应看误判概率是否超过了一个合理的水平。例抽取样本估计有关未知参数误判概率的非参数估计v若两组不能假定为正态组，则 和 可以用样本中样品的误判比例来估计，通常有如下三种非参数估计方法：v（1）令 为样本中来自 而误判为 的个数，为样本中来自 而误

3、判为 的个数，则 和 可估计为 该方法简单、直观，且易于计算。但遗憾的是，它给出的估计值通常偏低，除非 和 都非常大。v（2）将整个样本一分为二，一部分作为训练样本，用于构造判别函数，另一部分用作验证样本，用于对判别函数进行评估。误判概率用验证样本的被误判比例来估计，如此得到的估计是无偏的。但是，这种方法有两个主要缺陷：（i）需要用大样本；（ii）在构造判别函数时，只用了部分样本数据，损失了过多有价值的信息。与使用所有的样本数据构造判别函数相比，该方法将使真实的误判概率上升。该缺陷随样本容量的增大而逐渐减弱，当样本容量相当大时此缺陷基本可忽略。v称为交叉验证法或刀切法。该方法既避免了样本数据在

4、构造判别函数的同时又被用来对该判别函数进行评价，造成不合理的信息重复使用，又几乎避免了构造判别函数时样本信息的损失。2.时的判别v可采用(5.2.1)式作为判别规则的形式。另一种方式是，选择判别函数为 v它是 的二次函数，相应的判别规则为 二、多组距离判别5.3 贝叶斯判别v一、最大后验概率准则v二、最小平均误判代价准则一、最大后验概率准则v 设有 个组 ，且组 的概率密度为 ，样品来自组 的先验概率为 ，满足 。则 属于 的后验概率为v最大后验概率准则是采用如下的判别规则：二、最小平均误判代价准则（）式的一些特殊情形 v(1)当 时，(5.3.13)式简化为 实际应用中，如果先验概率未知，则

5、它们通常被取成相等。v(2)当 时，(5.3.13)式简化为 该式等价于组数 时的(5.3.2)式。实践中，若误判代价比无法确定，则通常取比值为1。v(3)当 时，(5.3.13)式可进一步简化为 这时，判别新样品 的归属，只需比较在 处的两个概率密度值 和 的大小。5.4 费希尔判别v费希尔判别（或称典型判别）的基本思想是投影（或降维）：用p维向量 的少数几个线性组合（称为判别式或典型变量）(一般r明显小于p）来代替原始的p个变量，以达到降维的目的，并根据这r个判别式 对样品的归属作出判别。成功的降维将使判别更为方便和有效，且可对前两个或前三个判别式作图，从直观的几何图形上区别各组。一个说明性的二维例子