随机数学模型精.ppt

《随机数学模型精.ppt》由会员分享，可在线阅读，更多相关《随机数学模型精.ppt（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、随机数学模型第1页，本讲稿共28页一、引例 1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1

2、.74 1.36 Af数数学学模模型型第2页，本讲稿共28页v问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？解法一：把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示得到的结果见图1 图1飞蠓的触角长和翼长 数数学学模模型型第3页，本讲稿共28页v思路：作一直线将两类飞蠓分开 例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x -0

3、.017其中X表示触角长；y表示翼长 分类规则：设一个蚊子的数据为（x,y）如果y1.47x -0.017，则判断蚊子属Apf类；如果y1.47x -0.017；则判断蚊子属Af类 数学模型数学模型第4页，本讲稿共28页v分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类图2 分类直线图 数学模型数学模型第5页，本讲稿共28页缺陷：根据什么原则确定分类直线？若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28

4、,1.84)属于Af类 哪一分类直线才是正确的呢？因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线数学模型数学模型第6页，本讲稿共28页v再如，如下的情形已经不能用分类直线的办法：数学模型数学模型第7页，本讲稿共28页第8页，本讲稿共28页1.距离判别法1.1欧氏Euclidean distance距离判别法1.2马氏(P.C.Mahalanobis)距离判别法1.3海明Hamming距离判别法两个合法代码对应位上编码不同的位数称为海明距离。第9页，本讲稿共28页合理的距离v如果用dij表示第i个样品和第j个样品之间的距离，那么对于一切i，j和k

5、，dij应该满足如下三个条件：v dij0，当且仅当i=j时，dij=0（非负性非负性）v dijdji （对称性对称性）v dijdikdkj（三角不等式三角不等式）显然，欧氏距离满足以上三个条件。第10页，本讲稿共28页欧氏距离的缺点v欧氏距离虽然简单，但也有明显的缺点。它将样本的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。第11页，本讲稿共28页马氏距离优缺点v1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非

6、这两个总体的协方差矩阵碰巧相同；v2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。v3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵不可逆，比如三个样本点（3，4），（5，6）和（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。v4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算不稳定，不稳定的来源是协方差矩阵，这也

7、是马氏距离与欧式距离的最大差异之处。v优点：不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：夸大了变化微小的变量的作用。第12页，本讲稿共28页2.Fisher判别法vFisher判别的基本思想是将k个总体的所有p维空间的样本点投影到一维空间上，使投影后组与组之间尽可能的分开，然后利用方差分析的方法推出判别函数。为了简单起见，通常利用线性的判别函数u(x)=aTx.v寻找一个最恰当的方向a，使在这个方向上，组间方差与组内方差的商最大第13页，本讲稿共28页

8、求解最优判别方向等价于求解带约束函数优化问题可以证明：第14页，本讲稿共28页v 第15页，本讲稿共28页Fisher判别法v根据各个样本均值在最优方向上的投影值 从小到大将样本集重新编号，假设序号仍然为G1Gk。v定出Gj和Gj+1的分界值uj,j=1k-1，比如：v确定样本类别：第16页，本讲稿共28页Bayes判别法v距离判别法虽然简单，便于使用。但是该方法也有它明显的不足之处。第一，判别方法与总体各自出现的概率的大小无关；第二，判别方法与错判之后所造成的损失无关。Bayes判别法就是为了解决这些问题而提出的一种判别方法。第17页，本讲稿共28页一、Bayes判别的基本思想第18页，本讲稿共28页第19页，本讲稿共28页第20页，本讲稿共28页第21页，本讲稿共28页Bayes判别的基本方法v 如果已知样品X来自总体Gi 的先验概率为qi，则在规则R下，由（4.12）式知，误判的总平均损失为第22页，本讲稿共28页第23页，本讲稿共28页第24页，本讲稿共28页第25页，本讲稿共28页第26页，本讲稿共28页第27页，本讲稿共28页其它相关知识v主成分分析法PCAv支持向量机SVMv.第28页，本讲稿共28页