5模式识别第五讲-二次、线性分类.pdf

《5模式识别第五讲-二次、线性分类.pdf》由会员分享，可在线阅读，更多相关《5模式识别第五讲-二次、线性分类.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、北京工业大学计算机学院1?在一定的分布和条件下（如正态、等协方差矩阵），贝叶斯决策可以导致二次或线性分类器。2.3 贝叶斯分类器，二次和线性分类器贝叶斯分类器，二次和线性分类器?虽然贝叶斯决策在错误率或风险上是最优的，但必须知道类条件密度。在大多数应用场合，类条件密度函数是从有限的样本中估计的。后面我们将讲一些密度函数估计的方法。但密度函数的估计本身是一件复杂工作并且需要大量样本。北京工业大学计算机学院2 即使我们得到了密度函数，有时用似然比检验的方法也很难计算分界面。因此我们有时考虑更简便易行的分类器设计方法。用二次、线性、分段线性分类器。即先规定分类器的数学形式，然后在适当的准则下，来确定

2、这些参数。北京工业大学计算机学院3 这一节分析在什么条件下贝叶斯分类器变成二次和线性分类器。以后再讨论当这些条件不满足时，如何设计“性能好”的参数分类器。北京工业大学计算机学院4一.两类问题的二次和线性分类器对于似然比检验的决策规则：()()(),xxx2121ppl=()()=112112212212PPPPrrrr北京工业大学计算机学院5 当各类的类条件密度是高斯分布时，()()()()=iiTiinimKmKpxx2121x1212exp mi和Ki为均值向量和协方差矩阵。北京工业大学计算机学院6 这时似然比为()()()()()212122111112xx21xx21xmKmmKmKK

3、lTT+=exp定义，则:()()ln 2xxlh=()()()()()()lnln2xxxxx212121221111=+=TKKmKmmKmhTT（）北京工业大学计算机学院7 上式是二次分类器。计算x到各类均值mi的马氏距离，然后和阈值相比较，决定x x属于第一或第二类。21KKTln 在一维时，马氏距离，即比较用方差标准化的一般距离。()22iimx北京工业大学计算机学院8 展开上式，有()TcbhTT21+=xAxxx（）式中1211A=KK()1112122mKmKb=2121221111KKmKmmKmcTTln+=()()()()()()lnln2xxxxx21212122111

4、1=+=TKKmKmmKmhTT北京工业大学计算机学院9 决策边界h(x)=T是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等。()TcbhTT21p(x x|1)，尽管这些点比较靠近类1的均值点。北京工业大学计算机学院16 这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。()TcbhT21+=xx()1212mmKb=212111mKmmKmcTT=式中 在前面的h(x x)=x xTAxAx+bTx x+c中，如果两类的协方差矩阵相等，K K1=K K1=K K，则矩阵A A=0，这时决策规则为：北京工业大学计算机学院17二.判别函数和多类分类器1.判别

5、函数 当模式有类，这时的最小错误率的决策规则可以表示为：2cN若()()ikkigg=maxxx（）式中()ckrkNkPg，L 2 1=xx称为判别函数（discriminant function）。()xkg北京工业大学计算机学院18()xkg 由贝叶斯公式，和等价，即使用时，决策规则是一样的。()()krkkPpgxx=()xkg 当先验概率相等时，p(x x|k)也是一组等价的判别函数。北京工业大学计算机学院19 若是单调增函数，它和也是等价的。这些性质可以使我们从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。()xkg()()()ckkNkgfg，L

6、 21xx=北京工业大学计算机学院20 当每类都是正态分布，其均值和协方差分别为mk和Kk时，这时的最小错误率决策规则的判别函数为：2.多类的二次和线性分类器()()()()=kkTkknkrkmKmKPgxx212x1212exp 由于自然对数是单调增的，所以可以定义下面等价的判别函数：北京工业大学计算机学院21()()ln2xln2xnggkk+=()()krkkkTkPKmKmlnln2xx1+=（）这是二次判别函数。当所有类的先验概率相等时，可以省略。krPln 前面已经证明，当两类的协方差矩阵相等时，二次分类器退化为线性分类器。多类时也是如此。北京工业大学计算机学院22 当时，（）式

7、化为：KKKKcN=L21()krkTkTkTkPkmkmkmkgln2ln2111+=xxxx 上式中，由于第一项和第四项对所有的类都是相同的，所以等价的一组判别函数为：()ckrkTkTkkNkPmkmkmg，L 2 1ln2211=+=xx（）上式是的线性函数。x北京工业大学计算机学院23 例2：例2：最小距离分类器。假定各类的先验概率相等，而且各类。即x x的各个分量不相关，且各类等方差。ckNkIK，L 2 12=krkPnmln2ln2x22+=后两项对所有类是共同的，可以省略。分母中的也可以去掉，因而有等价的判别函数：2()2xxkkmg=解：这时的判别函数化为：()()krkk

8、kTkkPKmKmgln2lnxx)(1+=x北京工业大学计算机学院24 这时的决策规则的含义是：x x离哪类的均值最近，就把它分到哪类。北京工业大学计算机学院25 一般来说，在分类过程中总会有错误率。错误率反映了模式分类问题本身的固有复杂程度。也是衡量分类器性能的重要指标，反映了分类器是否和要解决的问题相匹配。2.4 分类器的错误率问题分类器的错误率问题一.错误率的计算和估计 在Bayes决策中，当先验概率和类条件密度函数已知，采用的决策规则也确定后，错误率也就固定了。北京工业大学计算机学院26()()x xx x122211dpPdpPRrRr+=从上式可以看出，在x x是多维时，P(e)

9、的计算要进行多重积分。当类条件密度函数的解析形式比较复杂时，P(e)的计算相当困难。错误率的计算公式前面已经分析，对两类问题：()xxx)(dpePePr=+北京工业大学计算机学院27 由于错误率的重要性和复杂性，人们对错误率的计算和估算方法进行了大量的研究。主要有以下几类：?按公式计算错误率；?估算错误率的上限；?从实验中估计错误率。由于按理论公式计算上的困难，且要求知道密度函数，所以实际工作中常用的是实验估计。即利用样本来估计错误率。北京工业大学计算机学院28?如果利用样本来估计错误率，需要分析：?如何利用样本；?估计出的错误率的性质如何。?我们分两种情况讨论：1.已设计好分类器时，如何用

10、样本估计错误率;2.未设计好分类器时，如何把样本分为两部分，一部分用来设计分类器，另一部分用来检验分类器。北京工业大学计算机学院29一.已设计好分类器时的错误率的估计已设计好分类器时的错误率的估计 利用测试样本检验分类器时?直观上认为 错误率错分样本数样本总数?从估计理论上看，还需要分析：1.这个估计的准确性如何？2.当测试样本数增多时，估计结果会有改善吗？北京工业大学计算机学院30?用表示真实的错误率。随机取N个样本，假定错分了K个，则K 服从二项分布：()()KNKKNCKP=1?的最大似然估计：()()()()011lnlnlnln=+=KNKKNKCKPKN?是的最大似然估计。NK=北

11、京工业大学计算机学院31?由于K是随机变量，也是随机变量。?而 NKE=()NKVar=1?是无偏的。NNNKENKEE=()()()NNKVarNKVarVar=12?由于时，N()0Var 是一致的。北京工业大学计算机学院32?归纳以上的分析，有：1.上述错误率的估计在最大似然估计的意义上最好；2.这些估计都是错误率的无偏估计量；3.随样本数的增加，置信区间相应地减小。北京工业大学计算机学院33二.未设计好分类器时错误率的估计：如何划分设计样本集和检验集？未设计好分类器时错误率的估计：如何划分设计样本集和检验集？实际工作中，能够得到的样本只有N个，用它既作设计，又要作检验。存在一个如何划分检验样本集和设计样本集的问题。不同的划分方法，会得出不同的结果。北京工业大学计算机学院34?全部用作设计，又用作检验，错误率比实际的小；?设计样本少时，估计的参数不可靠；?检验集样本少时，估计的错误率不可靠。当只有有限的N个样本时北京工业大学计算机学院35?样本划分法：把 N 个样本分为两个集?设计集（关系到分类器性能）?检验集（关系到对性能评价（错误率）的好坏）?留一法：=K 1NK N 1 N 统计错分数设计、检验个检验次检验的一个样本，然后个设计次重复设计放回，再留出不同个样本共NN