张鸿宾 模式识别 第二讲.pdf

《张鸿宾 模式识别 第二讲.pdf》由会员分享，可在线阅读，更多相关《张鸿宾 模式识别 第二讲.pdf（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、复习1 随机向量的概率这一章复习一些概率和随机变量/向量的概念，这些对于后面的学习是很重要的一.事件的概率 令A、B、C 表示事件，这些事件的概率是0，1间的实数，记为PrA、PrB、PrC 必然事件的概率是1 不可能事件的概率是0 对任意事件A，（对立事件）AP1APrr=A和B同时发生的概率=ABPBAPrrI 如果A1，A2，AM是两两互斥的完备事件组，则 BAP-BPAP BABPAPBAPrrrrrrIU+=+=互斥时和，当 =MiMi1rir1irBPBAP 1API，二.概率分布和密度函数1.单个随机向量的分布和密度函数 令是X一个随机向量，它的每一分量都是一个随机变量。令X是X

2、的一个取值，其中都是固定的实数值=nxxXM1nxx1，L=nxx1M则事件的概率是的函数。这个函数称为随机向量的分布函数。定义为：nnxxxxxx2211，：L()()r21nxxx，L由上面分布函数的定义，显然有：概率密度函数定义为分布函数对所有分量的导数：()()10=+=，()()21=nxxxpL概率分布函数和密度函数之间还满足如下的积分关系：()()()=121xxxnndxdxxpdxxpLL由上式和前面的式子，还有：()1=+dxxp下面看看在某一点的小邻域的概率：对于事件：有：nnnn+1111：L()()nxxxxpdp=+L21rxxxxxxxx+，上式近似成立的条件是：

3、要充分小，以使的变化较小()p 这意味着，在点的概率密度正比于随机向量落在附近的小邻域内的概率。密度函数越大，这个概率越大。但等于的概率为0。（连续时）容许奇异时，也有可能0r=2.随机向量的联合分布和密度函数 令X和Y是随机向量，可以把前面定义的对单个随机向量的分布和密度函数的概念推广到X和Y的联合概率分布和密度函数上去。实际上，单个随机向量是它的各个分量的联合，只要再扩展到Y就行了令是一个随机向量，是的一个实现。则随机向量和的联合分布函数定义为联合事件 的概率：y=myyyM1y yyyy，()yyyr=，的联合密度函数定义为：y和()()yymnyyyyxxxyp2121=，LL上式的一

4、个等价关系是：()()dxdyyxpyy=,由定义，下面的等式成立：()0=，()1=+，()()=+，()()yy=+，(a)(b)(c)(d)由（b），有下式：()1,=+dxdyyxp（c）和（d）意味着:x和y的概率密度可以通过对x和y的联合概率密度的积分得到：()()()()dxyxpypdyyxpxp+=,以上两式得到的称为X和Y的边缘密度函数。联合分布的随机向量x、y的另一个重要关系是：()4 84 76L44 844 76LymxnVyyVxxxyxpyyyy+=+=1100101032211010 021yyyyydydxydxxxy 注意：不要忘记积分区间 2.边缘密度为：

5、()()()+=+=其它，0 10 321 10 32121211021xxxxxxydyxxp()()=+=其它 0 0 1001213102121yyydxdxyxxyp在上面的计算中，要注意积分的上下限。密度函数也可以用对分布函数求导而得到()yp()y3.随机向量和事件的联合分布和密度函数 一个随机向量和一个事件A的联合分布定义为：()AArI=，它是的函数联合密度函数定义为：()()21AA=，nxxxpL根据定义，下面的关系成立：()()=A,Adp，事件的联合概率为：()AI+()nxxxxp+LI21rAA，如果A1，A2，AM是两两互斥的完备事件集，则边缘分布函数：()()=

6、M1Aii，边缘密度函数为：()()=M1Aiipp，三.条件概率和贝叶斯规则 1.事件的条件概率令A、B是两个随机事件，B发生后A发生的条件概率为：BBABArrr=I如果，则称A和B是统计独立的。这时由（1）式有：ABArr=（1）BABArrr=I2.条件分布和密度函数 由（1）式的基本形式，可以推导出下面的几种条件分布和密度函数。下面的公式推导和无条件概率分布与密度函数相似，不再多讲。（1）以一个事件为条件的分布和密度函数若A是事件，B是另一个事件，则()1BrI B,BBBBrrr=上式两边微分，可得到密度函数(2)以随机向量为条件的一个事件的概率令A是任一事件，B是事件()()B,

7、B1Brpp=+则 在小区域内，A发生的概率为：()()()()2121ppxxxpxxxpnnAAAr，=LL(3)随机向量的条件密度函数 令A是事件,B是事件则由前面的定义和公式有：+yyy+()()()()nmmnxxxypypyyypyyxxxyp=LLLL211121r BA，y在发生后的条件密度定义为：y()()ypyp，()yp 当A和B对所有的和的值是独立的时，y()()pyp=,因此有：()()()yppyp=，3.贝叶斯公式 由于事件A和B的联合概率等于事件B和A的联合概率，所以由条件概率公式有：BAABBArrrr=（1）上式称为Bayes公式。是概率和统计中非常重要的一

8、个公式。通过适当定义事件A和B，贝叶斯公式可以有不同的形式。例如：（1）如果B是事件则贝叶斯公式的形式为：+()()AAArrpp=（2）如果是两两互斥且完备的事件组A1，A2，AM中的一个事件，则（最优模式分类）iA（2）()()=Mjjjiiipp1rrrAAAAA（3）(3)如果B是事件，A是事件，则贝叶斯公式的形式为：+yyyy+()()()()pypypyp=(4)由边缘密度的定义，还可写为下式：()()()()()+=dyypypypypyp(5)上面的几种贝叶斯公式对统计模式识别都是非常重要的如(5)式，称为先验概率，随机向量X和Y间有某种关系，在X发生后Y的密度函数是对先验概率

9、的一种改善，称为后验概率。又如（3）式是一个最佳模式分类规则。是事件类的先验概率，而则是的后验概率。iAriAriiA()yp 例：一个两维随机向量的密度函数为：()=其它 0,0 1212ayyayp另一随机向量X，它和Y有关，其条件密度函数为：()()()+=22222212112122exp21yxyxyp求联合密度，并计算后验密度()yp，()yp解：1.联合密度为：()()()()()+=其它，0,0 22exp21212222221211221ayyyxyxaypypyp后验概率为：()()()()()+=其它0,0 22exp22exp2100212222221211222222

10、1211ayydydyyxyxyxyxypaa注意：1.积分限要注意。2.上式没有显式解，要用数值方法求解。3.如果Y的先验密度是()()+=222122exp21yyyp+21,-yy则有显式解，是一多元高斯密度四.数学期望一个随机向量X的期望（或称均值）是一个常数向量M，定义为()dpEm+=-上式是一个向量形式，的第个分量为：mi()()niiiidxdxdxpxdpxxEmLL21-+=上式对所有的，的分量积分，有：jxij()iiiidxxpxm+=-是边缘密度。()ixp对于随机向量的积的期望，将在复习2中讨论。对于随机向量的各个分量，则和随机变量的定义一样：()()()()iii

11、iiiidxxpmxmxxar+=-22 EV性质：1.随机向量或变量和的期望等于期望的和；2.相互独立的随机变量和的方差等于方差的和下面考虑只取离散值的随机变量。它没有概率密度函数（除非使用奇异函数）。则期望：r若是一随机变量，它取离散值，1，2，M。M也可能是无穷的，ir=i=MiiirrrrEr1Pr()()()21r21r22P PVrrrrrrrrrrErarMiiiMiii=方差：均值和方差是随机变量分布的重要参数。均值分布或密度的中心点，方差则表示了离中心点的分散程度。（分布和密度函数完全刻画了随机向量，而期望和方差刻画了它的主要特征。）五.小结这一章复习了随机事件和随机向量的概

12、率，复习了它们间的关系密度函数分布函数条件分布联合分布统计独立、贝叶斯公式（由条件概率）、随机向量和变量的均值、方差。应该理解这些定义、概念，理解一些公式推导的思路、思想。理解分布函数、密度函数和事件概率间的关系。理解联合概率和条件概率间的区别。理解独立性及其对概率、分布和密度函数的影响。掌握Bayes公式的各种形式。第二章 统计决策理论最小错误率贝叶斯决策最小风险贝叶斯决策 NeymanPearson决策（在限定一类错误率的条件下，使另一类错误率最小的两类决策问题）最小最大决策序贯决策（Sequential Decision）关于统计学的一个笑话：有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写道：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次，累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。统计学真的是这样呆板吗？仅仅收集数据，整理分析，累加平均统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。统计学是面对不确定情况寻求决策、制定方法的一门科学人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征不同于叙述统计，要推断统计抽样、试验设计、估计、假设检验、回归分析.等推断方法.模式识别发展了