模式识别学习教案.pptx

《模式识别学习教案.pptx》由会员分享，可在线阅读，更多相关《模式识别学习教案.pptx（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学 1模式识别第一页，编辑于星期二：点 五十分。2Character RecognitionCorresponding to a;Corresponding to b;第1 页/共55 页第二页，编辑于星期二：点 五十分。3Feature space字符的圆形度字符的 长宽比Mapping the input pattern onto points in a feature spaceFeature Space第2 页/共55 页第三页，编辑于星期二：点 五十分。4Character RecognitionOnce mapping the input pattern onto points

2、 in a feature space,the purpose of classification is to:assign each point in the space with a class label第3 页/共55 页第四页，编辑于星期二：点 五十分。5模式识别系统第4 页/共55 页第五页，编辑于星期二：点 五十分。6宽度 特 征 空 间长度decision regionsdecision boundariesdiscriminant function第5 页/共55 页第六页，编辑于星期二：点 五十分。7Pattern Recognition Assign each point

3、 in the space with a class label statistical methods artificial neural network methods structure methods第6 页/共55 页第七页，编辑于星期二：点 五十分。8Bayes theorem in general 第7 页/共55 页第八页，编辑于星期二：点 五十分。9Bayes Decision:error minimumThe probability of misclassification is minimized by selecting the class having the lar

4、gest posterior probability第8 页/共55 页第九页，编辑于星期二：点 五十分。10Bayes Decision:risk minimum If the likelihood ratio of class and exceeds a threshold value(that is independent of the input pattern),the optimal action is to decide.第9 页/共55 页第十页，编辑于星期二：点 五十分。11Discriminant functionsn Bayesian decisionn Normal d

5、ensityHow about the discriminant function?第10 页/共55 页第十一页，编辑于星期二：点 五十分。12Discriminant functionsn n Case 1 Case 1Linear Discriminant Function(LDF)第11 页/共55 页第十二页，编辑于星期二：点 五十分。13Discriminant functionso Case 2Linear Discriminant Function(LDF)第12 页/共55 页第十三页，编辑于星期二：点 五十分。14Discriminant functionso Case 3

6、Quadratic Discriminant Function(QDF)第13 页/共55 页第十四页，编辑于星期二：点 五十分。15Overviewn Pattern classification problemn Feature space,feature point in spacen Classification-Bayesian decision theory-Discriminant function-Decision region,Decision boundary第14 页/共55 页第十五页，编辑于星期二：点 五十分。16Exampleo 分别写出在以下两种情况下的最小错误率

7、贝叶斯决策规则：A：(1)If(2)If 第15 页/共55 页第十六页，编辑于星期二：点 五十分。17Exampleo 对两类问题，证明最小风险贝叶斯决策规则可表示为：A：第16 页/共55 页第十七页，编辑于星期二：点 五十分。18Exampleo 对两类问题，证明最小风险贝叶斯决策规则可表示为：A：第17 页/共55 页第十八页，编辑于星期二：点 五十分。19Exampleo 对两类问题，证明最小风险贝叶斯决策规则可表示为：A：第18 页/共55 页第十九页，编辑于星期二：点 五十分。20Exampleo 说明在0-1 损失的情况下最小风险贝叶斯决策规则与最小错误率贝叶斯决策规则相同。A

8、：MinimumMaximum第19 页/共55 页第二十页，编辑于星期二：点 五十分。Chapter 3 Maximum-likelihood and Bayesian parameter estimationo Introductiono Maximum-likelihoodo Bayesian parameter estimationo Gaussian classifier 第20 页/共55 页第二十一页，编辑于星期二：点 五十分。22IntroductionIntroductiono we could design an optional classifier if we knew

9、 the priori probabilities and the class-conditional densities Unfortunately,we rarely,if ever,have this kind of completely knowledge about the probabilistic structure of the problem 第21 页/共55 页第二十二页，编辑于星期二：点 五十分。23Probability Density Estimationn n Three alternative approaches to density estimation T

10、hree alternative approaches to density estimation-parametric methods-parametric methods-non-parametric methods-non-parametric methods-semi-parametric methods-semi-parametric methods第22 页/共55 页第二十三页，编辑于星期二：点 五十分。24Probability Density Estimationn n Parametric methods Parametric methods-a specific func

11、tional form is assumed-a specific functional form is assumed-a number of parameters which are then-a number of parameters which are then optimized by fitting the model of the data setoptimized by fitting the model of the data seto Drawbacks-form of function chosen might be incapable 第23 页/共55 页第二十四页

12、，编辑于星期二：点 五十分。25Probability Density Estimationn n Non-parametric methods Non-parametric methods-not assume the form-not assume the form-to be determined entirely by the data-to be determined entirely by the datan n Drawbacks Drawbacks-the number of parameters grows with the-the number of parameters

13、grows with the size of the data size of the data-slow-slow 第24 页/共55 页第二十五页，编辑于星期二：点 五十分。26Probability Density Estimationn nSemi-parametric methodsSemi-parametric methods-use the very general function form-use the very general function form-the number of adaptive parameters can be increased in a sys

14、tematic-the number of adaptive parameters can be increased in a systematic way way-build a more flexible models-build a more flexible models n n Neural network Neural network 第25 页/共55 页第二十六页，编辑于星期二：点 五十分。27Probability Density Estimationn n Parametric methods Parametric methods-Maximum likelihood es

15、timation-Maximum likelihood estimation-Bayesian estimation-Bayesian estimation第26 页/共55 页第二十七页，编辑于星期二：点 五十分。28Maximum Likelihood Estimation o c Data sets samples having been drawn independently according to the probability law o We assume that has known parametric form,and therefore determined uniqu

16、ely by the value of a parameter vector.第27 页/共55 页第二十八页，编辑于星期二：点 五十分。29Maximum Likelihood Estimation Maximum Likelihood Estimation o Suppose that D contains n samples.o Because the samples are drawn independently,we have:第28 页/共55 页第二十九页，编辑于星期二：点 五十分。30Maximum Likelihood Estimation Maximum Likelihoo

17、d Estimation o is called as the likelihood of.The maximum-likelihood estimation of is the value that maximize.第29 页/共55 页第三十页，编辑于星期二：点 五十分。31Maximum Likelihood Estimation Maximum Likelihood Estimation 第30 页/共55 页第三十一页，编辑于星期二：点 五十分。32Example o The Gaussian case:Unknown 第31 页/共55 页第三十二页，编辑于星期二：点 五十分。3

18、3o The Gaussian case:Unknown Example 第32 页/共55 页第三十三页，编辑于星期二：点 五十分。34Example Example o The Gaussian case:Unknown and 第33 页/共55 页第三十四页，编辑于星期二：点 五十分。35Example Example o The Gaussian case:Unknown and 第34 页/共55 页第三十五页，编辑于星期二：点 五十分。36Example o The Gaussian case:Unknown and 第35 页/共55 页第三十六页，编辑于星期二：点 五十分。3

19、7第36 页/共55 页第三十七页，编辑于星期二：点 五十分。38第37 页/共55 页第三十八页，编辑于星期二：点 五十分。39第38 页/共55 页第三十九页，编辑于星期二：点 五十分。40第39 页/共55 页第四十页，编辑于星期二：点 五十分。41第40 页/共55 页第四十一页，编辑于星期二：点 五十分。42Gaussian Mixture第41 页/共55 页第四十二页，编辑于星期二：点 五十分。43Bayes Estimation Bayes Estimation o Whereas in maximum-likelihood methods,we view the true p

20、arameter vector to be fixed,in Bayesian method,we consider to be a random variable,and the training data allows us to convert a distribution on this variable into a posterior probability density.第42 页/共55 页第四十三页，编辑于星期二：点 五十分。44模式识别系统Gaussian densityGaussian ClassifierEstimate mean vector and covaria

21、nce matrix第43 页/共55 页第四十四页，编辑于星期二：点 五十分。45Gaussian Classifiersn n 概率密度函数 概率密度函数n n 分类函数 分类函数第44 页/共55 页第四十五页，编辑于星期二：点 五十分。46n n 假设独立等方差 假设独立等方差Nearest distance(nearest mean)同时也是线性鉴别函数(LDF)Gaussian Classifiers第45 页/共55 页第四十六页，编辑于星期二：点 五十分。47n n 假设等协方差矩阵 假设等协方差矩阵n n Linear discriminant function(LDF)Li

22、near discriminant function(LDF)Gaussian Classifiers第46 页/共55 页第四十七页，编辑于星期二：点 五十分。48Gaussian Classifiersn n 假设任意协方差矩阵且等先验概率 假设任意协方差矩阵且等先验概率n n Quadratic discriminant function(QDF)Quadratic discriminant function(QDF)n n Decision surface Decision surface第47 页/共55 页第四十八页，编辑于星期二：点 五十分。49n n Parameter Est

23、imation of Gaussian Density Parameter Estimation of Gaussian Densityn n Maximum Likelihood(ML)Gaussian Classifiers第48 页/共55 页第四十九页，编辑于星期二：点 五十分。50n n Parameter Estimation of Gaussian Density Parameter Estimation of Gaussian DensityGaussian Classifiers第49 页/共55 页第五十页，编辑于星期二：点 五十分。51共享协方差距阵的情况Gaussian

24、 Classifiers第50 页/共55 页第五十一页，编辑于星期二：点 五十分。52n n Parametric Parametric 分类器不好用吗 分类器不好用吗-实际中很多类别的概率分布近似 实际中很多类别的概率分布近似Gaussian Gaussian-即使概率分布偏离 即使概率分布偏离Gaussian Gaussian 比较大，当特征维数高而训练样本少 比较大，当特征维数高而训练样本少(Curse of dimensionality Curse of dimensionality)时，时，Parametric Parametric 分类器仍然比较好 分类器仍然比较好n n 有时

25、有时LDF LDF 甚至比 甚至比QDF QDF 更好 更好n n ML ML 估计的好处：估计的好处：-训练计算量小（与类别数和样本数成线性关系）训练计算量小（与类别数和样本数成线性关系）-高维情况下降维（特征选择、变换）经常是有益的 高维情况下降维（特征选择、变换）经常是有益的Gaussian Classifiers第51 页/共55 页第五十二页，编辑于星期二：点 五十分。53n n Gaussian Gaussian 分类器的改进 分类器的改进n n QDF QDF 的问题 的问题n n 参数太多：与维数的平方成正比 参数太多：与维数的平方成正比n n 训练样本少时协方差矩阵奇异 训练

26、样本少时协方差矩阵奇异n n 即使不奇异 即使不奇异ML ML 估计的泛化性能也不好 估计的泛化性能也不好n n Regularized discriminant analysis(RDA)Regularized discriminant analysis(RDA)n n 通过平滑协方差矩阵克服奇异，同时提高泛化性能 通过平滑协方差矩阵克服奇异，同时提高泛化性能Gaussian Classifiers第52 页/共55 页第五十三页，编辑于星期二：点 五十分。We could design an optional classifier if we knew the prior probabil

27、ities and conditional densities.One approach is use the samples to estimate the unknown probabilities and densities,and then the resulting estimates as if they were the true values.Chapter 3第53 页/共55 页第五十四页，编辑于星期二：点 五十分。1 1.设 设 为 为 来 来 正 正 态 态 分 分 布 布 的 的 样 样本集，试求参数 本集，试求参数 的最大似然估计量 的最大似然估计量。作业四 2.设 为来自点二项分布的样本集，即 试求参数P 的最大似然估计量。第54 页/共55 页第五十五页，编辑于星期二：点 五十分。