模式识别总复习.ppt
1模模 式式 识识 别别Pattern Recognition吴贵芳吴贵芳2总复习总复习3考试相关事项考试相关事项u1.严格考试纪律，注意独立思考，不严格考试纪律，注意独立思考，不要有任何武弊的念头及行为。要有任何武弊的念头及行为。u2.开卷考试，每位同学带足自己的相开卷考试，每位同学带足自己的相关资料，考试过程中，只允许查看自关资料，考试过程中，只允许查看自己的资料，不允许互相转借。己的资料，不允许互相转借。u3.考试时间充足，考试时间充足，120分钟，不用着分钟，不用着急。急。u4.题型：填空、简答与综合实验题。题型：填空、简答与综合实验题。4主要内容主要内容u1.掌握模式、模式识别的概念，理解掌握模式、模式识别的概念，理解模式识别系统构成的三个单元、基于模式识别系统构成的三个单元、基于统计模式识别系统的统计模式识别系统的4个主要构成部个主要构成部分、模式识别系统设计的五个步骤等。分、模式识别系统设计的五个步骤等。u2.理解贝叶斯决策的含义，掌握关键理解贝叶斯决策的含义，掌握关键名词的意义，比如风险、先验概率、名词的意义，比如风险、先验概率、后验概率、损失、损失函数等，能正后验概率、损失、损失函数等，能正确利用贝叶斯决策判断模式类别，。确利用贝叶斯决策判断模式类别，。5主要内容主要内容u3.理解概率密度函数估计的相关内容，理解概率密度函数估计的相关内容，重点掌握参数估计的过程，包括非监重点掌握参数估计的过程，包括非监督参数估计和监督参数估计，能计算督参数估计和监督参数估计，能计算贝叶斯估计和最大似然估计。贝叶斯估计和最大似然估计。u4.掌握特征的概念，知道特征提取以掌握特征的概念，知道特征提取以及特征选择的含义以及异同，能熟练及特征选择的含义以及异同，能熟练利用利用K-L变换进行降维操作。变换进行降维操作。6主要内容主要内容u5.掌握线性判别的含义、分类原理等，掌握线性判别的含义、分类原理等，能利用不同的方法对两类问题进行分能利用不同的方法对两类问题进行分类判别，尤其需要掌握类判别，尤其需要掌握Fisher判别的判别的原理及步骤，能对线性样本进行分类。原理及步骤，能对线性样本进行分类。u6.掌握非监督学习方法的概念及用途，掌握非监督学习方法的概念及用途，了解非监督学习方法的两种基本方法，了解非监督学习方法的两种基本方法，知道投影法的原理。重点掌握知道投影法的原理。重点掌握K-Means算法的原理及过程，能熟练使算法的原理及过程，能熟练使用该算法对数据进行分类。用该算法对数据进行分类。7主要内容主要内容u7.了解人工神经网络的概念及历史，了解人工神经网络的概念及历史，能熟练分析人工神经元模型及其工作能熟练分析人工神经元模型及其工作全过程，掌握基本的人工神经网络算全过程，掌握基本的人工神经网络算法，重点掌握法，重点掌握BP神经网络算法的实现神经网络算法的实现过程，能利用人工神经网络对现实生过程，能利用人工神经网络对现实生活中的具体系统进行设计与实现。活中的具体系统进行设计与实现。u8.掌握模糊集的相关概念，包括模糊掌握模糊集的相关概念，包括模糊集、隶属函数、隶属度、台、独点集、集、隶属函数、隶属度、台、独点集、水平集等，能对模糊集进行并集、交水平集等，能对模糊集进行并集、交集、补集的操作，并能利用水平集进集、补集的操作，并能利用水平集进行模糊模式分类。行模糊模式分类。8主要内容主要内容u9.掌握统计模式识别的基本思想，理掌握统计模式识别的基本思想，理解解SVM算法的原理，知道三种最基本算法的原理，知道三种最基本的核函数构造方法，能熟练使用的核函数构造方法，能熟练使用libSVM算法进行模拟实验。算法进行模拟实验。u10.能将模式识别的相应方法用于生能将模式识别的相应方法用于生产实践，懂得分析、设计的全过程。产实践，懂得分析、设计的全过程。92.4 2.4 分别写出在以下两种情况分别写出在以下两种情况 （2 2）下的最小错误率贝叶斯决策规则。下的最小错误率贝叶斯决策规则。（1 1）例题讲解例题讲解10贝叶斯决策规则：贝叶斯决策规则：其中,11（1 1）12 （2 2）133.1 设总体分布密度为 并设 分别用最大似然估计 和贝叶斯估计计算 已知 的先验分布：143.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布：1 1最大似然估计最大似然估计解：解：对数似然函数对数似然函数似然函数似然函数151 1最大似然估计最大似然估计解：解：对数似然函数对数似然函数161 1最大似然估计最大似然估计解：解：对数似然函数对数似然函数171 1最大似然估计最大似然估计对数似然函数对数似然函数对数似然函数求导对数似然函数求导求求 最大似最大似然估然估计:=0解：解：182 2贝叶斯估计贝叶斯估计解：解：l求解贝叶斯估计量的步骤：(1)确定u的先验分布：(2)由样本集求出样本联合分布：(4)由定理定理3.13.1求贝叶斯估计量(3)利用贝叶斯公式，求出u的后验分布：3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布：192 2贝叶斯估计贝叶斯估计解：解：l求解贝叶斯估计量的步骤：(1)确定u的先验分布：(2)由样本集求出样本联合分布：(4)由定理定理3.13.1求贝叶斯估计量(3)利用贝叶斯公式，求出u的后验分布：吸收与u无关的因子20解：解：2 2贝叶斯估计贝叶斯估计二次函数的指数函数21解：解：2 2贝叶斯估计贝叶斯估计把把 写成写成 ，即：，即：即为即为贝叶斯估计贝叶斯估计22v例例：某地区细胞识别；P(1)=0.9，P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：P(x/1)=0.2，P(x/2)=0.4问该细胞属于正常细胞还是异常细胞。解解：先计算后验概率：23举例举例:四个样本四个样本用用K-LK-L变换变换降维降维(维数为维数为1,1,四个样本四个样本)24解解:1.1.求协方差矩阵求协方差矩阵25u1u22.2.协方差矩阵的本征值及本征向量协方差矩阵的本征值及本征向量x1x2263.3.求新的变换矩阵，新的特征空间求新的变换矩阵，新的特征空间保留保留 1舍弃舍弃 2 u1u2y1y2y3y4274.4.计算特征变换所引起的均方误差计算特征变换所引起的均方误差上述变换并不引起误差上述变换并不引起误差x1x228uK-算法举例算法举例 例：已知有例：已知有20个样本，每个样本有个样本，每个样本有2个特征，数据分布如下个特征，数据分布如下图图样本序号样本序号x1x2x3x4x5x6x7x8x9x10特征特征x10101212367特征特征x20011122266x11x12x13x14x15x16x17x18x19x20867897898967777888992930第一步：令K=2，选初始聚类中心为3132u第三步：根据新分成的两类第三步：根据新分成的两类建立新的聚类中心建立新的聚类中心第四步：转第二步。第二步：重新计算 到z1(2),z2(2)的距离，把它们归为最近聚类中心，重新分为两类，33u第三步，更新聚类中心第三步，更新聚类中心34u第四步，第四步，u第二步，第二步，u第三步，更新聚类中心第三步，更新聚类中心35Thanks!Thanks!Pattern Recognition
