6 模式识别原理课件-第7章 模糊模式识别法.ppt

7.1 模糊数学概述模糊数学概述7.2 模糊集合模糊集合7.3 模糊关系与模糊矩阵模糊关系与模糊矩阵7.4 模糊模式分类的直接方法模糊模式分类的直接方法 和间接方法和间接方法7.5 模糊聚类分析法模糊聚类分析法第第7章章 模糊模式识别法模糊模式识别法7.1 模糊数学概述模糊数学概述1)精确数学方法 忽略对象的一般特性，着重注意对象的数量、空间形式和几何形状的数学方法。如：牛顿力学、牛顿和莱布尼茨创立的微积分学等。7.1.1 模糊数学的产生背景模糊数学的产生背景 模糊数学诞生的标志：1965年美国加利福尼亚大学控制论专家L.A.Zadeh（查德）发表的文章“Fuzzy sets”。模糊数学（Fuzzy sets）又称模糊集合论。1精确数学方法及其局限性精确数学方法及其局限性(2)工程技术方面：用精确的实验方法和精确的测量计算，探索客观世界的规律，建立严密的理论体系。(1)理论研究方面：用精确定义的概念和严格证明的定理，描述现实事物的数量关系和空间形式。2)近代科学的特点3)精确数学方法的局限性 现实世界中的许多现象，用精确数学方法难以解决。例如：著名的问题之一秃头悖论用精确数学方法判断“秃头”：方法：首先给出一个精确的定义，然后推理，最后结论。定义：头发根数n时，判决为秃头；否则判决为不秃。即头发根数n为判断秃与不秃的界限标准。问题：当头发根数恰好为n+1，应判决为秃还是不秃？推理：两种选择(2)承认生活常识：认为仅一根头发之差不会改变秃与不秃的 结果，即有n+1根头发者也应是秃头。(1)承认精确方法：判定为不秃。结论：有n根头发的是秃头，有n+1根头发的不是秃头。头发为n根者为秃头，头发为n+1根者为秃头，头发为n+2根者为秃头，头发为n+k根者为秃头。那么采用传统的逻辑推理，会得到下面的一些命题：其中，k是一个有限整数，显然k完全可以取得很大。结论：头发很多者为秃头。类似地：没有头发者不是秃头均表现出精确方法在这个问题上与常理对立的情况显然不合理模糊数学：有关描述和处理模糊性问题的理论和方法的学科。模糊数学的基本概念：模糊性。2模糊数学的诞生模糊数学的诞生 1965年查德（zadeh）发表了“模糊集合”论文后，在科学界引起了爆炸性的反映，他准确地阐述了模糊性的含义，制定了刻画模糊性的数学方法（隶属度、隶属函数、模糊集合等），为模糊数学作为一门独立的学科建立了必要的基础。7.1.2 模糊性模糊性 人们在认识事物时，总是根据一定的标准对事物进行分类，有些事物可以依据某种精确的标准对它们进行界线明确的认识，有些事物根本无法找出精确的分类标准，例如“秃头悖论”中的头发根数的界线n，实际是不存在的。1模糊性的基本概念模糊性的基本概念1)清晰性：事物具有的明确的类属特性(或是或非)。2)模糊性：事物具有的不明确类属特性(只能区别程度、等级)。3)模糊性的本质：是事物类属的不确定性和对象资格程度的渐 变性。类属实例界限分明行星、整数、鸡蛋模糊高山、优秀、胖子例：2与模糊性容易混淆的几个概念与模糊性容易混淆的几个概念1)模糊性与近似性 共同点：描述上的不精确性。区别：不精确性的根源和表现形式不同。a)近似性：问题本身有精确解，描述它时的不精确性源于认 识条件的局限性和认识过程发展的不充分性。例：薄雾中观远山。2)模糊性与随机性 共同点：不确定性。a)模糊性：表现在质的不确定性。是由于概念外延的模糊性 而呈现出的不确定性。区别：不确定性的性质不同。b)模糊性：问题本身无精确解，描述的不精确性来源于对象 自身固有的性态上的不确定性。例：观察一片秋叶。c)排中律：即事件的发生和不发生必居且仅居其一，不存在 第三种现象。随机性遵守排中律，模糊性不遵守，它存在 着多种，甚至无数种中间现象。3、模糊性与含混性、模糊性与含混性 共同点：不确定性。区别：b)随机性：是外在的不确定性。是由于条件不充分，导致 条件与事件之间不能出现确定的因果关系，而事物本身 的性态和类属是确定的。例：降雨量：大雨、中雨或小雨，典型的模糊性。投掷硬币：随机性。a)含混性：由信息不充分（二义性）引起，一个含混的命题即是模糊的，又是二义的。一个命题是否带有含混性与其应用对象或上下文有关。b)模糊性：是质的不确定性。总之，模糊性：由本质决定。其 它：由外界条件带来的不确定性引起。例：命题“张三很高”：对给张三购买什么型号的衣服这个应用对象是含混的。也是一个模糊性命题。模式识别从模糊数学诞生开始就是模糊技术应用研究的一个活跃领域，研究内容涉及：计算机图像识别、手书文字自动识别、癌细胞识别、白血球的识别与分类、疾病预报、各类信息的分类等。7.1.3 模糊数学在模式识别领域的应用模糊数学在模式识别领域的应用研究方法：*针对一些模糊识别问题设计相应的模糊模式识别系统。*用模糊数学对传统模式识别中的一些方法进行改进。1）论域讨论集合前给出的所研究对象的范围。选取一般不唯一，根据具体研究的需要而定。7.2 模糊集合模糊集合1.经典集合论中几个概念经典集合论中几个概念2）子集 对于任意两个集合A、B，若A的每一个元素都是B的元素，则称A是B的“子集”，记为；若B中存在不属于A的元素，则称A是B的“真子集”，记为。7.2.1 模糊集合定义模糊集合定义传统经典集合论中的集合称为：经典集合、普通集合、确定集合、脆集合。3）幂集 对于一个集合A，由其所有子集作为元素构成的集合称为A的“幂集”。例：论域X=1,2，其幂集为2模糊集合的定义模糊集合的定义 给定论域X上的一个模糊子集 ，是指：对于任意 xX，都确定了一个数 ，称 为 x 对 的隶属度，且 。映射 ：叫做 的隶属函数，或从属函数。模糊子集常称为模糊集合或模糊集。说明：3相关的几个概念相关的几个概念正规模糊集：模糊集合的核是非空的；非正规模糊集：模糊集合的核是空的。即：是隶属度为1的元素组成的经典集合。4模糊集合的表示模糊集合的表示有多种表示方法：要求表现出论域中所有元素与其对应的隶属 度之间的关系。查德的求和表示法和积分表示法：1）求和表示法：适用于离散域论域。2）积分表示法：适合于任何种类的论域，特别是连续论域。常用的模糊集合表示方法：注：当某一元素的隶属函数为0时，这一项可以不计入。X是一个连续的实数区间，模糊集合表示为7.2.2 隶属函数的确定隶属函数的确定 隶属函数是模糊集合赖以存在的基石。正确地确定隶属函数是利用模糊集合恰当地定量表示模糊概念的基础。常用的形式：型函数：中间高两边低的函数。S型函数：从0到1单调增长。隶属函数的确定：构造一个概念的隶属函数时，结果不唯一。目前很难找到统一的途径。几种隶属函数的构造与确定方法：1简单正规模糊集合隶属函数的构成简单正规模糊集合隶属函数的构成隶属函数的构成：1）假定：方法：并确定 ，有2.模糊统计法模糊统计法：利用模糊统计的方法确定隶属函数。模糊统计试验四要素：1）论域X，例如人的集合；2）X中的一个元素x0，例如王平；3）X中的一个边界可变的普通集合A，例如“高个子”；4）条件s，制约着A边界的改变。方法：每次试验下，对x0是否属于A做出一个确定的判断，有随着n的增大，隶属频率呈现稳定性，所在的稳定值叫隶属度。从两种事物的对比中，做出对某一概念符合程度的判断。是区别事物的一种重要方法。1）择优比较法例7.4 求茶花、月季、牡丹、梅花、荷花对“好看的花”的隶 属度。方法：10名试验者逐次对两种花作对比，优胜花得1分，失败者0分。往往不满足数学上对“序”的要求，不具有传递性，出现循环现象。3.二元对比排序法二元对比排序法缺点：表7.2 五种花对“好看的花”的隶属度名 称总 得 分隶 属 度茶 花230.23月 季180.18牡 丹200.20梅 花150.15荷 花240.24 失败优胜茶花月季牡丹梅花荷花得分茶花10102月季00101牡丹11103梅花00000 荷花11114表7.1 一位测试者的二元对比结果2）优先关系定序法x3为第一优越元素。除去x3得新的优先关系矩阵。有 ，x1为第二优越元素，排序完毕。按x3，x1，x2顺序赋予相应的隶属度。3）相对比较法 4）对比平均法 根据不同的数学物理知识，设计隶属度函数，然后在实践中检验调整。4.推理法推理法一般以成功的实例进行借鉴。例7.6 笔划类型的隶属函数的确定 根据笔划与水平线的交角确定隶属函数。例7.7 手写体字符U和V的区别。解：用包含的面积与三角形面积作比较。例7.8 封闭曲线的圆度。表征圆度的隶属函数：5.专家评分法专家评分法 难免引入个人的主观成份，但对某些难以用上述几种方法实现的应用来说，仍不失为一种办法。7.2.3 模糊集合的运算模糊集合的运算1.基本运算基本运算两个模糊子集间的运算：在此过程中，论域保持不变。逐点对隶属函数作相应的运算，得到新的隶属函数。2.运算的基本性质运算的基本性质7.2.4 模糊集合与普通集合的相互转化模糊集合与普通集合的相互转化 截集是联系普通集合与模糊集合的桥梁，它们使模糊集合论中的问题转化为普通集合论的问题来解。截 集 模糊集合普通集合根据医生的经验，可将各温度段用“发烧”的隶属度表示如下：T39.0隶属度=1.038.5 T39.0隶属度=0.938.0 T38.5隶属度=0.737.0 T38.0隶属度=0.4T37.0隶属度=0.02.截集的三个性质截集的三个性质7.3 模糊关系与模糊矩阵模糊关系与模糊矩阵普通关系：二值的，存在或者不存在关系，两者必居且仅居其一。模糊关系：需要用描述关系程度的量补充描述，关系程度通过隶属度表示。7.3.1 模糊关系定义模糊关系定义1基本概念基本概念设X、Y是两个论域，笛卡尔积：又称直积。由两个集合间元素无约束地搭配成的序偶（x，y）的全体构成的集合。给无约束搭配施以某种约束体现了一种特殊关系接受约束的元素对便构成笛卡尔集中的一个子集子集表现了一种关系如果：普通集合论：X到Y的一个关系，定义为XY的一个子集R，记作模糊关系的定义类似。序偶中两个元素的排列是有序的：2模糊关系定义模糊关系定义7.3.2 模糊关系的表示模糊关系的表示如：例7.11中的模糊关系对应的模糊矩阵1用模糊矩阵表示用模糊矩阵表示2用有向图表示用有向图表示有向图表示：7.3.3 模糊关系的建立模糊关系的建立计算第一步：正规化。极值标准化公式：计算rij的常用方法：1）欧式距离法2）数量积法M：正数，满足3）相关系数法其中，4）最大最小法5）主观评定法以百分制打分，然后除以100，得0，1区间的一个数。7.3.4 模糊关系和模糊矩阵的运算模糊关系和模糊矩阵的运算1并、交、补运算并、交、补运算1）模糊关系的并、交、补运算模糊关系并、交、补运算分别与模糊矩阵并、交、补运算对应。模糊关系和模糊矩阵的运算实际上就是隶属度的运算。2）模糊矩阵的并、交、补运算求：a)关系“x比y高或比y胖”；b)关系“与y相比，x又高又胖”；c)关系“x没y高”。解：2模糊关系的倒置与模糊矩阵的转置模糊关系的倒置与模糊矩阵的转置对应的模糊矩阵对应的模糊矩阵例7.15 模糊关系 =“x比y高”=“y比x低”3截矩阵与截关系截矩阵与截关系4.模糊关系合成与模糊矩阵合成模糊关系合成与模糊矩阵合成幂运算：模糊关系与自身的运算，即：1）模糊关系合成2）模糊矩阵合成对比 对有限论域：模糊矩阵乘积运算普通矩阵乘法运算加法求大乘法求小类似，求Q对R的合成矩阵。7.3.5 模糊关系的三大性质模糊关系的三大性质例：关系“等于”关系“了解”具有自反性，不具有自反性。1自反性自反性2.对称性对称性3.传递性传递性 b)S只有对称性，无自反性。说明：例：“个子高”“认 识”具有传递性，不具有传递性。R是一个传递模糊矩阵。？解：例7.19 判断 是否是传递模糊矩阵。4.模糊等价关系和模糊相似关系模糊等价关系和模糊相似关系定义：7.4 模糊模式分类的直接方法和间接方法模糊模式分类的直接方法和间接方法7.4.1 直接方法直接方法隶属原则隶属原则直接计算样品的隶属度，根据隶属度最大原则进行分类。用于单个模式的识别用于单个模式的识别隶属原则：隶属原则：隶属原则是显然的，易于公认的，但其分类效果如果，十分依赖于建立已知模式类隶属函数的技巧。现有45岁、30岁、65岁、21岁各一人，问应分别属于哪一类？中：青：中年 老年 青年年龄（岁）10.50451002070 属于老年人。例7.21 染色体识别或白血球分类问题。这类问题最终归结为识别三角形。即判断一个三角形属于“等腰三角形(I)、直角三角形(R)、等腰直角三角形(IR)、正三角形(E)、其他三角形(T)”中的哪一种。7.4.2 间接方法间接方法择近原则择近原则 适合于模糊集适合于模糊集求模糊集合之间接近程度的问题。1模糊集合间的距离模糊集合间的距离聚类分析中两向量间的明氏距离两种常用的绝对距离公式：其他：相对距离、加权距离 街坊距离欧氏距离2.贴近度贴近度说明两个相同的模糊集的贴近度最大要求贴近度映射具有对称性描述了两个较“接近”的模糊集合的贴近度也较大模糊集合贴近度的具体形式不唯一。两种常用贴近度：2）格贴近度内积、外积分别定义为 3.择近原则择近原则7.5 模糊聚类分析法模糊聚类分析法7.5.1 基于模式糊等价关系的聚类分析法基于模式糊等价关系的聚类分析法只有模糊等价关系才能用模糊等价矩阵进行截矩阵分类。称为：截矩阵分类法*对于模糊等价关系：可以用模糊等价矩阵的截矩阵直接进行模式分类。*对模糊相似关系：必须由相应的模糊相似矩阵生成模糊等价矩阵，然后对 生成的等价矩阵利用截矩阵的办法分类。包括：1模糊等价关系的截矩阵分类法模糊等价关系的截矩阵分类法要求按不同水平分类。动态聚类图：2模糊相似关系的截矩阵分类法模糊相似关系的截矩阵分类法必须用模糊相似矩阵生成一个模糊等价矩阵。直接用模糊相似关系进行分类出现的问题：例：设有五种矿石，按其颜色、比重等性质得出描述其“相似程度”的模糊关系矩阵如下：（1）判断是什么矩阵：矩阵R的自反性、对称性是明显的，计算传递性：产生矛盾。给定一个模糊相似矩阵就可以得到一个模糊等价矩阵。7.5.2 模糊相似关系直接用于分类模糊相似关系直接用于分类 对于模糊相似关系，需要改造成为模糊等价关系，才能利用截矩阵的方法进行正确分类。但多次矩阵相乘，计算麻烦。为此寻找由模糊相似矩阵直接进行聚类的方法，如最大树法。最大树法：例7.25 设二个家庭，每家3-5人，选每个人的一张照片，共8张，混放在一起，将照片两两对照，得出描述其“相似程度”的模糊关系矩阵。要求按相似程度聚类，希望把二个家庭分开。解：解：(1)按模糊相似矩阵，画出被分类的元素集，构造按模糊相似矩阵，画出被分类的元素集，构造“最大树最大树”。当全部连通时，检查一下全部元素是否都已出现，即保证所有元素都当全部连通时，检查一下全部元素是否都已出现，即保证所有元素都是连通的。最大树即构造好。是连通的。最大树即构造好。0.20.40.40.20.20.50.50.80.80.80.846287531回路不画0.20.40.40.20.20.50.50.80.80.80.846287531回路不画0.20.20.50.80.80.80.8462875310.20.20.50.80.80.80.8462875310.20.20.50.80.80.80.846287531注意：最大树不唯一，但取截集后，所得子树相同。任选K个聚类中心；按最近邻规则聚类；根据聚类结果计算新的聚类中心，比较新旧聚类中心是否相等；新旧中心相等，结束；否则回到。模糊K-均值算法基本思想：首先设定一些类及每个样本对各类的隶属度；然后通过迭代，不断调整隶属度至收敛。K-均值算法回顾：7.5.3 模糊模糊K-均值算法均值算法 由聚类分析中动态聚类法中的K-均值算法派生出来。(1)确定模式类数K，1KN，N为样本个数。步骤：加权平均例如，3个样本时：！例当有两个聚类中心时，样本j对两个类别隶属度的计算：类似于相对距离例：由U(0)可知，倾向于X1、X2、X3为一类，X4为一类。得 如对X3有：类似地，可得到U(1)中其它元素，有7.5.4 模糊模糊ISODATA算法算法ISODATA算法：源于K-均值算法。模糊ISODATA算法：将模糊方法引入ISODATA算法。算法步骤：例如：将全体样本均值作为第一个聚类中心，在所有n个特征 方向上加、减一个均方差。共(2n+1)个聚类中心(1)选择初始聚类中心。ISODATA算法特点：具有类别调整功能。合并、分解等操作使聚类过程中类别数可变。ISODATA算法的核心：类别调整。(3)类别调整：合并、分解、删除。(4)最佳类数或最佳结果的讨论。判定结果好坏的直接依据：隶属度矩阵U。由于计算机存储量的限制，选取了三个评价分类优劣的判据：最大稳定度 最小相关度 最大聚类度(2)若已选择了K个初始聚类中心，用模糊K-均值算法进行聚类。由于现在得到的是各聚类中心，所以直接计算下一步的隶属度矩阵U(1)，继续K-均值算法直到收敛，最终得到隶属度矩阵U和K个聚类中心。结束结束