模糊模式识别西安电子科技大学.pptx

8.1 模 糊 集 合8.1.1模糊子集的概念模糊集合也称模糊子集,是由其隶属函数来定义的。定义8.1给定论域U,如果对任意的uU,都确定了一个数,表示u属于的程度,则称为论域U上的一个模糊子集;称映射第1页/共106页(8-1)为的隶属函数;称为u对的隶属度。隶属函数是模糊性的一种度量,表示元素u具有性质的程度,或u属于的程度。【例 8.1】取论域U是实数集R,模糊子集表示“远大于1的实数”,其隶属函数可以选择为(如图8-1所示)第2页/共106页图 8-1例8.1中隶属函数的示意图 第3页/共106页【例 8.2】以年龄作论域,取U=0,200,模糊子集表示“年老”,表示“年轻”,它们的隶属函数可以选择为(如图8-2所示)第4页/共106页若U为有限集合或可数集合,则模糊子集可表示为(8-2)第5页/共106页若为无限不可数集，则可表示为：(8-3)其中，“”与“”并不是求和与积分,而是表示模糊子集 中各个元素与隶属度的对应关系。第6页/共106页图 8-2例8.2中隶属函数的示意图第7页/共106页当的值域为0,1时,退化为一个普通子集的特征函数,便退化成一个普通子集,因此,普通子集是模糊子集的特殊形态。若把论域U上全部模糊子集所组成的集合记作F(U),则有,其中P(U)是U的幂集。当时,称为真模糊子集。此时,至少存在一个元素u0,使。第8页/共106页如果存在至少一个元素u0U,使得,则称为正规模糊子集(Normal),否则称为非正规模糊子集。如果对任意的u1,u2U,0,1,都有则称为凸模糊子集(Convex)。假设论域U为实数域R,如果既是正规模糊子集,又是凸模糊子集,则称为模糊数(Fuzzy Number)。第9页/共106页8.1.2隶属函数的确定隶属函数的确定需要对描述的概念进行充分的了解,经过人脑的加工和某种心理过程,采用一定的数学方法来表达。确定隶属函数的方法有许多,如模糊统计法、模糊分布、专家打分法、推理法和对比排序法等。这里主要介绍模糊统计法与模糊分布。第10页/共106页1.模糊统计法在某些场合下,隶属度可用模糊统计的方法来确定。模糊统计试验有四个要素:(1)论域U,例如年龄的集合;(2)U中的一个元素u0,例如50岁;(3)U中一个边界可变的普通集合A*,例如“年老”,A*对应一个模糊集及其相应的模糊概念a;(4)条件s,它对应按概念a所进行的划分过程的全部主、客观因素,制约着A*边界的改变,例如不同试验者对“年老”的理解不一样。第11页/共106页模糊性产生的根本原因就是,条件s对按概念a所作的划分引起A*的变异,导致u0对A*的隶属关系不确定,即A*可能覆盖了u0,也可能不覆盖u0。例如,有的试验者认为50岁是“年老”,但有的试验者认为不是。模糊统计试验要求在每一次试验下,对u0是否属于A*作一个确切的判断。经过 n 次试验以后,可计算出u0对的隶属频率:第12页/共106页u0对的隶属频率=(8-4)一般地,随着n的增大,隶属频率表现出稳定性。u0对的隶属度定义为(8-5)得到统计结果后,可选用某种分布函数进行拟合,适当调整参数就可以得到隶属函数的数学表达式。第13页/共106页2.模糊分布在许多实际应用中,一般以实数集R作为论域。实数集R上模糊集合的隶属函数称为模糊分布,记为F分布。在实际应用中,可根据具体问题的特点选择相应的F分布。也可以通过统计,给出隶属度的大致曲线,将它与F分布比较,选择相似的一种,再根据实验确定符合实际的参数。这里给出常用的几种F分布。第14页/共106页1)矩形分布(1)偏小型(见图8-3(a):(2)偏大型(见图8-3(b):第15页/共106页（3）中间型（图8-3（c）第16页/共106页图 8-3矩形分布(a)偏小型;(b)偏大型;(c)中间型第17页/共106页2)梯形分布(1)偏小型(见图8-4(a):第18页/共106页(2)偏大型(见图8-4(b)：第19页/共106页(3)中间型(见图8-4(c):第20页/共106页图8-4 梯形分布(a)偏小型；(b)偏大型；(c)中间型第21页/共106页3）抛物形分布（1）偏小型（图8-5（a）第22页/共106页（2）偏大型（图8-5（b）第23页/共106页（3）中间型（图8-5（c）第24页/共106页图8-5 抛物形分布(a)偏小型；(b)偏大型；(c)中间型第25页/共106页4）正态分布（1）偏小型（图8-6（a）第26页/共106页（2）偏大型（图8-6（b）（3）中间型（图8-6(c)）第27页/共106页图8-6 正态分布(a)偏小型；(b)偏大型；(c)中间型第28页/共106页5）柯西分布（1）偏小型（图8-7(a)第29页/共106页（2）偏大型（图8-7(b)（3）中间型（图8-7(c)）第30页/共106页图8-7 柯西分布(a)偏小型；(b)偏大型；(c)中间型第31页/共106页6）岭形分布（1）偏小型（图8-8(a)第32页/共106页（2）偏大型（图8-8(b)第33页/共106页（3）中间型（图8-8(c)）第34页/共106页图8-8 岭形分布(a)偏小型；(b)偏大型；(c)中间型 第35页/共106页8.1.3模糊子集的运算1.基本运算 两个模糊子集之间的运算是通过对两个隶属度作逐点的运算来实现的。(1)相等:设和为论域U上的两个模糊子集,若,有,则称和相等,即(8-6)第36页/共106页(2)包含：设和为论域U上的两个模糊子集，若，有 ，则包含，即(8-7)(3)空集：设为论域上的模糊子集，若，有，则称为空集，记为，即(8-8)第37页/共106页(4)补集：设 和 为论域上的两个模糊子集，若 ，有(8-9)则称 为 的补集。(5)全集：设 为论域U上的模糊子集，若 ，有 ，则称 为全集，记为，即(8-10)第38页/共106页(6)并集：设，都为论域上的模糊子集，若，有 ，则称 为 与 的并集，即(8-11)(7)交集：设 ，都为论域U上的模糊子集，若，有 ，则称 为 与 的交集，即(8-12)第39页/共106页2.模糊子集运算的基本性质 一般地,除互补律以外,在普通集合中成立的各种基本性质对于模糊集合也都成立。模糊子集运算的基本性质如下:(1)自反律:(8-13)（2）反对称律(8-14)第40页/共106页(8-16)（3）传递律(8-15)（4）幂等律（5）交换律(8-17)第41页/共106页(8-18)（6）结合律（7）吸收律(8-19)（8）分配律：(8-20)第42页/共106页(8-21)（9）双重否定律（10）对偶律（德摩根定律）(8-22)（11）定常律；(8-23)第43页/共106页（12）一般地，互补律不成立(8-24)3.模糊集合与普通集合的相互转化截集概念和分解定理是普通集合与模糊集合之间的联系纽带,可以把模糊集合论的问题转化为普通集合论的问题。与之对应的是,扩张原则把普通集合论的方法扩展到模糊集合论中去。扩张原则是Zedah于1975年提出的,可作为公理来使用,但实质上是一个定义。第44页/共106页定义8.2对于给定的模糊集合,对任意0,1,称普通集合(8-2)为 的截集。A是 的隶属度达到或超过的元素的集合。不难证明,截集A满足如下三个性质:(8-26)(8-27)(8-28)第45页/共106页此外,容易验证,模糊数 的截集为实数轴的一个闭区间,即A=a,b。定义8.3设,称A1为 的核;称为 的支集;称SuppA1为 的边界。若模糊子集为正规模糊集,则的核是非空的,反之亦然。Supp 第46页/共106页 定理8.1 （分解定理）设为论域U上的一个模糊子集，A是的截集,0,1,则可以分解为(8-29)其中,模糊子集A称为与A的“乘积”,其隶属函数为(8-30)第47页/共106页8.2 模 糊 关 系8.2.1模糊关系的定义设U、V是两个论域,记(8-33)UV称为U与V的笛卡尔乘积集。第48页/共106页由式(8-33)可以看出,笛卡尔乘积集是两个集合元素间的无约束搭配。如果对搭配加以约束,便形成了一种特殊关系,相应的元素对构成笛卡尔乘积集的一个子集,该子集体现了相互之间的这种关系。因此,在普通集合论中,U到V的一个关系被定义为UV的一个子集R。相应地,模糊关系就是论域UV上的一个模糊子集。第49页/共106页定义8.5称论域UV上的一个模糊子集为从U到V的一个模糊关系,记作 。模糊关系的隶属函数为(8-34)当论域U、V都是有限集合时,模糊关系 可以用一个矩阵R来表示,即(8-35)第50页/共106页其中，()。矩阵R称作模糊矩阵。若()(8-36)则矩阵R退化为布尔矩阵。布尔矩阵表示的是一种普通关系,因而普通关系是模糊关系的特例。第51页/共106页模糊关系的建立主要包括如下两个步骤:(1)数据规范。把各对象的数据规范化,一般把数据规范到闭区间0,1。(2)计算对象i与j之间具有某种关系 的程度rij(一般是对象i与j之间的相似程度),其中,1in,1jm,n和m为对象个数,从而确定模糊关系 所对应的模糊矩阵R。第52页/共106页8.2.2模糊关系与模糊矩阵的运算下面定义模糊关系与模糊矩阵的运算,它们之间是等价的。1.并、交、补、相等和包含运算定义8.6用Fnm表示n行m列模糊矩阵的全体,对任意R=(rij),S=(sij)Fnm,定义(8-37)(8-38)(8-39)第53页/共106页2.截矩阵定义8.7对任意0,1,记R=(ij),其中称R为R的截矩阵,它所对应的关系称为 的截关系。第54页/共106页8.3 模糊模式识别基本思想8.3.1特征的模糊化特征的模糊化是指根据一定的模糊化规则把普通意义下的一个或几个特征变量变成多个模糊变量,用来表达原始特征的某一局部特性。其中,模糊化规则通常是根据具体应用领域的专门知识人为确定或通过试算确定的;当论域为实数域时,模糊变量一般为模糊数。第55页/共106页例如,在统计模式识别中,人的身高是一个数字化的特征。在模糊模式识别中,根据需要,可以把身高特征分为“偏矮”、“中等”和“偏高”三个模糊特征。每个模糊特征是一个连续变量,分别表示身高属于偏矮、中等和偏高的程度,而不是身高的具体数值。这种表示方法通常称为1ofN编码(N分之一编码)。特征的模糊化将一个确定的点x=(x1,x2,xn)TU=U1U2Un 转换成一个模糊集 ,其中,U为论域。主要有两种映射方法:第56页/共106页(1)单值模糊产生器。若集合 对于支撑集x为模糊单值,则对于某一点x=x,有 ,而对其余所有xx,有 。(2)非单值模糊产生器。当x=x时,有;当x逐渐远离x时,从1开始衰减。模糊特征能够更好地反映问题的本质,简化分类器的设计和提高分类器的性能,特别是,若对特征与分类问题之间的关系有一定的先验知识,则这种方法一般能取得较好的结果。第57页/共106页8.3.2结果的模糊化在普通模式识别中,分类就是把样本空间(或样本集)分成若干个子集。在模糊模式识别中,用模糊子集代替确定子集,从而得到模糊的分类结果,即分类结果的模糊化,其中,一个样本以不同的程度属于各个类别,而不再属于某个确定的类别。第58页/共106页与确定的分类结果相比,模糊化的分类结果主要有两个显著的优点:(1)可以反映出分类过程中的不确定性,有利于用户根据结果进行决策。(2)模糊化的分类结果比明确的分类结果中包含更多的信息,有利于进一步决策。第59页/共106页8.3.3硬分类和模糊分类1.硬分类在硬分类中,把样本集x1,x2,xN分成m类,每一个xk必须完全属于某一类,同时,每一类至少包含一个样本。这种分类结果可以用一个mN阶矩阵V来表示,V中元素vik表示样本xk是否属于第i类Ai(i=1,2,m,k=1,2,N),即第60页/共106页矩阵V具有如下性质:(1)vik0,1;(2)；(3)。【例 8.3】已知样本集为x1,x2,x3,x4,x5。若分类结果为x1,x5,x3,x4,x2,则分类矩阵V为第61页/共106页其中,矩阵的列代表样本,行代表类别。若分类矩阵为 则分类结果为x1,x2,x3,x5,x4。第62页/共106页2.模糊分类 当硬分类矩阵中元素的取值位于0,1区间,即硬分类矩阵V变成模糊分类矩阵,则硬分类变成模糊分类。模糊分类矩阵具有如下性质:(1)vik0,1;(2)；(3)。第63页/共106页【例 8.4】设样本集为x1,x2,x3,则 都是模糊分类矩阵。第64页/共106页事实上,每一个模糊分类矩阵都可以用若干个硬分类矩阵的加权平均来表示。例如,第65页/共106页8.3.4模式分类的最大隶属原则与择近原则模糊模式识别中主要有两种判决准则:最大隶属原则和择近原则。其中,前者主要应用于个体的识别,后者主要应用于群体模型的识别。1.最大隶属原则普通模式识别中的模式是明确、清晰和肯定的,例如印刷体汉字识别中,模式就是印刷体汉字。但是,在很多实际问题中,模式本身就具有一定的模糊性,如“矮个子”、“中等个子”和“高个子”。对于这类问题,可以根据最大隶属原则来进行分类。第66页/共106页模式分类的最大隶属原则就是直接利用样本的隶属度,将其归入对应于最大隶属度的类别中。设是论域U上的m个模糊子集,其隶属函数分别为,对任一给定的u0U,如果 那么,u0隶属于。这个原则称为最大隶属原则。第67页/共106页【例 8.5】根据人的年龄,把人分为年轻、中年、老年三类,分别对应三个模糊子集。考虑论域U=(0,100,的隶属函数分别为(如图8-9所示)：第68页/共106页张三今年40岁，由上述隶属函数，有 ，根据最大隶属原则,他是中年人。隶属原则的思想简单，其效果依赖于模式类隶属函数的建立。此外，隶属原则主要适用于个体的识别。第69页/共106页图8-9 例8.5中隶属函数示例图第70页/共106页2.择近原则如果模式本身是U上的一个模糊子集,识别的对象也是论域U上的一个模糊子集,而不是某一特定的单个元素,则可以利用模糊子集之间的接近程度(即贴近度)进行模式分类。定义8.17 设 ，若映射：第71页/共106页满足条件:(1)；(2)；(3)若或，则则称为模糊子集与的贴近度;称为F(U)上 的贴近函数。第72页/共106页目前,针对不同的问题,已经提出了多种贴近度的计算方法,主要的几种如下:1)距离贴近度(1)海明距离贴近度。设为有限论域,则之间的海明距离贴近度为，(8-45)第73页/共106页进一步,当U为实数域上的闭区间a,b时,则有(8-46)(2)欧几里德距离。设 ,U=u1,u2,un为有限论域,则之间的欧几里德距离贴近度为(8-47)第74页/共106页进一步,当U为实数域上的闭区间a,b时,则有(8-48)(3)明可夫斯基距离。设,U=u1,u2,un为有限论域,则之间的明可夫斯基距离贴近度为(8-49)第75页/共106页进一步,当U为实数域上的闭区间a,b时,则有(8-50)2）几何贴近度设、是测度空间 上的可测函数，则 之间的几何贴近度为：第76页/共106页(8-51)(8-52)其中,式(8-51)和式(8-52)的积分为勒贝格积分。进一步,若U为实数域,被积函数为黎曼可积,且广义积分收敛,则之间的几何贴近度为 第77页/共106页(8-53)(8-54)第78页/共106页若U=u1,u2,un为有限论域,之间的几何贴近度为(8-55)3)格贴近度设 ，之间的格贴近度为 第79页/共106页(8-56)其中，为内积为外积。第80页/共106页【例 8.6】根据茶叶的条索、色泽、净度、汤色、香气和滋味,把茶叶分成“特等”,“优等”,“良等”,“中等”和“差等”五种型号,它们对应于论域U上的模糊子集:“特等”:=(0.50.40.30.60.50.4)“优等”:=(0.30.20.20.10.20.2)“良等”:=(0.20.20.20.10.10.2)“中等”:=(0.00.10.20.10.10.1)“差等”:=(0.00.10.10.10.10.1)其中,论域U=条索,色泽,净度,汤色,香气,滋味。第81页/共106页待识别的茶叶模型对应于U上的模糊子集：=由格贴近度计算式，可得：；根据择近原则，待识别的茶叶模型为“特等”。第82页/共106页8.4 模糊聚类分析8.4.1 模糊等价关系法可以证明,模糊矩阵RFnn是等价矩阵,当且仅当对于任意0,1,其截矩阵R都是等价的布尔矩阵。因此,若 为模糊等价关系,则对于给定的0,1,便可得到相应的普通等价关系R,从而得到一个水平的分类。进一步,若01,则截矩阵R所分出的每一类是截矩阵R所分出的某一类的子类,即R的分类法是R分类法的“加细”。当从1逐渐降为0时,分类结果逐步归并(逐渐变粗),形成一个动态聚类图。第83页/共106页【例 8.7】设论域U=x1,x2,x3,x4,x5,模糊矩阵为 R具有自反性、对称性和传递性,即R对应一个模糊等价关系 。现考察不同水平的分类结果。第84页/共106页(1)若0.621,则截矩阵为 此时,得到“最细”的分类:x1,x2,x3,x4,x5,即每个元素自成一类。第85页/共106页(2)若0.480.62,则截矩阵为 此时,得到四类:x1,x3,x2,x4,x5。第86页/共106页(3)若0.470.48,则截矩阵为 此时,得到三类:x1,x2,x3,x4,x5。第87页/共106页(4)若0.41k,有。此时,是一个模糊等价关系,对应的模糊矩阵是模糊等价矩阵。第90页/共106页【例 8.8】设论域U=x1,x2,x3,x4,x5,模糊矩阵为容易验证,模糊矩阵R具有自反性与对称性,但不满足传递性,因为 第91页/共106页因此,R仅是模糊相似矩阵,对应的模糊关系仅是模糊相似关系。类似地,可以求出R4与R8,并且R4=R8,因此,R4对应的模糊关系就是模糊等价关系。第92页/共106页8.4.3模糊K均值算法在K均值算法中,把N个样本x1,x2,xN划分成K个子类G1,G2,GK,使得所有样本到聚类中心的距离平方和最小,也就是使下式的准则函数(8-58)第93页/共106页达到最小。式(8-58)中:mj为第j个子类Gj的聚类中心;xi表示分到Gj的所有样本,j=1,2,K。模糊K均值算法就是,在K均值算法中,把硬分类变为模糊分类。设j(xi)是第i个样本xi属于第j类Gj的隶属度,利用隶属度定义的聚类损失函数为(8-59)第94页/共106页其中,b1是一个可以控制聚类结果的模糊程度的常数。进一步,要求一个样本属于各个聚类的隶属度之和为1,即(8-60)利用拉格朗日乘数法来求解在条件式(8-60)约束下式(8-59)的极小值。令目标函数为 第95页/共106页(8-61)其中,i(i=1,2,N)为拉格朗日乘子。分别求L对mi、i和j(xi)的梯度(或偏导),并置为0,可得必要条件:(8-62)第96页/共106页(8-62)模糊K均值算法采用迭代方法求解式(8-62)和式(8-63),其步骤如下:(1)设定聚类数目K、参数b和一个适当的小数0,通常取1b5。(2)设置初始模糊分类矩阵U(0),令s=0。(3)根据式(8-62)计算U(s)的聚类中心m(s)j,j=1,2,K。第97页/共106页(4)按下面的方法更新U(s)为U(s+1):计算Ii和,其中(i=1,2,N)计算xi的新隶属度。如果Ii为空集,则按式(8-63)计算隶属度;否则,第98页/共106页并取。(5)选取一个适当的矩阵范数,如果U(s)U(s+1),则停止迭代,否则s=s+1,返回(3)。当模糊K均值算法收敛时,就得到了各类的聚类中心和各个样本属于各类的隶属度,也就完成了模糊聚类。进一步,可以将模糊聚类结果去模糊化,把模糊聚类变为确定性分类。第99页/共106页习 题8-1设有西瓜的论域U=u1,u2,u3,u4,u5,有模糊子集“大”()和“熟”()F(U)。试求。第100页/共106页8-2设模糊关系，相应的模糊矩阵为，计算:(1)；(2)；(3)。第101页/共106页8-3计算下面模糊矩阵对应的模糊关系的传递闭包 8-4 设F集第102页/共106页试分别计算格贴近度与海明贴近度。8-5设F集第103页/共106页试用格贴近度判断、与哪个最接近。8-6在聚类分析中,被分类对象集U=u1,u2,u3,u4,u5,针对问题经大量工作后得到模糊关系对应的模糊矩阵 第104页/共106页试按不同程度(=1,0.8,0.6,0.5,0.4)采用传递闭包法对5个对象进行分类。第105页/共106页感谢您的观看。第106页/共106页