模式识别-第八章-利用模糊集理论进行模式识别_19770215.pdf

《模式识别-第八章-利用模糊集理论进行模式识别_19770215.pdf》由会员分享，可在线阅读，更多相关《模式识别-第八章-利用模糊集理论进行模式识别_19770215.pdf（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别12010/3第八章 利用模糊集理论第八章 利用模糊集理论进行模式识别进行模式识别（边书（边书P273283）Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别22010/38.1隶属度函数和模糊集隶属度函数和模糊集?为什么不要为什么不要“清楚清楚”要要“模糊模糊”？?Zadeh，1965年，模糊集理论（年，模糊集理论（fuzzy set）、模糊逻辑、模糊数学，）、模糊逻辑、模糊数学，模糊控制、模糊推理、模糊模式识别、模糊控制、模糊推理、模糊模式

2、识别、真的是真的是“难得糊涂难得糊涂”？?随机性描述：明确定义的事情，其出现可能性的大小，例如，掷硬币问题，统计学上的定义和计算方法都清楚随机性描述：明确定义的事情，其出现可能性的大小，例如，掷硬币问题，统计学上的定义和计算方法都清楚?模糊性描述：已经出现的事件，但没有明确的定义，例：模糊性描述：已经出现的事件，但没有明确的定义，例：?昨天晚上雨很大。昨天晚上雨很大。（大？中？小？定义？）（大？中？小？定义？）?他的个子不太高。他的个子不太高。（太高？不太高？太矮？不太矮？）（太高？不太高？太矮？不太矮？）?走这条路看起来也行。走这条路看起来也行。（看起来？也行？行还是不行？）（看起来？也行？

3、行还是不行？）?今天天气很热。今天天气很热。（很热？热？太热？定义？）（很热？热？太热？定义？）?试图在试图在“是是”与与“非非”的的“清楚清楚”逻辑判断中，架起过渡性的、逻辑判断中，架起过渡性的、可计算可计算的桥梁的桥梁Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别32010/3隶属度函数和模糊子集隶属度函数和模糊子集?隶属度函数和模糊子集隶属度函数和模糊子集定义普通集合定义普通集合A的隶属度函数（对象的隶属度函数（对象x隶属于隶属于集合集合A的程度）的程度）()=xCAAxAx ,0 ,1在空间在空间X=x上的一个模糊子集上的一个模糊子

4、集A当隶属程度取值在当隶属程度取值在0,1时，定义隶属度函数为一映射时，定义隶属度函数为一映射()xA()xxXAA 1,0:a自变量自变量x取值范围是所有取值范围是所有可能可能属于模糊集合的对象，属于模糊集合的对象，A()10 xA()；，相当于完全属于集合，则若AxAxxA=1()。，相当于完全不属于集合，则若AxAxxA=0映射确定空间映射确定空间X上的一个模糊子集，称作的隶属度函数，称作上的一个模糊子集，称作的隶属度函数，称作x对的隶属度对的隶属度AAAA()xAAXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别42010/3隶属度函

5、数和模糊子集（续隶属度函数和模糊子集（续1）模糊子集的表示方法模糊子集的表示方法对于有限个对象，模糊子集可表示为对于有限个对象，模糊子集可表示为AXxxxxin ,.,21()=iiAxxA,或或()iiAixxA/=或或()()()()nnAAAniiiAxxxxxxxxA/./22111+=或向量形式或向量形式()()()=nAAAxxxA,.,21连续量连续量x（或不可数集合（或不可数集合X），模糊子集可表示为），模糊子集可表示为A()=XxAxxA/xi 或或x 称作模糊子集的元素称作模糊子集的元素A和 不是求和与求积分，而是各元素与隶属度函数对应关系的总括和 不是求和与求积分，而是各

6、元素与隶属度函数对应关系的总括模糊子集的支持集模糊子集的支持集AAS()=0,xXxxASA且支持集中的元素称模糊子集的支持点支持集中的元素称模糊子集的支持点A通常的通常的“确定集确定集”看作模糊集的特例：看作模糊集的特例：()1,0=xAXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别52010/3隶属度函数和模糊子集（续隶属度函数和模糊子集（续2）给定空间给定空间X（或称（或称“论域论域”），其上通常可定义许多模糊子集，），其上通常可定义许多模糊子集，模糊子集的全体记作模糊子集的全体记作F(X)。每个模糊子集常简称模糊集。每个模糊子集常简

7、称模糊集。例：设空间例：设空间X=1,2,3,4,5，用模糊集表示，用模糊集表示“较大的数较大的数”和和“较小的数较小的数”5/1,4/6.0,3/1.0S ,5/1,4/6.0,3/1.0,2/0,1/0=AA3/1.0,2/5.0,1/1S ,5/0,4/0,3/1.0,2/5.0,1/1=BB通常的通常的“确定集确定集”表示确切的概念，表示确切的概念，“非此即彼非此即彼”；模糊集被认为表示模糊的概念，模糊集被认为表示模糊的概念，“亦此亦彼亦此亦彼”，其外延没有明确的边界，其外延没有明确的边界注意：注意：“模糊模糊”指的是隶属度函数的确定指的是隶属度函数的确定“模糊模糊”的，除了取值在的，

8、除了取值在0,1之外，之外，由定义可知，没有其他任何约束条件（想给多少给多少），这与由定义可知，没有其他任何约束条件（想给多少给多少），这与“概率概率”完全不同，概率有严格的、客观的定义。完全不同，概率有严格的、客观的定义。但是，一旦给定模糊函数之后，此后的一切运算都是完全明确的，但是，一旦给定模糊函数之后，此后的一切运算都是完全明确的，没有任何模糊的地方。没有任何模糊的地方。Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别62010/3台阶形三角形梯形高斯函数形隶属度函数举例隶属度函数举例()TA()TA()TA确定集放宽标准的确定集模糊集

9、用水温用水温T表示表示“开水开水”的概念的概念模糊集常表示人们日常生活中的概念，试图用数学形式表达自然语言中的语义模糊集常表示人们日常生活中的概念，试图用数学形式表达自然语言中的语义常用单变量隶属度函数（人为、借用其他尺度、统计、排序等）常用单变量隶属度函数（人为、借用其他尺度、统计、排序等）接近实际且便于计算接近实际且便于计算Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别72010/3模糊集的基本运算模糊集的基本运算设和为定义在同一个空间设和为定义在同一个空间X=x上的两个模糊集上的两个模糊集BA()()xxBABA，当且仅当包含：包含：

10、相等：相等：()()xxBABA=，当且仅当并集：并集：()()()()(),maxxxxxxBACBABAC=，当且仅当交集：交集：()()()()(),minxxxxxBACBABAC=，当且仅当()()()xxxBAC=或记作补集：补集：()()xxACAC1=，当且仅当Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别82010/3模糊集运算的基本性质模糊集运算的基本性质 AAAAAA=，幂等律：幂等律：交换律：交换律：ABBAABBA=，结合律：结合律：=CBACBACBACBA，分配律：分配律：=CABACBACABACBA，对偶（

11、对偶（De Morgan）律：）律：BABABABA=，一般，一般，互补律不成立互补律不成立：AA BABA和AXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别92010/3多变量隶属函数和多变量隶属函数和水平截集水平截集给定模糊集，对任意，称普通集给定模糊集，对任意，称普通集10，()=xXxxAA,为的为的水平截集水平截集AAn个变量上的多变量隶属度函数，个变量上的多变量隶属度函数，定义为定义为n个单变量隶属度函数的张量积个单变量隶属度函数的张量积nxxxx,.,21=()()()()()()()nnAAAAxxxx.2211=()()(

12、)()()函数为各个单变量的隶属度，分别为各变量的模糊集式中iiAxnAAA,.,2,1水平截集水平截集()=xCA()()xAXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别102010/3模糊化的特征模糊化的特征?力图用接近自然语言的方式来定义特征力图用接近自然语言的方式来定义特征?（人为或某种规则）把原来由连续量的数值来表示的（人为或某种规则）把原来由连续量的数值来表示的“特征特征”x（一个或多个），分成多个模糊变量，每个表达原特征的某一局部特性（一个或多个），分成多个模糊变量，每个表达原特征的某一局部特性?例：原来用例：原来用kg值表

13、示的值表示的“体重体重”特征特征x，改为，改为“偏轻偏轻”、“中等中等”、“偏重偏重”3个模糊特征，每个模糊特征是一个表示类别隶属程度的新的连续变量模糊特征表示的不再是体重数值，而是体重分别隶属于个模糊特征，每个模糊特征是一个表示类别隶属程度的新的连续变量模糊特征表示的不再是体重数值，而是体重分别隶属于3个类别的程度，常称作个类别的程度，常称作1-of-N编码编码原来单个特征（例如体重）可能与分类关系复杂（单纯物理量），改为模糊特征时根据知识添加了有利于分类的成分，可能简化分类器设计原来单个特征（例如体重）可能与分类关系复杂（单纯物理量），改为模糊特征时根据知识添加了有利于分类的成分，可能简化

14、分类器设计Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别112010/3分类结果的模糊化分类结果的模糊化?分类结果：用模糊集代替原来的确定集，输出结果不再是分类结果：用模糊集代替原来的确定集，输出结果不再是“样本样本X 属于属于j类类”，而是，而是“样本样本X 属于属于j类的类的程度是多少程度是多少”?例：判别某项科研成果是否属于例：判别某项科研成果是否属于“国际领先国际领先”、“国际先进国际先进”、“国内领先国内领先”、“国内先进国内先进”输出结果：输出结果：“国际领先国际领先0.1”、“国际先进国际先进0.3”、“国内领先国内领先0.8

15、”、“国内先进国内先进1.0”(与以往的风险值、后验概率、距离有相似，但定义不同）与以往的风险值、后验概率、距离有相似，但定义不同）?好处：好处：?保留着分类结果的不确定性（猜猜看的性质），多一点有用信息保留着分类结果的不确定性（猜猜看的性质），多一点有用信息?有利于用户自己进行分析有利于用户自己进行分析?多级分类中，有利于后续级别的分类（多一点信息）多级分类中，有利于后续级别的分类（多一点信息）?方法：方法：?无固定方法，常参照到类中心距离、到分界面距离、相似性度量等无固定方法，常参照到类中心距离、到分界面距离、相似性度量等?分为训练样本有分为训练样本有“确定类别标签确定类别标签”（如同以往

16、）和（如同以往）和“标有类别的隶属度标有类别的隶属度”两种情况两种情况?探索阶段，实践中尚少有优于常规方法的例子（杨光正，探索阶段，实践中尚少有优于常规方法的例子（杨光正，P212）Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别122010/3模糊程度的度量模糊程度的度量模糊距离模糊距离设、为空间设、为空间X上的两个模糊集，定义两者之间的距离为上的两个模糊集，定义两者之间的距离为AB汉明距离汉明距离()()=niiBiAxxBAd1,欧氏距离欧氏距离()()2112,=niiBiAxxBAd模糊集的模糊度：从总体上反映空间模糊集的模糊度：从

17、总体上反映空间X中各元素属于或不属于某一集合的明确程度中各元素属于或不属于某一集合的明确程度A()()1,0:,AAXFXF满足上的模糊度是一个映射定义Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别132010/3模糊程度的度量（续模糊程度的度量（续1）满足（满足（1）（确定集不模糊）（确定集不模糊）为确定集 0AA=（2）（越接近）（越接近1/2越模糊）越模糊）()21 ,1=xXxAA（3）()()()()2121 ,BAxxxxXxBABA，则或若（越接近（越接近0或或1越不模糊）越不模糊）（4）（与自己的补集的模糊度相同）（与自己的

18、补集的模糊度相同）=AA距离模糊度：设是的强距离模糊度：设是的强1/2截集，定义截集，定义A21A的常数，的值在为使式中10 ,2211=AkAAdnAk若用汉明距离若用汉明距离()()=niiAiAxxnA1212若用欧氏距离若用欧氏距离()()2112212=niiAiAxxnAXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别142010/3模糊程度的度量（续模糊程度的度量（续2）熵模糊度：熵模糊度：定义定义()()=niiAiAxxAH1ln()()()()=+=niiAiAiAiAExxxxnAHAHnA11ln1ln2ln1 2ln

19、1若，有或，即若，有或，即A为确定集，则和都取最小值为确定集，则和都取最小值0，模糊程度最小，模糊程度最小nixi,.,2,1 ,=()0=iAx()1=iAxAEA若，都有，则和都取最大值若，都有，则和都取最大值1，模糊程度最大，模糊程度最大nixi,.,2,1 ,=()21=iAxAEA若各元素的隶属度越接近若各元素的隶属度越接近1/2，则和都越大，则和都越大AEAXinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别152010/3模糊程度的度量（续模糊程度的度量（续2）S形隶属度函数：从形隶属度函数：从0到到1单调增长的函数，单调增长的函数

20、，a,b,c 三个参数三个参数()()()()cxcxbaccxbxaacaxaxiiiiii ,;1 ,;()=,;acaxi()()5.012/)(,2/)(2/)(=+=+=+=iiiiixbxbxxcxacbcabaac时，或；当时，当为中心点，式中模糊集的度：模糊集的度：A()=niixnA11Xinggang Lin,Tsinghua University 第八章 利用模糊集理论进行模式识别162010/3特征的模糊评价特征的模糊评价根据各类已知样本，定义各特征合理的隶属度函数，构造相应根据各类已知样本，定义各特征合理的隶属度函数，构造相应模糊集，用它们的模糊程度来评价特征模糊集，

21、用它们的模糊程度来评价特征设设n维特征空间维特征空间Q中，有中，有s个类，每个类分别有个类，每个类分别有Nj个样本，个样本，j=1,2,s用用xqj表示第表示第j类中的第类中的第q个特征，用分别表示它们的个特征，用分别表示它们的均值、最大值、最小值均值、最大值、最小值()()()minmax,qjqjavqjxxx用形隶属度函数计算模糊度和熵用形隶属度函数计算模糊度和熵()avqjxc=()()()()minmax,maxqjavqjqjavqjxxxxcb+=cbacbabcb=2 ,2 ,2算出第算出第j类第类第q个特征的距离模糊度和熵模糊度个特征的距离模糊度和熵模糊度距离模糊度和熵模糊度

22、越小，则该类中该特征取值越集中，越有利于分类距离模糊度和熵模糊度越小，则该类中该特征取值越集中，越有利于分类距离模糊度和熵模糊度越大，则该类中该特征取值越分散，越不利于分类距离模糊度和熵模糊度越大，则该类中该特征取值越分散，越不利于分类所以，距离模糊度和熵模糊度的作用类似于所以，距离模糊度和熵模糊度的作用类似于类内离散度度量类内离散度度量同样，可计算某特征在两类之间的距离模糊度和熵模糊度，越大越有利于分类，类似于同样，可计算某特征在两类之间的距离模糊度和熵模糊度，越大越有利于分类，类似于类间离散度度量类间离散度度量Xinggang Lin,Tsinghua University 第八章 利用模

23、糊集理论进行模式识别172010/3特征的模糊评价（续）特征的模糊评价（续）用用S形隶属度函数计算模糊度和熵形隶属度函数计算模糊度和熵()avqjxb=()()()()minmax,maxqjavqjqjavqjxxxxbc+=cba=2用用S S形隶属度函数算出的距离模糊度和熵模糊度的作用，与用形隶属度函数时正相反，即类内距离模糊度和熵模糊度越大，分类性能越好。类间距离模糊度和熵模糊度越小，分类性能越好。形隶属度函数算出的距离模糊度和熵模糊度的作用，与用形隶属度函数时正相反，即类内距离模糊度和熵模糊度越大，分类性能越好。类间距离模糊度和熵模糊度越小，分类性能越好。综合评价指标综合评价指标对于第对于第q个特征，第个特征，第j类和第类和第k类的类内评价指标分别记作类的类内评价指标分别记作gqj和和gqk，类间的同种评价指标记作，类间的同种评价指标记作gqjk，可定义，可定义qjkqkqjqjkgggJ+=1qkqjqjkqjkgggJ+=2采用形隶属度函数时用左式，采用采用形隶属度函数时用左式，采用S形隶属度函数时用右式形隶属度函数时用右式算出的指标越小，则该特征对这两类的分类性能越好，类似于类间相似度算出的指标越小，则该特征对这两类的分类性能越好，类似于类间相似度上述指标只是前人用过的实例，供选用，必要时可自己另行定义上述指标只是前人用过的实例，供选用，必要时可自己另行定义