基于局部保留投影的堆叠隐空间模糊c均值算法-刘欢.pdf

《基于局部保留投影的堆叠隐空间模糊c均值算法-刘欢.pdf》由会员分享，可在线阅读，更多相关《基于局部保留投影的堆叠隐空间模糊c均值算法-刘欢.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 *国家自然科学基金项目(No.61300151)、江苏省自然科学基金项目(No.BK20130155)、江苏省高校自然科学研究项目(No.13KJB520001)资助Supported by National Natural Science Foundation of China (No.61300151), Natural Science Foundation of Jiangsu Province (No.BK20130155), Natural Scientific Research Project of Jiangsu Higher Education Institutions (N

2、o.13KJB520001)收稿日期:2016-01-07;修回日期:2016-03-23;录用日期:2016-05-16Manuscript received January 7, 2016; revised March 23, 2016; accepted May 16, 2016基基于局部保留投影的堆叠隐空间模糊C均值算法*刘 欢1 王 骏1 应文豪2 王士同11(江南大学数字媒体学院 无锡214122)2(常熟理工学院计算机科学与工程学院 常熟215500)摘 要 传统模糊聚类算法在处理复杂非线性数据时学习能力较差.针对此问题,文中基于极限学习机(ELM)理论,结合局部保留投影(LPP

3、)与ELM特征映射,提出压缩隐空间特征映射算法,从而将原始数据从原空间映射至压缩ELM隐空间中.通过连接多个压缩隐空间特征映射,结合模糊聚类技术,提出基于LPP的堆叠隐空间模糊C均值算法.大量实验表明,文中算法对模糊指数的变化不敏感,在处理复杂非线性数据和存在类内差异的图像数据时,能够取得更精确、高效、稳定的学习效果.关键词 隐空间映射,极限学习机(ELM),局部保留投影(LPP),模糊C均值聚类,图像聚类中图法分类号 TP 181 DOI 10.16451/ j. cnki. issn1003-6059.201609005引用格式 刘欢,王骏,应文豪,王士同.基于局部保留投影的堆叠隐空间模糊

4、C均值算法.模式识别与人工智能,2016, 29(9): 807-815.Cascaded Hidden Space Fuzzy C-meansBased on Local Preserving ProjectionLIU Huan1, WANG Jun1, YING Wenhao2, WANG Shitong11(School of Digital Media, Jiangnan University, Wuxi 214122)2(School of Computer Science and Engineering, Changshu Institute of Technology, Cha

5、ngshu 215500)ABSTRACTThe traditional fuzzy clustering algorithms have poor learning ability for complex nonlinear data.Aiming at this problem, a condensed hidden space feature mapping is proposed by combining localpreserving projection (LPP) and extreme learning machine (ELM) feature mapping. Thus,

6、the originaldata is mapped into the condensed ELM hidden space. By connecting several condensed hidden spacefeature mapping together and combining fuzzy clustering methods, the cascaded ELM hidden space isconstructed and a cascaded hidden space fuzzy clustering algorithm is proposed. Experimental re

7、sultsshow that the proposed algorithm is insensitive to fuzzy index and efficient and robust for non-linear dataand image data with intra-class variation.第29卷 第9期模式识别与人工智能Vol.29 No.92016年9月PR & AI Sep. 2016万方数据Key W ords Hidden-Mapping Space, Extreme Learning Machine (ELM), Local Preserving Projecti

8、on(LPP), Fuzzy C-means Clustering, Image ClusteringCitation LIU H, WANG J, YING W H, WANG S T. Cascaded Hidden Space Fuzzy C-means Basedon Local Preserving Projection. Pattern Recognition and Artificial Intelligence, 2016, 29(9):807-815.模糊聚类是一种重要的无监督机器学习方法,在数据挖掘、图像处理和模糊规则提取等领域得到广泛的研究与应用1-3.目前,学者们已经提

9、出许多模糊聚类算法.虽然这些算法能够有针对性地解决现实生活中的一些问题,但是如何对复杂非线性数据进行模糊聚类,从而有效挖掘其中隐藏的类簇结构,始终是当前研究人员面临的一大挑战.在机器学习研究中,核方法4是处理非线性数据的一种有效手段,它使用核函数将原空间中非线性可分的数据映射到高维核空间中,使其线性可分,有利于提高模糊聚类的性能.在模糊聚类分析的研究工作中,核模糊C均值聚类(FCM)5的研究为基于划分的模糊聚类算法处理非线性数据提供了有益思路.但是,在核FCM中,核函数必须满足Mercer条件6,在缺乏先验知识的情况下如何合理选择核函数及相关参数是一个经典难题,这影响核方法在模糊聚类技术中的应

10、用.除了核方法外,是否还存在其它的映射方法生成高维特征空间,用于解决模糊聚类时非线性数据的无监督学习问题,这是本文的研究出发点.近年来,以极限学习机(Extreme Learning Ma-chine, ELM)为代表的单隐层前馈神经网络(Single-Hidden Layer Feedforward Neural Networks, SLFN)快速学习理论得到研究人员的深入研究7-8.在ELM学习理论中,隐节点张成的特征空间构成ELM隐空间,通过激励函数将原始数据映射到高维隐空间中.研究表明,ELM具有如下优势9:1)隐节点参数可以随机生成,有利于ELM隐空间的快速构建;2)构建隐空间使用的

11、激励函数只要满足连续、有界且不是常量函数这几个简单条件即可,有利于用户灵活方便地选取激励函数.但是,为了保证ELM隐空间学习算法学习结果的稳定性,往往需要增加ELM隐节点的数目,这使得该方法在后续学习中的效率面临重大挑战.本文在ELM映射之后,通过引入特征降维技术,得到堆叠隐空间学习结构.首先,把ELM隐空间经过局部保留投影( Local Preserving Projection,LPP)特征降维后得到压缩隐空间,并将其与由原始数据经ELM映射后得到的ELM隐空间进行联合,构成混合隐含层.然后将多个混合隐含层进行串联叠加,从而构成堆叠隐空间.已有研究表明,利用ELM隐空间映射可以有效提高传统

12、聚类算法对复杂非线性数据的无监督学习能力10.本文的堆叠隐空间与ELM隐空间映射的这一特性密切相关,它是由多次ELM隐空间映射经特征降维后串联迭加得到,因此,堆叠能让非线性数据变得线性可分,从而提高堆叠隐空间中聚类算法的学习精度.不失一般性,本文以FCM11为代表展开研究工作.在图像数据中,同一类别中的图像间依然存在着较大的类内差异,传统的以FCM为代表的模糊聚类算法在处理这类图像数据时很难取得令人满意的聚类效果12.已有研究13-14表明,LPP能够有效保持原始数据的局部结构.本文使用LPP对映射到ELM隐空间中的数据进行特征提取,使ELM隐空间中相互接近的点在降维后的低维空间中也保持较近的

13、距离,从而保持原始数据的局部结构,经多次迭加后这一特性更明显.同时,堆叠隐空间学习结构中的ELM非线性映射又能使原特征空间中非线性可分的数据变得线性可分,从而有效提高对复杂非线性数据的无监督学习能力.因此,基于LPP形成的堆叠能较好地模拟非线性数据.本文将LPP融入到堆叠ELM隐空间学习结构中,提出基于LPP的堆叠隐空间模糊C均值算法(Cascaded Hidden Space FuzzyC-means Based on Local Preserving Projection, CELM-LPP-FCM).该算法综合ELM和LPP技术的优良特性,在使用层次化的学习结构对数据对象在不同层次上的表

14、达形式进行抽象的同时,综合使用压缩和扩充手段对低层概念进行重组,得到新的信息表达形式,从而有效提高模糊聚类算法的聚类效果.实验证明,该算法在处理复杂非线性数据尤其是图像数据时能够取得比传统模糊聚类算法更精确、高效、稳定的聚类效果,同时有效克服模糊聚类算法对模糊指数的敏感性问题.1 相关工作1.1 极限学习机隐空间SLFN在许多诸如模式识别、信号处理及短期预808模式识别与人工智能 第29卷万方数据测的领域中得到广泛应用.至今,在提出的SLFN训练算法中,所有的网络隐层节点参数都是通过迭代过程进行多次优化最终确定,但是这些迭代步骤往往会增加参数训练过程的时间复杂度.在ELM中,隐节点张成的特征空

15、间构成隐空间,其映射过程10如下:1)随机生成权重矩阵W沂 RL伊d和偏移量矩阵B = b1,b2, ,bLT,其中,L为随机ELM隐节点数,d为原始数据的维数.2)将原始数据映射到L维的隐空间中.每个输入数据都是一个d维的向量x =x1,x2, ,xdT,该特征映射可以表示为H(x) = h1(x),h2(x), ,hL(x)T =G(w1,b1,x),G(w2,b2,x), ,G(wL,bL,x)T,(1)其中,G(x)为激励函数,映射过程如图1所示.1 LdUNI8f93UNI5165UNI5c42ELMUNI9690 UNI5c42UNI542b1i图1 ELM隐空间特征映射的过程Fi

16、g.1 Process of hidden space feature mapping常用的激励函数有Sigmoid:G(x) = 11 + exp( - x),Sine:G(x) = sin x,Gaussian:k(xi,xj) =exp - 椰 xi - xj椰22滓2 .1.2 FCM及其问题分析FCM是目前最常用的模糊聚类算法之一,其思想直观,便于实现.但是,FCM本身也存在问题:1)来自现实生活中的数据通常具有典型的非线性特性,即至少包含一个具有非凸形状边界的类簇,这使得FCM在原数据空间中难以得到理想的聚类效果;2)模糊指数15是FCM的一个重要参数,取值会严重影响算法性能,在无

17、先验知识的情况下,用户通常很难选取合适的模糊指数以获得满意的聚类效果.针对上述问题,近年来,研究人员改进FCM,其中基于核技术的模糊聚类算法通过引入核技巧将原始特征空间中的数据映射到高维空间中,使非线性数据在高维空间中线性可分,从而提高算法线性可分的能力5-6.但是,在使用核方法的过程中,由于缺乏先验知识,用户通常难以选取合适的核函数及核参数,这制约核方法在模糊聚类算法中的使用及其推广.本文结合ELM隐空间学习理论与LPP,提出堆叠隐空间学习结构,该算法能够有效精简冗余信息并及时补充必要信息,使模糊聚类算法能够发挥更好的性能.2 基于局部保留投影的堆叠隐空间模糊C均值算法2. 1 局部保留投影

18、压缩极限学习机隐空间学习算法在ELM学习技术中,可以通过随机赋值的方法快速生成ELM隐空间,随着隐节点数目的增加,学习精度也不断提高,但是随之而来的一个重要问题是计算效率会逐步降低.此外,由于隐节点生成过程中相关参数随机生成,因此不可避免地会引入大量冗余信息.针对这一问题,本文结合ELM隐空间技术与LPP,提出LPP压缩ELM隐空间学习算法,过程如下.1)根据图1所示过程将原始数据映射到高维ELM隐空间RL中,得到矩阵H = h1(x),h2(x), ,hL(x) 沂 Rn伊L,n为样本点个数.2)设S为相似度矩阵,给定2个数据点之间的相关性Sij,如果2点之间无边相连,Sij = 0,否则将

19、给定一个相关性,此时Sij = 1或Sij =exp - 椰 xi - xj椰2 t ,其中t为邻节点数的常量.3)LPP的目标函数如下:min 移ij(yi - yj)2Sij.设a为投影向量,yi = aThi(x).经过变换后LPP的目标函数变为arg min aTHMHTas. t. aTHDHTa = 1,其中,D为一个对角矩阵,Dii = 移jSij,M = D - S为拉氏矩阵.上述的约束问题可以转换为求解一个广义特征值的问题:HMHTa = 姿HDHTa.因此,最小化目标函数的解就由上述广义特征值姿i908第9期 刘 欢 等:基于局部保留投影的堆叠隐空间模糊C均值算法万方数据对

20、应的特征向量ai给出.其中0 臆 姿1 臆 姿2 臆 臆姿L忆,a = (a1,a2, ,aL忆),L忆为所要提取的特征向量维数.此时Yi =Hia(i =1,2, ,n)为LPP压缩ELM隐空间后得到的特征数据.综上所述,通过上述3步可完成对ELM隐空间的压缩,结构可映射为如图2所示的前馈神经网络模型.LPPUNI9690UNI542bUNI5c42ELMUNI9690UNI542bUNI5c42UNI8f93UNI5165UNI5c42111LPPLLid图2 LPP压缩的ELM隐空间特征映射Fig.2 ELM hidden space feature mapping condensed

21、byLPP原始输入数据经过输入层后,通过ELM特征映射被映射到高维ELM隐空间中,在此过程中,生成ELM隐空间时的随机赋值过程会引入噪声.通过LPP技术压缩高维隐空间,从而有效过滤部分噪声,有利于提高聚类学习过程的性能.2.2 基于局部保留投影的堆叠隐空间模糊C均值算法在隐空间构建过程中,为了使学习器得到更好的表达能力和稳定的学习结果,单隐层前馈神经网络学习模型通常会选择较多的隐节点数目.但是这也增加额外的计算负担.研究表明,在保证学习器泛化能力的前提下,将单隐层结构的ELM隐空间改造为堆叠隐空间结构是降低隐节点数目的有效方法.为此,本文改造上述基于LPP的压缩ELM隐空间映射过程,通过把EL

22、M隐层中的隐节点分散到多个隐含层中,并与LPP隐含层的隐结点结合,形成新的混合隐含层.再将若干个混合隐含层进行叠加,得到堆叠隐空间学习结构,该过程如图3所示.CELM-LPP-FCM步骤描述如下.设堆叠隐空间的层数f,每个隐含层中随机生成的ELM隐节点数L,数据集D的维数d,LPP压缩隐空间的维数L忆,样本点个数n.step 1 随机生成值在0,1内的权重矩阵W 沂 RL伊d及值在0.5,1内的偏移量矩阵B 沂RL伊1.根据式(1)及图1、图3将数据集D从输入层映射到ELM隐含层中,得到高维数据矩阵H(1) 沂Rn伊L.step 2 根据图2,利用LPP压缩ELM隐空间学习算法对ELM隐含层进

23、行压缩,形成LPP隐含层,得到维数为L忆的数据矩阵H(2).step 3 当j = 2,3, ,f.step 3.1 重复step 1.step 3.2 将LPP隐含层与ELM隐含层构成混合隐含层,得到数据矩阵H(3) = H(2),H(1).step 3.3 利用LPP压缩混合隐含层,形成LPP隐含层,得到数据矩阵同样为H(2).step 4 将最终获取的数据H(2)利用FCM进行聚类,输出模糊划分矩阵U. . . .UNI6df7UNI5408UNI9690UNI542bUNI5c42UNI6df7UNI5408UNI9690UNI542bUNI5c42LPPUNI9690UNI542bU

24、NI5c42ELMUNI9690UNI542bUNI5c42LPPLPPLPPUNI8f93UNI5165UNI5c42ELMUNI7279UNI5f81UNI6620UNI5c04UNI8f93UNI5165UNI5c42ELMUNI7279UNI5f81UNI6620UNI5c04UNI8f93UNI5165UNI5c42ELMUNI7279UNI5f81UNI6620UNI5c04图3 堆叠隐空间学习结构Fig.3 Cascaded hidden space learning structureCELM-LPP-FCM将ELM隐空间的单隐层结构改造为堆叠隐空间学习结构.假设从第2层开始,

25、每个隐含层中随机生成的ELM隐节点数都是L,由前一层LPP压缩后得到的隐节点数为L忆,易得隐节点总数为L总= (L + L忆)(f - 1) + L,其中随机生成的ELM隐节点总数为LELM = Lf.经过多次隐空间压缩,每层都会造成相应的信息损失,但是经过每个混合层中ELM隐节点的信息弥补,丢失的信息得以补偿,因此能得到更好的学习效果.3 UCI数据集实验及结果分析3.1 实验设置为了验证本文提出的CELM-LPP-FCM对复杂非线性数据的处理能力,将本文算法与FCM、基于018模式识别与人工智能 第29卷万方数据ELM的模糊C均值聚类算法(ELM Fuzzy C-meansClusteri

26、ng Algorithm, ELM-FCM)、K-means16、基于特征空间的核模糊C均值聚类算法(Kernel FuzzyC-means Clustering Algorithm Based on FeatureSpace, KFCM-F)、基于核空间的核模糊C均值聚类算法( Kernel Fuzzy C-means Clustering AlgorithmBased on Kernel Space, KFCM-K)、FSC17这6个基于浅层学习结构的算法在如表1所示的4个UCI数据集上进行对比实验.表1 UCI数据集Table 1 UCI datasets名称样本数原始特征数类别数压缩隐

27、空间的维数L忆Car1 392 7 3 8Pima 768 8 2 2Vehicle 846 18 4 4Iris 150 4 3 3由于CELM-LPP-FCM压缩隐空间的维数对聚类结果具有较大影响,实验中将压缩隐空间的维数作为参数从2,3, ,20中进行参数寻优,并记录该算法得到最佳性能时压缩隐空间的维数L忆.堆叠隐空间的层数f也从2,3, ,15中进行参数寻优得出最佳参数.实验平台配置如下:CPU为Intel(R)Core(TM)i5-4590 3. 3 GHz,内存8 GB,操作系统为64 bitWindows 7,软件平台为Matlab 2012.各算法说明及其参数设置如下.1)FC

28、M11.最大迭代次数为200,收敛阈值为1.0e-7,m=2.2)ELM-FCM10.通过ELM隐空间映射后执行FCM.随机ELM隐节点数目设为100,激励函数使用Sigmoid函数,最大迭代次数为200,收敛阈值为1.0e-7,m=2.3)K-means.最大迭代次数为200,收敛阈值为1.0e-7,实验中记录其最佳性能时的实验结果.4)CELM-LPP-FCM.随机ELM隐节点数目设为100,堆叠隐空间的层数为10,激励函数为Sigmoid函数,压缩隐空间的维数见表1,最大迭代次数为200,收敛阈值为1.0e-7,m=2.5)KFCM-K5 .最大迭代次数为200,收敛阈值为1.0e-7,

29、m=2,核参数由滓2 = 1n2移ni = 1移 nj = 2椰 xi - xj椰 2计算得出.6)KFCM-F5.最大迭代次数为200,收敛阈值为1.0e-7,m=2,核参数由滓2 = 1n2移ni = 1移 nj = 2椰 xi - xj椰 2计算得出.7)FSC.最大迭代次数为200,收敛阈值为1.0e-7,根据参考文献17,设置权重指数琢=2.3.2 算法性能的评价指标本文采用归一化互信息(Normalized Mutual In-formation, NMI)和芮氏指标(Rand Index, RI)分析各算法的性能3,计算方法如下.NMI =移 Ci = 1移 Cj = 1Nijl

30、og2 NNijNiNj移 Ci = 1Nilog2 Ni N 移Cj = 1Njlog2 NjN,其中,Nij表示第i个聚类与第j类的契合程度,Ni表示第i个聚类包含数据样本量,Nj表示类j包含的数据样本量,N表示整个数据样本大小.RI = 2(f00 + f11)N(N - 1) ,其中, f00表示数据点具有不同的类标签并且属于不同类的配对点数目, f11表示数据点具有相同的类标签并且属于同一类的配对点数目,N表示整个数据样本的总量大小.上述2种评价指标取值范围均为0,1,且均随着数值的增大,算法的性能更优越.3.3 聚类效果对比实验每种算法运行10次,各算法的RI、NMI指标的均值和标

31、准差如表2所示,使用黑体数字表示最好实验结果.从表2可以发现,虽然每个UCI数据集的特征数不同,内部结构也有差异,但是CELM-LPP-FCM均可以取得良好的聚类效果.其它算法在个别数据集上也可以得到较稳定的聚类结果,但是在总体性能上不如本文算法.这也充分展示堆叠隐空间学习结构在处理复杂非线性结构数据时的强大能力.118第9期 刘 欢 等:基于局部保留投影的堆叠隐空间模糊C均值算法万方数据表2 在4个数据集上的7种算法的评价指标Table 2 Evaluation indexes of 7 algorithms on 4 datasets数据集RI指标FCM ELM-FCM K-means K

32、FCM-K KFCM-F FSC本文算法Car1RI 0.4727(依0.0000) 0.5255(依0.0034) 0.4727(依0.0000) 0.4765(依0.0000) 0.4789(依0.0000) 0.4617(依0.0085) 0.4891(依0.0067)NMI 0.1155(依0.0000) 0.1421(依0.0016) 0.1155(依0.0000) 0.1228(依0.0000) 0.1248(依0.0000) 0.1490(依0.0057) 0.1331(依0.0059)PimaRI 0.5550(依0.0000) 0.5563(依0.0038) 0.5567(依

33、0.0000) 0.5659(依0.0000) 0.5616(依0.0000) 0.5024(依0.0092) 0.5944(依0.0016)NMI 0.0647(依0.0000) 0.1052(依0.0049) 0.0643(依0.0000) 0.1039(依0.0000) 0.0687(依0.0000) 0.0059(依0.0187) 0.1177(依0.0022)VehicleRI 0.6421(依0.0000) 0.6255(依0.0008) 0.6223(依0.0000) 0.6480(依0.0014) 0.6423(依0.0000) 0.6461(依0.0039) 0.6516(依

34、0.0019)NMI 0.0986(依0.0000) 0.0939(依0.0014) 0.0982(依0.0000) 0.1155(依0.0012) 0.1011(依0.0000) 0.1382(依0.0109) 0.1720(依0.0080)IrisRI 0.8582(依0.0000) 0.8298(依0.0029) 0.8697(依0.0000) 0.8542(依0.0021) 0.8797(依0.0009) 0.8940(依0.0899) 0.9387(依0.0039)NMI 0.7433(依0.0000) 0.6804(依0.0028) 0.7277(依0.0000) 0.6808(依

35、0.0000) 0.7456(依0.0093) 0.8120(依0.0823) 0.8523(依0.0064)图4为本文算法在不同数据集上的运行时间随堆叠隐空间层数的变化情况.从图4也可以看出,本文算法的时间性能随着堆叠隐空间层数的增加而增加,但是实验中选择使RI和NMI达到最优时的堆叠隐空间层数,因此,堆叠隐空间层数的变化对本文算法在UCI数据集上的时间性能影响不大.Car1 PimaVehicle ORLYale0.450.400.350.300.250.200.150.100.0502 4 6 8 10 12 14 16UNI8fd0UNI884cUNI65f6UNI95f4/sUNI5

36、806UNI53e0UNI9690UNI7a7aUNI95f4UNI7684UNI5c42UNI6570图4 本文算法的运行时间随堆叠隐空间层数的变化情况Fig.4 Running time of CELM-LPP-FCM changing with ELMlayers4 图像数据集实验及结果分析4.1 实验数据集及实验设置本实验选择ORL18、AR19、Yale193个人脸数据集及MNIST20、USPS20 2个手写体数字数据集进行实验,这2类数据集中同一类别的图像间存在表情、姿势等差异.为了进一步验证本文算法对存在类内差异的图像数据的处理能力,将CELM-LPP-FCM与FCM、ELM-

37、FCM、K-means、KFCM-F、KFCM-K、FSC应用于图像数据进行对比实验.由于不同来源的图像数据内部结构不同,实验中采用不同方法对它们进行预处理:对于人脸数据集,采用主成分分析(PCA)21对其进行特征提取;对于手写体数字数据集,采用线性判别分析方法(LDA)22进行特征提取.由于PCA、LDA针对不同图像数据集提取的不同特征数目对聚类结果也有较大影响,对提取的特征数p也进行如3. 1节所述的参数寻优.表3给出实验中所用的数据集详情,其中p表示PCA及LDA对数据集进行预处理后提取的特征数,它们是各算法输入数据的维数,L忆表示本文算法压缩隐空间的维数.表3 图像数据集Table 3

38、 Image datasets名称样本数图像大小原始特征数类别数p L忆ORL 400 112伊92 10304 40 10 6Yale 165 100伊100 10000 15 10 6AR 1680 40伊50 2000 120 10 5MNIST 70000 28伊28 784 10 9 5USPS 9298 16伊16 256 10 9 54.2 聚类效果对比实验本次实验中各算法说明及其参数设置如3. 1节,每种算法重复运行10次,各算法的RI、NMI指标的均值和标准差如表4所示,黑体数字表示最好的实验结果.从表4的实验结果中可发现,CELM-LPP-FCM不仅能够在UCI数据集上取得

39、良好的聚类效果,而且在图像数据集中的聚类效果更优.由此可见,该算218模式识别与人工智能 第29卷万方数据法能有效解决传统FCM及其相关算法(FCM、ELM-FCM、KFCM-F、KFCM-K、FSC)在处理存在较显著的类内差异图像数据时聚类效果不理想的问题,这也充分验证LPP技术和ELM隐空间映射方法结合的堆叠隐空间模糊聚类算法在图像聚类上能够取得令人满意的聚类效果.而从图4的图像数据集实验结果中也可以看出,本文算法的时间随着堆叠隐空间层数的增加而增加,但是本次实验同样选择使得RI和NMI这2个聚类评价指标达到最优时的堆叠隐空间层数.因此,堆叠隐空间层数的变化对本文算法在图像数据集上的时间性

40、能影响也不大.表4 在5个数据集上7种算法的评价指标Table 4 Evaluation indexes of 7 algorithms on 5 datasets数据集RI指标FCM ELM-FCM K-means KFCM-K KFCM-F FSC本文算法ORLRI 0.7871(依0.0401) 0.9170(依0.0070) 0.6946(依0.0644) 0.7265(依0.0388) 0.7397(依0.0448) 0.9615(依0.0074) 0.9721(依0.0021)NMI 0.4026(依0.0246) 0.4083(依0.0145) 0.3908(依0.0398) 0

41、.4328(依0.0203) 0.4368(依0.0414) 0.6948(依0.0256) 0.7635(依0.0135)YaleRI 0.8027(依0.0567) 0.9016(依0.0084) 0.7841(依0.0455) 0.8097(依0.0257) 0.8056(依0.0586) 0.9087(依0.0095) 0.9282(依0.0048)NMI 0.4948(依0.0378) 0.5051(依0.0331) 0.3952(依0.0382) 0.4889(依0.0294) 0.5446(依0.0376) 0.5999(依0.0372) 0.6683(依0.0141)ARRI

42、0.5012(依0.0000) 0.9581(依0.0089) 0.5760(依0.0486) 0.5265(依0.0189) 0.5510(依0.0486) 0.9733(依0.0014) 0.9758(依0.0004)NMI 0.3786(依0.0000) 0.8359(依0.0191) 0.2545(依0.1209) 0.4016(依0.0205) 0.3717(依0.0178) 0.9025(依0.0063) 0.9122(依0.0013)MNISTRI 0.5698(依0.0273) 0.8376(依0.0050) 0.6612(依0.0432) 0.7308(依0.0558) 0.

43、6738(依0.0132) 0.8201(依0.0014) 0.8795(依0.0007)NMI 0.1081(依0.0116) 0.1942(依0.0108) 0.1881(依0.0118) 0.2627(依0.0485) 0.2971(依0.0581) 0.0574(依0.0092) 0.5370(依0.0040)USPSRI 0.5795(依0.0000) 0.8920(依0.0056) 0.6895(依0.0436) 0.6695(依0.0463) 0.8815(依0.0248) 0.9372(依0.0133) 0.9546(依0.0040)NMI 0.3626(依0.0000) 0.

44、5136(依0.0101) 0.3092(依0.0334) 0.3883(依0.0227) 0.6581(依0.0373) 0.7654(依0.0214) 0.7641(依0.0036)4.3 相同极限学习机隐节点数时算法效率对比本次实验将研究在相同ELM隐节点数的前提下,浅层学习结构和堆叠隐空间学习结构对算法性能的影响.实验中分别执行CELM-LPP-FCM与ELM-FCM,并为2个算法设置相同的ELM隐节点数目,其它参数设置同上,运行结果如表5所示.表5 2种算法的效率对比Table 5 Efficiency comparison of 2 algorithms数据集算法时间/ sELM-

45、FCM本文算法隐节点个数ELM-FCM本文算法RI均值ELM-FCM本文算法NMI均值ELM-FCM本文算法ORL 1.490832.8936 0.29491.0578 1001000 1001000 0.91700.9112 0.97210.9690 0.40830.3986 0.76350.7453Yale 0.31004.2720 0.08440.2293 1001000 1001000 0.90160.8967 0.92820.9147 0.50510.5034 0.66830.6455AR 36.0676498.9080 1.93256.4349 1001000 1001000 0.

46、95810.9496 0.97580.9461 0.85390.8072 0.91120.8334MNIST 27.0120248.2702 18.277148.5046 1001000 1001000 0.83760.8072 0.87950.8789 0.19420.1784 0.53700.5141USPS 23.2310228.3030 15.978541.7922 1001000 1001000 0.89200.8956 0.95460.9564 0.51360.5184 0.76410.7662ELM-FCM的运行结果表明,通过构建ELM隐空间将图像数据映射到高维ELM隐空间中,虽

47、然数据内部结构得以简化,但是由于隐节点数增加导致特征数目的增加,后续学习过程的效率会明显降低.由图3可知,将L维的ELM隐层通过LPP压缩为L忆维的LPP隐含层,该层隐节点个数减少L - L忆,然后再将该LPP隐含层与新生成的ELM隐含层合并形成混合隐含层,再通过LPP对该混合隐含层进318第9期 刘 欢 等:基于局部保留投影的堆叠隐空间模糊C均值算法万方数据行压缩,构成L忆维的LPP隐含层.虽然经过多次隐空间压缩,每层都会损失相应的隐节点数,但是经过每个混合层中ELM隐节点数的适度弥补,丢失的数据信息得以补偿,并未减少整个系统内的ELM隐节点数.尽管如此,在相同ELM隐节点数的情况下,本文算

48、法可以取得比ELM-FCM更好的学习效果,使用本文算法处理图像数据具有更优的性能.4.4 参数敏感性实验在模糊聚类算法中,模糊指数m是一个重要参数,影响算法的聚类效果.本次实验选取ORL、Yale、MNIST、USPS这4个图像数据集进行实验,对比m的变化对各算法性能的影响.文中仅给出RI指标的结果,NMI指标有类似结果,因篇幅有限,不再列出.实验中,m依次取1.2,1.4,1.6,1.8,2.0,2.2,2.4,2.6,2.8,3.0,各算法说明及其它参数设置同上,实验结果如图5所示.从图5中不难发现,虽然m在较宽广的范围内变化,本文算法在4个数据集上均可以取得较稳定的结果.由于ELM-FC

49、M同样是基于ELM隐空间结构的算法,因此对模糊指数的敏感性明显低于其它算法.除此之外,其余算法的性能却随着m的变化存在较大波动.可见通过对ELM隐空间不断地进行压缩与重组,本文算法对m的变化具有更好的鲁棒性,有利于用户在实际应用中更方便地选取模糊指数.FCM ELM FCMKFCM K KFCM FUNI672cUNI6587UNI7b97UNI6cd51.31.21.11.00.90.80.70.60.50.41.2 1.4 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0RIm(a)ORL1.2 1.4 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0m1.31.21.11.00.90.80.70.60.50.4RIFCM ELM FCMKFCM K