matlab做聚类分析.doc

《matlab做聚类分析.doc》由会员分享，可在线阅读，更多相关《matlab做聚类分析.doc（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、matlab做聚类分析2009-03-27 20:07转载一： Matlab提供了两种方法进行聚类分析。一种是利用 clusterdata函数对样本数据进行一次聚类，其缺点为可供用户选择的面较窄，不能更改距离的计算方法；另一种是分步聚类：（1）找到数据集合中变量两两之间的相似性和非相似性，用pdist函数计算变量之间的距离；（2）用 linkage函数定义变量之间的连接；（3）用 cophenetic函数评价聚类信息；（4）用cluster函数创建聚类。1Matlab中相关函数介绍1.1 pdist函数调用格式：Y=pdist(X,metric)说明：用 metric指定的方法计算 X 数据矩

2、阵中对象之间的距离。X：一个mn的矩阵，它是由m个对象组成的数据集，每个对象的大小为n。metric取值如下：euclidean：欧氏距离（默认）；seuclidean：标准化欧氏距离；mahalanobis：马氏距离；cityblock：布洛克距离；minkowski：明可夫斯基距离；cosine：correlation： hamming：jaccard： chebychev：Chebychev距离。1.2 squareform函数调用格式：Z=squareform(Y,.)说明： 强制将距离矩阵从上三角形式转化为方阵形式，或从方阵形式转化为上三角形式。1.3 linkage函数调用格式：Z

3、=linkage(Y,method)说 明：用method参数指定的算法计算系统聚类树。Y：pdist函数返回的距离向量；method：可取值如下：single：最短距离法（默认）； complete：最长距离法；average：未加权平均距离法； weighted： 加权平均法；centroid：质心距离法； median：加权质心距离法；ward：内平方距离法（最小方差算法）返回：Z为一个包含聚类树信息的（m-1）3的矩阵。1.4 dendrogram函数调用格式：H，T，=dendrogram(Z,p，)说明：生成只有顶部p个节点的冰柱图（谱系图）。1.5 cophenet函数调用格式：

4、c=cophenetic(Z,Y)说明：利用pdist函数生成的Y和linkage函数生成的Z计算cophenet相关系数。1.6 cluster 函数调用格式：T=cluster(Z,)说明：根据linkage函数的输出Z 创建分类。1.7 clusterdata函数调用格式：T=clusterdata(X,)说明：根据数据创建分类。T=clusterdata(X,cutoff)与下面的一组命令等价：Y=pdist(X,euclid);Z=linkage(Y,single);T=cluster(Z,cutoff);2. Matlab程序2.1 一次聚类法X=11978 12.5 93.5 3

5、1908;57500 67.6 238.0 15900;T=clusterdata(X,0.9)2.2 分步聚类Step1 寻找变量之间的相似性用pdist函数计算相似矩阵，有多种方法可以计算距离，进行计算之前最好先将数据用zscore函数进行标准化。X2=zscore(X); %标准化数据Y2=pdist(X2); %计算距离Step2 定义变量之间的连接Z2=linkage(Y2);Step3 评价聚类信息C2=cophenet(Z2,Y2); /0.94698Step4 创建聚类，并作出谱系图T=cluster(Z2,6);H=dendrogram(Z2);分类结果：加拿大，中国，美国，

6、澳大利亚，日本，印尼，巴西，前苏联剩余的为一类。引自：MATLAB的统计工具箱中的多元统计分析中提供了聚类分析的两种方法：1.层次聚类 hierarchical clustering2.k-means聚类这里用最简单的实例说明以下层次聚类原理和应用发法。层次聚类是基于距离的聚类方法，MATLAB中通过pdist、linkage、dendrogram、cluster等函数来完成。层次聚类的过程可以分这么几步：(1) 确定对象（实际上就是数据集中的每个数据点）之间的相似性，实际上就是定义一个表征对象之间差异的距离，例如最简单的平面上点的聚类中，最经常使用的就是欧几里得距离。这在MATLAB中可以通

7、过Y=pdist（X）实现，例如 X=randn(6,2)X = -0.4326 1.1892 -1.6656 -0.0376 0.1253 0.3273 0.2877 0.1746 -1.1465 -0.1867 1.1909 0.7258 plot(X(:,1),X(:,2),bo) %给个图，将来对照聚类结果把图1 Y=pdist(X)Y = Columns 1 through 14 1.7394 1.0267 1.2442 1.5501 1.6883 1.8277 1.9648 0.5401 2.9568 0.2228 1.3717 1.1377 1.4790 1.0581 Colum

8、n 15 2.5092例子中X数据集可以看作包含6个平面数据点，pdist之后的Y是一个行向量，15个元素分别代表X的第1点与2-6点、第2点与3-6点,.这样的距离。那么对于M个点的数据集X，pdist之后的Y将是具有M*(M-1)/2个元素的行向量。Y这样的显示虽然节省了内存空间，但对用户来说不是很易懂，如果需要对这些距离进行特定操作的话，也不太好索引。MATLAB中可以用squareform把Y转换成方阵形式，方阵中位置的数值就是X中第i和第j点之间的距离，显然这个方阵应该是个对角元素为0的对称阵。 squareform(Y)ans = 0 1.7394 1.0267 1.2442 1.

9、5501 1.6883 1.7394 0 1.8277 1.9648 0.5401 2.9568 1.0267 1.8277 0 0.2228 1.3717 1.1377 1.2442 1.9648 0.2228 0 1.4790 1.0581 1.5501 0.5401 1.3717 1.4790 0 2.5092 1.6883 2.9568 1.1377 1.0581 2.5092 0这里需要注意的是，pdist可以使用多种参数，指定不同的距离算法。help pdist把。另外，当数据规模很大时，可以想象pdist产生的Y占用内存将是很吓人的，比如X有10k个数据点，那么X占10k*8*2

10、Bytes=160K，这看起来不算啥，但是pdist后的Y会有10k*10k/2*8Bytes=400M。怕了把，所以，废话说在前面，用MATLAB的层次聚类来处理大规模数据，大概是很不合适的。(2) 确定好了对象间的差异度（距离）后，就可以用Z=linkage(Y)来产生层次聚类树了。 Z=linkage(Y)Z = 3.0000 4.0000 0.2228 2.0000 5.0000 0.5401 1.0000 7.0000 1.0267 6.0000 9.0000 1.0581 8.0000 10.0000 1.3717对于M个元素的X，前面说了Y是1行M*(M-1)/2的行向量，Z则是

11、(M-1)*3的矩阵。Z数组的前两列是索引下标列，最后一列是距离列。例如上例中表示在产生聚类树的计算过程中，第3和第4点先聚成一类，他们之间的距离是0.2228，以此类推。要注意的是，为了标记每一个节点，需要给新产生的聚类也安排一个标识，MATLAB中会将新产生的聚类依次用M+1,M+2,.依次来标识。比如第3和第4点聚成的类以后就用7来标识，第2和第5点聚成的类用8来标识，依次类推。通过linkage函数计算之后，实际上二叉树式的聚类已经完成了。Z这个数据数组不太好看，可以用dendrogram(Z)来可视化聚类树。图2可以看到，产生的聚类树的每一层都是一个倒置的U型（或者说是个n型，），纵

12、轴高度代表了当前聚类中两个子节点之间的距离。横轴上标记出了各个数据点索引下标。稍微注意以下的是，dendrogram默认最多画30个最底层节点，当然可是设置参数改变这个限制，比如dendrogram(Z,0)就会把所有数据点索引下标都标出来，但对于成千上万的数据集合，这样的结果必然是图形下方非常拥挤。看你的应用目的了，随你玩(3)初步的聚类树画完后，还要做很多后期工作的，包括这样的聚类是不是可靠，是不是代表了实际的对象分化模式，对于具体的应用，应该怎样认识这个完全版的聚类树，产生具有较少分叉的可供决策参考的分类结果呢？这都是需要考虑的。MATLAB中提供了cluster, clusterdat

13、a, cophenet, inconsistent等相关函数。cluster用于剪裁完全版的聚类树，产生具有一定cutoff的可用于参考的树。clusterdata可以认为是pdist,linkage,cluster的综合，当然更简易一点。cophenet和inconsistent用来计算某些系数，前者用于检验一定算法下产生的二叉聚类树和实际情况的相符程度（就是检测二叉聚类树中各元素间的距离和pdist计算产生的实际的距离之间有多大的相关性），inconsistent则是量化某个层次的聚类上的节点间的差异性（可用于作为cluster的剪裁标准）。后面这些的理解，大概需要对聚类有一个更深刻更数学

14、的认识，我也不是很清楚，就不多说了。from MATLAB提供了两种方法进行聚类分析：1、利用clusterdata 函数对数据样本进行一次聚类，这个方法简洁方便，其特点是使用范围较窄，不能由用户根据自身需要来设定参数，更改距离计算方法；2、分步聚类：（1）用pdist函数计算变量之间的距离，找到数据集合中两辆变量之间的相似性和非相似性；（2）用linkage函数定义变量之间的连接；（3）用cophenetic函数评价聚类信息；（4）用cluster函数进行聚类。下边详细介绍两种方法:1、一次聚类Clusterdata函数可以视为pdist、linkage与cluster的综合，一般比较简单。

15、【clusterdata函数：调用格式：T=clusterdata(X,cutoff) 等价于Y=pdist(X,euclid); Z=linkage(Y,single); T=cluster(Z,cutoff) 】2、分步聚类（1）求出变量之间的相似性用pdist函数计算出相似矩阵，有多种方法可以求距离，若此前数据还未无量纲化，则可用zscore函数对其标准化【pdist函数：调用格式：Y=pdist(X,metric)说明：X是M*N矩阵，为由M个样本组成，每个样本有N个字段的数据集 metirc取值为：euclidean：欧氏距离（默认）seuclidean：标准化欧氏距离;mahala

16、nobis：马氏距离 】pdist生成一个M*(M-1)/2个元素的行向量，分别表示M个样本两两间的距离。这样可以缩小保存空间，不过，对于读者来说却是不好操作，因此，若想简单直观的表示，可以用squareform函数将其转化为方阵，其中x(i,j)表示第i个样本与第j个样本之的距离，对角线均为0.（2）用linkage函数来产生聚类树【linkage函数：调用格式：Z=linkage(Y,method)说明：Y为pdist函数返回的M*(M-1)/2个元素的行向量， method可取值：single：最短距离法（默认）；complete：最长距离法； average：未加权平均距离法；weig

17、hted:加权平均法 centroid： 质心距离法； median：加权质心距离法； ward：内平方距离法（最小方差算法）】返回的Z为一个(M-1)*3的矩阵，其中前两列为索引标识，表示哪两个序号的样本可以聚为同一类，第三列为这两个样本之间的距离。另外，除了M个样本以外，对于每次新产生的类，依次用M+1、M+2、来标识。为了表示Z矩阵，我们可以用更直观的聚类数来展示，方法为：dendrogram(Z), 产生的聚类数是一个n型树，最下边表示样本，然后一级一级往上聚类，最终成为最顶端的一类。纵轴高度代表距离列。 另外，还可以设置聚类数最下端的样本数，默认为30，可以根据修改dendrogra

18、m(Z,n)参数n来实现，1nM。dendrogram(Z,0)则表n=M的情况，显示所有叶节点。（3）用cophenetic函数评价聚类信息【cophenet函数: 调用格式：c=cophenetic(Z,Y) 说明：利用pdist函数生成的Y和linkage函数生成的Z计算cophenet相关系数。】cophene检验一定算法下产生的二叉聚类树和实际情况的相符程度,就是检测二叉聚类树中各元素间的距离和pdist计算产生的实际的距离之间有多大的相关性，另外也可以用inconsistent表示量化某个层次的聚类上的节点间的差异性。（4）最后，用cluster进行聚类，返回聚类列。数据挖掘-聚类

19、方法(1) 2009-5-4 12:43:00 | By: awentang 聚类就是将数据对象分组成多个类或者簇，划分的原则是在同一个粗中的对象之间具有较高的相似度，而不同簇中的对象差别较大。属于一种无指导的学习方法。好的聚类算法应该满足以下几个方面：（1） 可伸缩型：无论对小数据量还是大数据量应该都是有效的。（2） 具有处理不同类型属性的能力。（3） 能够发现任意形状的聚类。（4） 输入参数对领域知识的弱依赖性（5） 对于输入记录顺序不敏感（6） 能够处理很多维度的数据，而不止是对3维左右的数据有效（7） 处理噪声数据的能力（8） 基于约束的距离：既能找到满足特定的约束，又具有良好聚类特性

20、的数据分组（9） 挖掘出来的信息是可理解的和可用的。聚类分析主要在以下几个方面应用：（1） 可以作为其他算法的预处理步骤（2） 可以作为一个独立的工具来获得数据的分布情况（3） 可以完成孤立点挖掘，用来预示欺诈行为的存在。基本概念聚类分析的输入可以用一组有序对（X,s）或(X,d)表示，这里X表示一组样本，s和d分别是度量样本间相似度或相异度(距离)的标准。聚类系统的输出是一个分区C=C1,C2,Ck，其中Ci是X的子集，成为类。类的特征可以用如下几种方式表示：2 通过类的中心或类的边界点表示一个类。2 使用聚类树中的结点图形化地表示一个类。2 使用样本属性的逻辑表达式表示类。聚类分析的方法：

21、聚类分析有很多大量的、经典的算法，比如k-平均、k-中心点、PAM、CLARANS, BIRTH,CURE,OPTICS,DBSCAN,STING,CLIQUE,WAVECLUSTER等。度量标准： 一个聚类分析过程的质量取决于对度量标准的选择，因此必须仔细选择度量标准。（1）距离函数2 明可夫斯基距离：x, y 是相应的特征，n是特征的维数。则明可夫斯基距离d(x,y)表示如下，r=2为欧式距离。2 二次型距离：2 余弦距离2 二元特征样本的距离假定x和y分别是n维特征，xi和yi分别表示每维特征，且xi和yi的取值为二元类型数值0，1。则x和y的距离定义的常规方法是先求如下几个参数，然后采

22、用SMC、Jaccard系数或Rao系数。a是样本x和y中满足 xi=yi=1的二元类型属性的数量b是样本x和y中满足xi=1,yi=0的二元类型属性的数量c是样本x和y中满足xi=0,yi=1的二元类型属性的数量d是样本x和y中满足xi=yi=0的二元类型属性的数量则简单匹配系数（Simple Match Coefficient, SMC）的公式如下：Jaccard系数：Rao系数：（2）类间距离设有两个类Ca和Cb，分别有m和n个元素，他们的中心分别为ra和rb。设元素x属于Ca，y属于Cb，这两个元素之间的距离记为d(x,y),类间距记为D(Ca,Cb)。2 最短距离法：类中最靠近的两个

23、元素的距离为类间距离：2 最长距离法：类中最远的两个元素的距离为类间距离2 重心法：类中两个中心点间的距离为类间距离。因此就需要定义类中心，类中心的定义：2 类平均法：两个类中任意两个元素之间的距离相加后取平均值。2 离差平方和：用到了类直径，类直径反应了类中各元素的差异，可以定义为各元素到类中心的欧式距离之和，这样就得到了Ca,Cb,Ca+b的直径分别为ra,rb,ra+b,那么类间距为ra+b ra - rb。划分聚类方法层划分聚类算法的基本思想给定一个有n个对象的数据集，划分聚类技术将构造数据k个划分，每一个划分就代表一个簇，k=n。 这k个划分满足下列条件：2 每个簇至少包含一个对象2

24、 每个对象属于且仅属于一个簇对于给定的k，算法首先给出一个初始的划分方法，以后通过迭代来改变划分，是得每一次改进之后的划分方案都较前一次更好。所谓更好的标准时是：同一个簇中的对象越接近越好，不同簇之间的对象越远越好。目标是最小化所有对象与其参考点之间的相异度之和。这里的远近或者相异度/相似度实际上是聚类的评价函数。评价函数：评价函数应该考虑里两个方面：每个簇应该是紧凑的，每个簇间的距离应该尽可能地远。这就需要观察两个值：类内差异和类间差异。类内差异可以采用多种距离函数来定义，最简单的就是计算类内的每一个点到类中心的距离的平方和，一般用w(C)表示。类间差异定义为类中心之间的距离，一般用b(C)

25、表示。K-means算法首先随机地选择k个对象，每个对象处划地代表了一个簇的平均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。准则如下：准则函数其实就是所有对象的平法误差的总和，这个准则试图试生成的结果簇尽可能地紧凑和独立。算法描述：输入：簇的数目k和包含n个对象的数据库输出：k个簇，是平方误差准则最小（1） 任意选择k个对象作为初始的簇中心（2） Repeat（3） 根据簇中对象的平均值，将每个对象赋给最类似的簇（4） 更新簇的平均值，即计算每个对象簇中对象的平均值（5） 计算准则函数（6） Until

26、E不再明显地发生变化算法性能：优点：（1） 简单、快速（2） 对大数据集，是可伸缩和高效率的。（3） 算法尝试找出使平方误差函数值最小的k个划分。当结果簇是密集的，而簇与簇之间区别明显的时候，效果较好。缺点：（1） 不适合分类属性的数据（2） 必须给定k，对初始值k比较敏感（3） 不适合发现非凸面形状的簇，对噪声和孤立点数据是敏感的。改进措施：（1）k-模算法，可以对离散属性计算（2）不采用簇中的平均值作为参考点，而选用簇中位置最靠近中心的对象。这样可以避免孤立点的影响。PAM算法（也称k-中心点算法）PAM算法需用簇中位置最靠近中心的对象作为代表对象，然后反复地用非代表对象来代替代表对象，试

27、图找出更好的中心点，在反复迭代的过程中，所有可能的“对象对”被分析，每个对中的一个对象是中心点，另一个是非代表对象。一个对象代表可以被最大平方-误差值减少的对象代替。一个非代表对象Oh是否是当前一个代表对象Oi的一个好的替代，对于每个非中心点对象Oj，有以下四种情况需要考虑：（1） Oj当前隶属于Oi，如果Oi被Oh替换，且Oj离另一个Om最近，i！=m，那么Oj被分配给Om，则替换代价为Cjih=d(j,m)-d(j,i)。（2） Oj当前隶属于Oi，如果Oi被Oh替换，且Oj离Oh最近，那么Oj被分配给Oh，则替换代价为Cjih=d(j,h)-d(j,i)。（3） Oj当前隶属于Om，m！

28、=i，如果Oi被Oh替换，且Oj仍然离Om最近，那么Oj被分配给Om，则替换代价为Cjih=0。（4） Oj当前隶属于Om，m！=i，如果Oi被Oh替换，且Oj离Oh最近，那么Oj被分配给Oh，则替换代价为Cjih=d(j,h)-d(j,m)。然后计算如果 为负，则可以替换。算法描述：输入：簇的数目k和包含n个对象的数据库输出：k个簇，使得所有对象与其最近中心点的相异度总和最小（1） 任意选择k个对象作为初始的簇中心点（2） Repeat（3） 指派每个剩余对象给离他最近的中心点所表示的簇（4） Repeat（5） 选择一个未被选择的中心点Oi（6） Repeat（7） 选择一个未被选择过的非

29、中心点对象Oh（8） 计算用Oh代替Oi的总代价并记录在S中（9） Until 所有非中心点都被选择过（10） Until 所有的中心点都被选择过（11） If 在S中的所有非中心点代替所有中心点后的计算出总代价有小于0的存在，then找出S中的用非中心点替代中心点后代价最小的一个，并用该非中心点替代对应的中心点，形成一个新的k个中心点的集合；（12） Until 没有再发生簇的重新分配，即所有的S都大于0.算法性能：(1) 消除了k-平均算法对于孤立点的敏感性。(2) K-中心点方法比k-平均算法的代价要高(3) 必须指定k(4) PAM对小的数据集非常有效，对大数据集效率不高。特别是n和k都很大的时候。