厦门大学应用多元统计分析第章聚类分析.ppt

《厦门大学应用多元统计分析第章聚类分析.ppt》由会员分享，可在线阅读，更多相关《厦门大学应用多元统计分析第章聚类分析.ppt（96页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、厦门大学应用多元统计分析第章聚类分析 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望第一节第一节 引言引言n“物以类聚，人以群分物以类聚，人以群分”。对事物进行分类，是人们认识事。对事物进行分类，是人们认识事物的出发点，也是人们认识世界的一种重要方法。因此，分物的出发点，也是人们认识世界的一种重要方法。因此，分类学已成为人们认识世界的一门基础科学。类学已成为人们认识世界的一门基础科学。n在生物、经济、社会、人口等领域的研究中，存在着大量量在生物、经济、社会、人口等

2、领域的研究中，存在着大量量化分类研究。例如：在生物学中，为了研究生物的演变，生化分类研究。例如：在生物学中，为了研究生物的演变，生物学家需要根据各种生物不同的特征对生物进行分类。在经物学家需要根据各种生物不同的特征对生物进行分类。在经济研究中，为了研究不同地区城镇居民生活中的收入和消费济研究中，为了研究不同地区城镇居民生活中的收入和消费情况，往往需要划分不同的类型去研究。在地质学中，为了情况，往往需要划分不同的类型去研究。在地质学中，为了研究矿物勘探，需要根据各种矿石的化学和物理性质和所含研究矿物勘探，需要根据各种矿石的化学和物理性质和所含化学成分把它们归于不同的矿石类。在人口学研究中，需要化

3、学成分把它们归于不同的矿石类。在人口学研究中，需要构造人口生育分类模式、人口死亡分类状况，以此来研究人构造人口生育分类模式、人口死亡分类状况，以此来研究人口的生育和死亡规律。口的生育和死亡规律。n但历史上这些分类方法多半是人们主要依靠经验作定性分类，但历史上这些分类方法多半是人们主要依靠经验作定性分类，致使许多分类带有主观性和任意性，不能很好地揭示客观事致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别与联系；特别是对于多因素、多指标的分物内在的本质差别与联系；特别是对于多因素、多指标的分类问题，定性分类的准确性不好把握。为了克服定性分类存类问题，定性分类的准确性不好把握。为

4、了克服定性分类存在的不足，人们把数学方法引入分类中，形成了数值分类学。在的不足，人们把数学方法引入分类中，形成了数值分类学。后来随着多元统计分析的发展，从数值分类学中逐渐分离出后来随着多元统计分析的发展，从数值分类学中逐渐分离出了聚类分析方法。随着计算机技术的不断发展，利用数学方了聚类分析方法。随着计算机技术的不断发展，利用数学方法研究分类不仅非常必要而且完全可能，因此近年来，聚类法研究分类不仅非常必要而且完全可能，因此近年来，聚类分析的理论和应用得到了迅速的发展。分析的理论和应用得到了迅速的发展。n聚类分析就是分析如何对样品（或变量）进行量化分类的问聚类分析就是分析如何对样品（或变量）进行量

5、化分类的问题。通常聚类分析分为题。通常聚类分析分为Q型聚类和型聚类和R型聚类。型聚类。Q型聚类是对样型聚类是对样品进行分类处理，品进行分类处理，R型聚类是对变量进行分类处理。型聚类是对变量进行分类处理。第二节第二节 相似性的量度相似性的量度 一一 样品相似性的度量样品相似性的度量 二二 变量相似性的度量变量相似性的度量 一、样品相似性的度量一、样品相似性的度量n在聚类之前，要首先分析样品间的相似性。在聚类之前，要首先分析样品间的相似性。Q型聚类分析，型聚类分析，常用距离来测度样品之间的相似程度。每个样品有常用距离来测度样品之间的相似程度。每个样品有p个指标个指标（变量）从不同方面描述其性质，形

6、成一个（变量）从不同方面描述其性质，形成一个p维的向量。如维的向量。如果把果把n个样品看成个样品看成p维空间中的维空间中的n个点，则两个样品间相似程个点，则两个样品间相似程度就可用度就可用p维空间中的两点距离公式来度量。两点距离公式维空间中的两点距离公式来度量。两点距离公式可以从不同角度进行定义，令可以从不同角度进行定义，令dij 表示样品表示样品Xi与与Xj的距离，存的距离，存在以下的距离公式：在以下的距离公式：1明考夫斯基距离明考夫斯基距离 (5.1)明考夫斯基距离简称明氏距离，按的取值不同又可分成：明考夫斯基距离简称明氏距离，按的取值不同又可分成：n欧氏距离是常用的距离，大家都比较熟悉，

7、但是前面已经提欧氏距离是常用的距离，大家都比较熟悉，但是前面已经提到，在解决多元数据的分析问题时，欧氏距离就显示出了它到，在解决多元数据的分析问题时，欧氏距离就显示出了它的不足之处。一是它没有考虑到总体的变异对的不足之处。一是它没有考虑到总体的变异对“距离距离”远近远近的影响，显然一个变异程度大的总体可能与更多样品近些，的影响，显然一个变异程度大的总体可能与更多样品近些，既使它们的欧氏距离不一定最近；另外，欧氏距离受变量的既使它们的欧氏距离不一定最近；另外，欧氏距离受变量的量纲影响，这对多元数据的处理是不利的。为了克服这方面量纲影响，这对多元数据的处理是不利的。为了克服这方面的不足，可用的不足

8、，可用“马氏距离马氏距离”的概念。的概念。2马氏距离马氏距离 设设Xi与与Xj是来自均值向量为是来自均值向量为 ，协方差为，协方差为=（0）的总体的总体G中的中的p维样品，则两个样品间的马氏距离为维样品，则两个样品间的马氏距离为 (5.5)马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种距离的主要不同就是它考虑了观测变量之间的相关性。如果距离的主要不同就是它考虑了观测变量之间的相关性。如果各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒

9、数作为权则马氏距离就退化为用各个观测指标的标准差的倒数作为权数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异性，不再受各指标量纲的影响。将原始数据作线性变换后，性，不再受各指标量纲的影响。将原始数据作线性变换后，马氏距离不变。马氏距离不变。3兰氏距离兰氏距离 (5.6)它仅适用于一切它仅适用于一切Xij0的情况，这个距离也可以克服各个指标的情况，这个距离也可以克服各个指标之间量纲的影响。这是一个自身标准化的量，由于它对大的之间量纲的影响。这是一个自身标准化的量，由于它对大的奇异值不敏感，它特别适合于高度偏倚的数据。虽然这个距奇异值不敏感，

10、它特别适合于高度偏倚的数据。虽然这个距离有助于克服明氏距离的第一个缺点，但它也没有考虑指标离有助于克服明氏距离的第一个缺点，但它也没有考虑指标之间的相关性。之间的相关性。4距离选择的原则距离选择的原则n 一般说来，同一批数据采用不同的距离公式，会得到不同的一般说来，同一批数据采用不同的距离公式，会得到不同的分类结果。产生不同结果的原因，主要是由于不同的距离公分类结果。产生不同结果的原因，主要是由于不同的距离公式的侧重点和实际意义都有不同。因此我们在进行聚类分析式的侧重点和实际意义都有不同。因此我们在进行聚类分析时，应注意距离公式的选择。通常选择距离公式应注意遵循时，应注意距离公式的选择。通常选

11、择距离公式应注意遵循以下的基本原则：以下的基本原则：（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作用。用。（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就可采用欧氏距离。可采用欧氏距离。（3）要考虑研究对象的特点和计算量的大小。样

12、品间距离公式的选）要考虑研究对象的特点和计算量的大小。样品间距离公式的选择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多选的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最合适的距离测度方法。析，以确定最合适的距离测度方法。二、变量相似性的度量二、变量相似性的度量n 多元数据中的变量表现为向量形式，在几何上可用多维空间多元数据中的变量表现

13、为向量形式，在几何上可用多维空间中的一个有向线段表示。在对多元数据进行分析时，相对于中的一个有向线段表示。在对多元数据进行分析时，相对于数据的大小，我们更多地对变量的变化趋势或方向感兴趣。数据的大小，我们更多地对变量的变化趋势或方向感兴趣。因此，变量间的相似性，我们可以从它们的方向趋同性或因此，变量间的相似性，我们可以从它们的方向趋同性或“相关性相关性”进行考察，从而得到进行考察，从而得到“夹角余弦法夹角余弦法”和和“相关系数相关系数”两种度量方法。两种度量方法。1、夹角余弦、夹角余弦两变量两变量Xi与与Xj看作看作p维空间的两个向量，这两个向量间的夹角维空间的两个向量，这两个向量间的夹角余弦

14、可用下式进行计算余弦可用下式进行计算 (5.7)显然，显然，cos ij 1。2相关系数相关系数相关系数经常用来度量变量间的相似性。变量相关系数经常用来度量变量间的相似性。变量Xi与与Xj的相关的相关系数定义为系数定义为 (5.8)显然也有，显然也有，rij 1。n无论是夹角余弦还是相关系数，它们的绝对值都小于无论是夹角余弦还是相关系数，它们的绝对值都小于1，作，作为变量近似性的度量工具，我们把它们统记为为变量近似性的度量工具，我们把它们统记为cij。当。当 cij =1时，说明变量时，说明变量Xi与与Xj完全相似；当完全相似；当 cij 近似于近似于1时，说时，说明变量明变量Xi与与Xj非常

15、密切；当非常密切；当 cij =0时，说明变量时，说明变量Xi与与Xj完完全不一样；当全不一样；当 cij 近似于近似于0时，说明变量时，说明变量Xi与与Xj差别很大。差别很大。据此，我们把比较相似的变量聚为一类，把不太相似的变量据此，我们把比较相似的变量聚为一类，把不太相似的变量归到不同的类内。归到不同的类内。n在实际聚类过程中，为了计算方便，我们把变量间相似性的在实际聚类过程中，为了计算方便，我们把变量间相似性的度量公式作一个变换为度量公式作一个变换为 dij=1 cij (5.9)或者或者 dij2=1 cij2 (5.10)用表示变量间的距离远近，小则与先聚成一类，这比较符合用表示变量

16、间的距离远近，小则与先聚成一类，这比较符合人们的一般思维习惯。人们的一般思维习惯。第三节第三节 系统聚类分析法系统聚类分析法 一一 系统聚类的基本思想系统聚类的基本思想 二二 类间距离与系统聚类法类间距离与系统聚类法 三三 类间距离的统一性类间距离的统一性 一、系统聚类的基本思想一、系统聚类的基本思想n系统聚类的基本思想是：距离相近的样品（或变量）先聚成系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。系统聚类过程是：假设总（或变量）总能聚到合适的类中。系统聚类过

17、程是：假设总共有共有n个样品（或变量），第一步将每个样品（或变量）独个样品（或变量），第一步将每个样品（或变量）独自聚成一类，共有自聚成一类，共有n类；第二步根据所确定的样品（或变量）类；第二步根据所确定的样品（或变量）“距离距离”公式，把距离较近的两个样品（或变量）聚合为一公式，把距离较近的两个样品（或变量）聚合为一类，其它的样品（或变量）仍各自聚为一类，共聚成类，其它的样品（或变量）仍各自聚为一类，共聚成n 1类；类；第三步将第三步将“距离距离”最近的两个类进一步聚成一类，共聚成最近的两个类进一步聚成一类，共聚成n 2类；类；，以上步骤一直进行下去，最后将所有的样品，以上步骤一直进行下去，

18、最后将所有的样品（或变量）全聚成一类。为了直观地反映以上的系统聚类过（或变量）全聚成一类。为了直观地反映以上的系统聚类过程，可以把整个分类系统画成一张谱系图。所以有时系统聚程，可以把整个分类系统画成一张谱系图。所以有时系统聚类也称为谱系分析。除系统聚类法外，还有有序聚类法、动类也称为谱系分析。除系统聚类法外，还有有序聚类法、动态聚类法、图论聚类法、模糊聚类法等，限于篇幅，我们只态聚类法、图论聚类法、模糊聚类法等，限于篇幅，我们只介绍系统聚类方法。介绍系统聚类方法。二、类间距离与系统聚类法二、类间距离与系统聚类法n在进行系统聚类之前，我们首先要定义类与类之间的距离，在进行系统聚类之前，我们首先要

19、定义类与类之间的距离，由类间距离定义的不同产生了不同的系统聚类法。常用的类由类间距离定义的不同产生了不同的系统聚类法。常用的类间距离定义有间距离定义有8种之多，与之相应的系统聚类法也有种之多，与之相应的系统聚类法也有8种，分种，分别为最短距离法、最长距离法、中间距离法、重心法、类平别为最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法和离差平方和法。它们的归类均法、可变类平均法、可变法和离差平方和法。它们的归类步骤基本上是一致的，主要差异是类间距离的计算方法不同。步骤基本上是一致的，主要差异是类间距离的计算方法不同。以下用以下用dij表示样品表示样品Xi与与Xj之间距离

20、，用之间距离，用Dij表示类表示类Gi与与Gj之间的距离。之间的距离。1.最短距离法最短距离法定义类与之间的距离为两类最近样品的距离，即为定义类与之间的距离为两类最近样品的距离，即为 (5.11)设类与合并成一个新类记为，则任一类与的距离为设类与合并成一个新类记为，则任一类与的距离为 (5.12)n最短距离法进行聚类分析的步骤如下：最短距离法进行聚类分析的步骤如下：（1）定义样品之间距离，计算样品的两两距离，得一距离）定义样品之间距离，计算样品的两两距离，得一距离 阵记为阵记为D（0），开始每个样品自成一类，显然这时，开始每个样品自成一类，显然这时Dij=dij。（2）找出距离最小元素，设为）

21、找出距离最小元素，设为Dpq，则将，则将Gp和和Gq合并成一个合并成一个 新类，记为新类，记为Gr，即，即Gr=Gp，Gq。（3）按（）按（5.12）计算新类与其它类的距离。）计算新类与其它类的距离。（4）重复（）重复（2）、（）、（3）两步，直到所有元素。并成一类为）两步，直到所有元素。并成一类为 止。如果某一步距离最小的元素不止一个，则对应这些止。如果某一步距离最小的元素不止一个，则对应这些 最小元素的类可以同时合并。最小元素的类可以同时合并。n【例【例5.1】设有六个样品，每个只测量一个指标，分别是】设有六个样品，每个只测量一个指标，分别是1，2，5，7，9，10，试用最短距离法将它们分

22、类。，试用最短距离法将它们分类。（1）样品采用绝对值距离，计算样品间的距离阵）样品采用绝对值距离，计算样品间的距离阵D（0），见，见表表5.1表表5.1（2）D（0）中最小的元素是中最小的元素是D12D561，于是将，于是将G1和和G2合合并成并成G7，G5和和G6合并成合并成G8，并利用（，并利用（5.12）式计算新类与其）式计算新类与其它类的距离它类的距离D（1），见表，见表5.2表表5.2 （3）在）在D（1）中最小值是中最小值是D34D482，由于，由于G4与与G3合并，合并，又与又与G8合并，因此合并，因此G3、G4、G8合并成一个新类合并成一个新类G9，其与其，其与其它类的距离它类

23、的距离D（2），见表，见表5.3表表5.3（4）最后将）最后将G7和和G9合并成合并成G10，这时所有的六个样品聚为一，这时所有的六个样品聚为一类，其过程终止。类，其过程终止。上述聚类的可视化过程见图上述聚类的可视化过程见图5.1所示，横坐标的刻度表示并类所示，横坐标的刻度表示并类的距离。这里我们应该注意，聚类的个数要以实际情况所定，的距离。这里我们应该注意，聚类的个数要以实际情况所定，其详细内容将在后面讨论。其详细内容将在后面讨论。图图5.1 最短距离聚类法的过程最短距离聚类法的过程n再找距离最小两类并类，直至所有的样品全归为一类为止。再找距离最小两类并类，直至所有的样品全归为一类为止。可以

24、看出最长距离法与最短距离法只有两点不同：可以看出最长距离法与最短距离法只有两点不同：一是类与类之间的距离定义不同；一是类与类之间的距离定义不同；另一是计算新类与其它类的距离所用的公式不同。另一是计算新类与其它类的距离所用的公式不同。3.中间距离法中间距离法最短、最长距离定义表示都是极端情况，我们定义类间距离最短、最长距离定义表示都是极端情况，我们定义类间距离可以既不采用两类之间最近的距离也不采用两类之间最远的可以既不采用两类之间最近的距离也不采用两类之间最远的距离，而是采用介于两者之间的距离，称为中间距离法。距离，而是采用介于两者之间的距离，称为中间距离法。中间距离将类中间距离将类Gp与与Gq

25、类合并为类类合并为类Gr，则任意的类，则任意的类Gk和和Gr的距的距离公式为离公式为 (14 0)(5.15)设设DkqDkp，如果采用最短距离法，则，如果采用最短距离法，则Dkr=Dkp，如果采用，如果采用最长距离法，则最长距离法，则Dkr=Dkq。如图。如图5.2所示，所示，(5.15)式就是取它式就是取它们（最长距离与最短距离）的中间一点作为计算们（最长距离与最短距离）的中间一点作为计算Dkr的根据。的根据。n特别当特别当 =14，它表示取中间点算距离，公式为，它表示取中间点算距离，公式为 (5.16)图图5.2 中间距离法中间距离法n n n n【例【例5.2】针对例】针对例5.1的数

26、据，试用重心法将它们聚类。的数据，试用重心法将它们聚类。（1）样品采用欧氏距离，计算样品间的平方距离阵）样品采用欧氏距离，计算样品间的平方距离阵D2（0），见，见表表5.4所示。所示。表表5.4（2）D2（0）中最小的元素是中最小的元素是D212D2561，于是将，于是将G1和和G2合合并成并成G7，G5和和G6合并成合并成G8，并利用（，并利用（5.18）式计算新类与）式计算新类与其它类的距离得到距离阵其它类的距离得到距离阵D2（1），见表，见表5.5：其中，其中，其它结果类似可以求得其它结果类似可以求得（3）在）在D2（1）中最小值是中最小值是D2344，那么，那么G3与与G4合并一个新合

27、并一个新类类G9，其与与其它类的距离，其与与其它类的距离D2（2），见表，见表5.6：表表5.6（4）在中最小值是）在中最小值是12.5，那么与合并一个新类，其与与，那么与合并一个新类，其与与其它类的距离，见表其它类的距离，见表5.7：表表5.7（5）最后将）最后将G7和和G10合并成合并成G11，这时所有的六个样品聚为一类，这时所有的六个样品聚为一类，其过程终止。其过程终止。上述重心法聚类的可视化过程见图上述重心法聚类的可视化过程见图5.3所示，横坐标的刻度表所示，横坐标的刻度表示并类的距离。示并类的距离。图图5.3 重心聚类法的过程重心聚类法的过程6.可变类平均法可变类平均法由于类平均法中

28、没有反映出由于类平均法中没有反映出Gp和和Gq之间的距离之间的距离Dpq的影响，的影响，因此将类平均法进一步推广，如果将因此将类平均法进一步推广，如果将Gp和和Gq合并为新类合并为新类Gr，类，类Gk与新并类与新并类Gr的距离公式为：的距离公式为：（5.22）其中其中 是可变的且是可变的且 1，称这种系统聚类法为可变类平均法。，称这种系统聚类法为可变类平均法。8.离差平方和法离差平方和法该方法是该方法是Ward提出来的，所以又称为提出来的，所以又称为Ward法。该方法的基法。该方法的基本思想来自于方差分析，如果分类正确，同类样品的离差平本思想来自于方差分析，如果分类正确，同类样品的离差平方和应

29、当较小，类与类的离差平方和较大。具体做法是先将方和应当较小，类与类的离差平方和较大。具体做法是先将n个样品各自成一类，然后每次缩小一类，每缩小一类，离个样品各自成一类，然后每次缩小一类，每缩小一类，离差平方和就要增大，选择使方差增加最小的两类合并，直到差平方和就要增大，选择使方差增加最小的两类合并，直到所有的样品归为一类为止。所有的样品归为一类为止。设将设将n个样品分成个样品分成k类类G1，G2，Gk，用，用Xit表示表示Gt中的第中的第I个样品，个样品，nt表示表示Gt中样品的个数，中样品的个数，是是Gt的重心，则的重心，则Gt的样品的样品离差平方和为离差平方和为n n n这种系统聚类法称为

30、离差平方和法或这种系统聚类法称为离差平方和法或Ward方法。下面论证方法。下面论证离差平方和法的距离递推（离差平方和法的距离递推（5.26）式。）式。n由于由于n 三、类间距离的统一性三、类间距离的统一性n上述八种系统聚类法的步骤完全一样，只是距离的递推公式上述八种系统聚类法的步骤完全一样，只是距离的递推公式不同。兰斯（不同。兰斯（Lance）和威廉姆斯（）和威廉姆斯（Williams）于）于1967年给年给出了一个统一的公式。出了一个统一的公式。(5.28)其中其中ap、aq、是参数，不同的系统聚类法，它们取不是参数，不同的系统聚类法，它们取不同的数，详见表同的数，详见表5.8。n这里应该注

31、意，不同的聚类方法结果不一定完全相同，一般这里应该注意，不同的聚类方法结果不一定完全相同，一般只是大致相似。如果有很大的差异，则应该仔细考查，找到只是大致相似。如果有很大的差异，则应该仔细考查，找到问题所在；另外，可将聚类结果与实际问题对照，看哪一个问题所在；另外，可将聚类结果与实际问题对照，看哪一个结果更符合经验。结果更符合经验。表表5.8 系统聚类法参数表系统聚类法参数表第四节第四节 K均值聚类分析均值聚类分析 n系统聚类法需要计算出不同样品或变量的距离，还要在聚类系统聚类法需要计算出不同样品或变量的距离，还要在聚类的每一步都要计算的每一步都要计算“类间距离类间距离”，相应的计算量自然比较

32、大；，相应的计算量自然比较大；特别是当样本的容量很大时，需要占据非常大的计算机内存特别是当样本的容量很大时，需要占据非常大的计算机内存空间，这给应用带来一定的困难。而空间，这给应用带来一定的困难。而K均值法是一种快速均值法是一种快速聚类法，采用该方法得到的结果比较简单易懂，对计算机的聚类法，采用该方法得到的结果比较简单易懂，对计算机的性能要求不高，因此应用也比较广泛。性能要求不高，因此应用也比较广泛。nK均值法是麦奎因（均值法是麦奎因（MacQueen，1967）提出的，这种算法）提出的，这种算法的基本思想是将每一个样品分配给最近中心（均值）的类中，的基本思想是将每一个样品分配给最近中心（均值

33、）的类中，具体的算法至少包括以下三个步骤：具体的算法至少包括以下三个步骤：1将所有的样品分成将所有的样品分成K个初始类；个初始类；2通过欧氏距离将某个样品划入离中心最近的类中，并对通过欧氏距离将某个样品划入离中心最近的类中，并对获得样品与失去样品的类，重新计算中心坐标；获得样品与失去样品的类，重新计算中心坐标；3重复步骤重复步骤2，直到所有的样品都不能再分配时为止。，直到所有的样品都不能再分配时为止。nK均值法和系统聚类法一样，都是以距离的远近亲疏为标准均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的，但是两者的不同之处也是明显的：系统聚类对进行聚类的，但是两者的不同之处也是明显的

34、：系统聚类对不同的类数产生一系列的聚类结果，而不同的类数产生一系列的聚类结果，而K均值法只能产生均值法只能产生指定类数的聚类结果。具体类数的确定，离不开实践经验的指定类数的聚类结果。具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为聚类，其结果作为K均值法确定类数的参考。均值法确定类数的参考。n下面通过一个具体问题说明下面通过一个具体问题说明K均值法的计算过程。均值法的计算过程。n【例【例5.3】假定我们对】假定我们对A、B、C、D四个样品分别测量两个变四个样品分别测量两个变量和得到结果见表量

35、和得到结果见表5.9。试将以上的样品聚成两类。试将以上的样品聚成两类。表表5.9 样品测量结果样品测量结果第一步：按要求取第一步：按要求取K=2，为了实施均值法聚类，我们将这些，为了实施均值法聚类，我们将这些样品随意分成两类，比如（样品随意分成两类，比如（A、B）和（）和（C、D），然后计算），然后计算这两个聚类的中心坐标，见表这两个聚类的中心坐标，见表5.10所示。所示。表表5.10中的中心坐标是通过原始数据计算得来的，比如（中的中心坐标是通过原始数据计算得来的，比如（A、B）类的，）类的，等等。等等。表表5.10 中心坐标中心坐标第二步：计算某个样品到各类中心的欧氏平方距离，然后将第二步：

36、计算某个样品到各类中心的欧氏平方距离，然后将该样品分配给最近的一类。对于样品有变动的类，重新计算该样品分配给最近的一类。对于样品有变动的类，重新计算它们的中心坐标，为下一步聚类做准备。先计算它们的中心坐标，为下一步聚类做准备。先计算A到两个类到两个类的平方距离：的平方距离：由于由于A到（到（A、B）的距离小于到（）的距离小于到（C、D）的距离，因此）的距离，因此A不不用重新分配。计算用重新分配。计算B到两类的平方距离：到两类的平方距离：n由于由于B到（到（A、B）的距离大于到（）的距离大于到（C、D）的距离，因此）的距离，因此B要要分配给（分配给（C、D）类，得到新的聚类是（）类，得到新的聚类

37、是（A）和（）和（B、C、D）。）。更新中心坐标如表更新中心坐标如表5.11所示。所示。表表5.11 更新后的中心坐标更新后的中心坐标 第三步：再次检查每个样品，以决定是否需要重新分类。计第三步：再次检查每个样品，以决定是否需要重新分类。计算各样品到各中心的距离平方，得结果见表算各样品到各中心的距离平方，得结果见表5.12。n到现在为止，每个样品都已经分配给距离中心最近的类，到现在为止，每个样品都已经分配给距离中心最近的类，因此聚类过程到此结束。最终得到因此聚类过程到此结束。最终得到K=2的聚类结果是的聚类结果是A独独自成一类，自成一类，B、C、D聚成一类。聚成一类。表表5.12 样品聚类结果

38、样品聚类结果第五节第五节 有序样品的聚类分析法有序样品的聚类分析法 一一 有序样品可能的分类数目有序样品可能的分类数目 二二 费希尔最优求解法费希尔最优求解法三三 一个典型例子一个典型例子n以上的系统聚类和以上的系统聚类和K均值聚类中，样品的地位是彼此独立均值聚类中，样品的地位是彼此独立的，没有考虑样品的次序。但在实际应用中，有时样品的次的，没有考虑样品的次序。但在实际应用中，有时样品的次序是不能变动的，这就产生了有序样品的聚类分析问题。例序是不能变动的，这就产生了有序样品的聚类分析问题。例如对动植物按生长的年龄段进行分类，年龄的顺序是不能改如对动植物按生长的年龄段进行分类，年龄的顺序是不能改

39、变的，否则就没有实际意义了；又例如在地质勘探中，需要变的，否则就没有实际意义了；又例如在地质勘探中，需要通过岩心了解地层结构，此时按深度顺序取样，样品的次序通过岩心了解地层结构，此时按深度顺序取样，样品的次序也不能打乱。也不能打乱。n如果用如果用X（1），X（2），X（n）表示表示n个有序的样品，则每个有序的样品，则每一类必须是这样的形式，即一类必须是这样的形式，即X（i），X（i+1)，X（j），其，其中中1 r n，且，且j n，简记为，简记为Gi=i，i+1，j。在同一。在同一类中的样品是次序相邻的。这类问题称为有序样品的聚类分类中的样品是次序相邻的。这类问题称为有序样品的聚类分析。析。

40、一、有序样品可能的分类数目一、有序样品可能的分类数目 nn个有序样品分成个有序样品分成k类，则一切可能的分法有类，则一切可能的分法有 种。种。n实际上，实际上，n个有序样品共有（个有序样品共有（n 1）个间隔，分成个间隔，分成k类相当于类相当于在这（在这（n 1）个间隔中插入个间隔中插入k 1根根“棍子棍子”。由于不考虑棍。由于不考虑棍子的插入顺序，是一个组合问题，共有子的插入顺序，是一个组合问题，共有 种插法。种插法。图图5.4 有序样品的分类法有序样品的分类法n这就是这就是n个有序样品分成个有序样品分成k类的一切可能分法。因此，对于有类的一切可能分法。因此，对于有限的限的n和和k，有序样品

41、的所有可能分类结果是有限的，可以在，有序样品的所有可能分类结果是有限的，可以在某种损失函数意义下，求得最优解。所以有序样品聚类分析某种损失函数意义下，求得最优解。所以有序样品聚类分析又称为最优分割，该算法是费希尔（又称为最优分割，该算法是费希尔（Fisher）最先提出来的，）最先提出来的，故也称之为费希尔最优求解法。故也称之为费希尔最优求解法。二、费希尔最优求解法二、费希尔最优求解法 n n这里需要注意，若要寻找将这里需要注意，若要寻找将n个样品分为个样品分为k类的最优分割，则类的最优分割，则对于任意的对于任意的j（k j n）,先将前面先将前面j 1个样品最优分割为个样品最优分割为k 1类，

42、得到类，得到p（j 1，k 1），否则从），否则从j到到n这最后一类就不可这最后一类就不可能构成能构成k类的最优分割，参见图类的最优分割，参见图5.6。再考虑使。再考虑使Lb（n，k）最小的最小的j，得到，得到p（n，k）。）。n因此我们得到费希尔最优求解法的递推公式为因此我们得到费希尔最优求解法的递推公式为 （5.23）图图5.6 最优分割最优分割n n n 三、一个典型例子三、一个典型例子n【例【例5.4】为了了解儿童的生长发育规律，今随机抽样统计了】为了了解儿童的生长发育规律，今随机抽样统计了男孩从出生到男孩从出生到11岁每年平均增长的重量数据表岁每年平均增长的重量数据表5.13，试问男

43、，试问男孩发育可分为几个阶段？孩发育可分为几个阶段？n在分析这是一个有序样品的聚类问题时，我们通过图形可以在分析这是一个有序样品的聚类问题时，我们通过图形可以看到男孩增重随年龄顺序变化的规律，从图看到男孩增重随年龄顺序变化的规律，从图5.6中发现男孩发中发现男孩发育确实可以分为几个阶段。育确实可以分为几个阶段。表表5.13 111岁儿童每年平均增长的重量岁儿童每年平均增长的重量图图5.7 儿童成长阶段分析儿童成长阶段分析 n下面通过有序样品的聚类分析确定男孩发育分成几个阶段较下面通过有序样品的聚类分析确定男孩发育分成几个阶段较合适。步骤如下：合适。步骤如下：表表5.14 直径直径 D（i，j）

44、n （3）分类个数的确定。如果能从生理角度事先确定）分类个数的确定。如果能从生理角度事先确定k当然最当然最好；有时不能事先确定好；有时不能事先确定k时，可以从时，可以从Lp（l，k）随随k的变化的变化趋势图中找到拐点处，作为确定趋势图中找到拐点处，作为确定k的根据。当曲线拐点很平的根据。当曲线拐点很平缓时，可选择的缓时，可选择的k很多，这时需要用其它的办法来确定，比很多，这时需要用其它的办法来确定，比如均方比和特征根法，限于篇幅此略，有兴趣的读者可以查如均方比和特征根法，限于篇幅此略，有兴趣的读者可以查看其它资料。看其它资料。n本例从表本例从表5.15中的最后一行可以看出中的最后一行可以看出k

45、=3，4处有拐点，即分处有拐点，即分成成3类或类或4类都是较合适的，从图类都是较合适的，从图5.8中可以更明显看出这一点。中可以更明显看出这一点。第六节第六节 实例分析与计算机实现实例分析与计算机实现一一 在在SPSS中利用系统聚类法进行聚类分析中利用系统聚类法进行聚类分析 二二 在在SPSS中利用中利用K均值法进行聚类分析均值法进行聚类分析 一、在一、在SPSS中利用系统聚类法进行中利用系统聚类法进行 聚类分析聚类分析n设有设有20个土壤样品分别对个土壤样品分别对5个变量的观测数据如表个变量的观测数据如表5.16所示，所示，试利用系统聚类法对其进行样品聚类分析。试利用系统聚类法对其进行样品聚

46、类分析。表表5.16 土壤样本的观测数据土壤样本的观测数据（一）操作步骤（一）操作步骤1.在在SPSS窗口中选择窗口中选择AnalyzeClassifyHierachical Cluster，调出系统聚类分析主界面，并将变量，调出系统聚类分析主界面，并将变量X1X5移入移入Variables框中。在框中。在Cluster栏中选择栏中选择Cases单选按钮，即对样单选按钮，即对样品进行聚类（若选择品进行聚类（若选择Variables，则对变量进行聚类）。在，则对变量进行聚类）。在Display栏中选择栏中选择Statistics和和Plots复选框，这样在结果输出窗复选框，这样在结果输出窗口中可

47、以同时得到聚类结果统计量和统计图。口中可以同时得到聚类结果统计量和统计图。图图5.9 系统聚类法主界面系统聚类法主界面 n2.点击点击Statistics按钮，设置在结果输出窗口中给出的聚类分按钮，设置在结果输出窗口中给出的聚类分析统计量。这里我们选择系统默认值，点击析统计量。这里我们选择系统默认值，点击Continue按钮，按钮，返回主界面。返回主界面。n3.点击点击Plots按钮，设置结果输出窗口中给出的聚类分析统计按钮，设置结果输出窗口中给出的聚类分析统计图。选中图。选中Dendrogram复选框和复选框和Icicle栏中的栏中的None单选按钮，单选按钮，即只给出聚类树形图，而不给出冰

48、柱图。单击即只给出聚类树形图，而不给出冰柱图。单击Continue按钮，按钮，返回主界面。返回主界面。图图5.10 Plots子对话框子对话框 n4.点击点击Method按钮，设置系统聚类的方法选项。按钮，设置系统聚类的方法选项。Cluster Method下拉列表用于指定聚类的方法，包括组间连接法、下拉列表用于指定聚类的方法，包括组间连接法、组内连接法、最近距离法、最远距离法等；组内连接法、最近距离法、最远距离法等；Measure栏用于栏用于选择对距离和相似性的测度方法；剩下的选择对距离和相似性的测度方法；剩下的Transform Values和和Transform Measures栏用于选

49、择对原始数据进行标准化的栏用于选择对原始数据进行标准化的方法。这里我们仍然均沿用系统默认选项。单击方法。这里我们仍然均沿用系统默认选项。单击Continue按按钮，返回主界面。钮，返回主界面。图图5.11 Method子对话框子对话框 n5.点击点击Save按钮，指定保存在数据文件中的用于表明聚类结按钮，指定保存在数据文件中的用于表明聚类结果的新变量。果的新变量。None表示不保存任何新变量；表示不保存任何新变量；Single solution表示生成一个分类变量，在其后的矩形框中输入要分成的类表示生成一个分类变量，在其后的矩形框中输入要分成的类数；数；Range of solutions表示

50、生成多个分类变量。这里我们选表示生成多个分类变量。这里我们选择择Range of solutions，并在后面的两个矩形框中分别输入，并在后面的两个矩形框中分别输入2和和4，即生成三个新的分类变量，分别表明将样品分为，即生成三个新的分类变量，分别表明将样品分为2类、类、3类和类和4类时的聚类结果。点击类时的聚类结果。点击Continue，返回主界面。，返回主界面。图图5.12 Save子对话框子对话框 6.点击点击OK按钮，运行系统聚类过程。按钮，运行系统聚类过程。n（二）主要运行结果解释（二）主要运行结果解释n1.在结果输出窗口中我们可以看到聚类树形图在结果输出窗口中我们可以看到聚类树形图（