《应用多元统计分析》第五版PPT（第六章）ppt.ppt

《《应用多元统计分析》第五版PPT（第六章）ppt.ppt》由会员分享，可在线阅读，更多相关《《应用多元统计分析》第五版PPT（第六章）ppt.ppt（91页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章 聚类分析,6.1 引言6.2 距离和相似系数6.3 系统聚类法6.4 动态聚类法,1,6.1 引言,聚类分析：将分类对象分成若干类，相似的归为同一类，不相似的归为不同的类。聚类分析和判别归类有着不同的分类目的，彼此之间既有区别又有联系。聚类分析分为Q型（分类对象为样品）和R型（分类对象为变量）两种。,2,相似性的不同定义,3,6.2 距离和相似系数,相似性度量：距离和相似系数。样品之间的距离和相似系数有着各种不同的定义，而这些定义与变量的类型有着非常密切的关系。变量的测量尺度：间隔、有序和名义尺度。间隔变量：变量用连续的量来表示，如长度、重量、速度、温度等。有序变量：变量度量时不用明确

2、的数量表示，而是用等级来表示，如某产品分为一等品、二等品、三等品等有次序关系。名义变量：变量用一些类表示，这些类之间既无等级关系也无数量关系，如性别、职业、产品的型号等。,4,间隔变量也称为定量变量，有序变量和名义变量统称为定性变量或属性变量或分类变量。对于间隔变量，距离常用来度量样品之间的相似性，相似系数常用来度量变量之间的相似性。本章主要讨论具有间隔尺度变量的样品聚类分析方法。一、距离二、相似系数,5,一、距离,设x =(x1,x2,xp) 和y =(y1,y2,yp)为两个样品，则所定义的距离一般应满足如下三个条件：(i)非负性：d(x, y)0，d(x, y)=0当且仅当x=y；(ii

3、)对称性：d(x, y) = d(y, x)；(iii)三角不等式：d(x, y)d(x,z) + d(z, y)。,6,常用的距离,1.明考夫斯基（Minkowski）距离2.兰氏（Lance和Williams）距离3.马氏距离,7,1.明考夫斯基距离,明考夫斯基距离（简称明氏距离）：这里q1。明氏距离的三种特殊形式：(i)当q=1时， ，称为绝对值距离，常被形象地称作“城市街区”距离；(ii)当q=2时， ，这是欧氏距离，它是聚类分析中最常用的一个距离；(iii)当q=时， ，称为切比雪夫距离。,8,绝对值距离图示,9,对各变量的数据作标准化处理,当各变量的单位不同或测量值范围相差很大时，

4、应先对各变量的数据作标准化处理。最常用的标准化处理是，令 其中 和sii分别为xi的样本均值和样本方差。,10,2.兰氏距离,当所有的数据皆为正时，可以定义x与y之间的兰氏距离为该距离与各变量的单位无关，且适用于高度偏斜或含异常值的数据。,11,3.马氏距离,x和y之间的马氏距离为 其中S为样本协差阵。聚类过程中的类一直变化着，S一般难以确定，除非有关于不同类的先验知识。因此，在实际聚类分析中，马氏距离一般不是理想的距离。,12,名义尺度变量的一种距离定义,例6.2.1 某高校举办一个培训班，从学员的资料中得到这样六个变量： x1 ：性别（男，女） x2 ：外语语种（英语，非英语） x3 ：专

5、业（统计，非统计） x4 ：职业（教师，非教师） x5 ：居住处（校内，校外） x6 ：学位（硕士，学士）现有两名学员：x=(男，英语，统计，非教师，校外，学士)y=(女，英语，非统计，教师，校外，硕士),13,一般地，若记 m1：配合的变量数m2：不配合的变量数 则它们之间的距离可定义为故按此定义，本例中x 与y 之间的距离为2/3。,14,二、相似系数,变量之间的相似性度量，在一些应用中要看相似系数的大小，而在另一些应用中要看相似系数绝对值的大小。相似系数（或其绝对值）越大，认为变量之间的相似性程度就越高；反之，则越低。聚类时，比较相似的变量倾向于归为一类，不太相似的变量归属不同的类。,1

6、5,变量间相似系数一般应满足的条件,(1)cij=1，当且仅当xi=axj+b，a(0) 和b是常数； (2)|cij|1，对一切i,j； (3)cij=cji，对一切i,j。,16,两个向量的夹角余弦,17,1.夹角余弦,变量xi与xj的夹角余弦定义为它是Rn中变量xi的观测向量(x1i,x2i,xni)与变量xj的观测向量(x1j,x2j,xnj)之间夹角ij的余弦函数，即cij(1)=cosij。,18,2.相关系数,变量xi与xj的相关系数为如果变量xi与xj是已标准化了的，则它们间的夹角余弦就是相关系数。,19,相似系数除常用来度量变量之间的相似性外有时也用来度量样品之间的相似性，同

7、样，距离有时也用来度量变量之间的相似性。由距离来构造相似系数总是可能的，如令 这里dij为第i个样品与第j个样品的距离，cij可作为相似系数，用来度量样品之间的相关性。距离必须满足定义距离的三个条件，所以不是总能由相似系数构造。高尔（Gower）证明，当相似系数矩阵(cij)为非负定时，如令 则dij满足距离定义的三个条件。,20,6.3 系统聚类法,系统聚类法（或层次聚类法）是通过一系列相继的合并或相继的分割来进行的，分为聚集的和分割的两种，适用于样品数目n不是非常大的情形。聚集系统法的基本思想是：开始时将n个样品各自作为一类，并规定样品之间的距离和类与类之间的距离，然后将距离最近的两类合并

8、成一个新类，计算新类与其他类的距离；重复进行两个最近类的合并，每次减少一类，直至所有的样品合并为一类。,21,一开始每个样品各自作为一类,22,分割系统法的聚类步骤与聚集系统法正相反。由n个样品组成一类开始，按某种最优准则将它分割成两个尽可能远离的子类，再用同样准则将每一子类进一步地分割成两类，从中选一个分割最优的子类，这样类数将由两类增加到三类。如此下去，直至所有n个样品各自为一类或采用某种停止规则。聚集系统法最为常用，本节着重介绍其中常用的六种方法并略提另两种方法，所有这些聚类方法的区别在于类与类之间距离的定义不同。,23,6.3 系统聚类法,一、最短距离法 二、最长距离法三、类平均法四、

9、重心法*五、中间距离法六、离差平方和法（Ward方法）*七、系统聚类法的统一八、系统聚类法的性质九、使用图形作聚类及对效果的评估十、对变量的聚类十一、类的个数,24,一、最短距离法,定义类与类之间的距离为两类最近样品间的距离，即,25,图6.3.1 最短距离法：DKL=d23,最短距离法的聚类步骤,(1)规定样品之间的距离，计算n个样品的距离矩阵D(0)，它是一个对称矩阵。(2)选择D(0)中的最小元素，设为DKL，则将GK和GL合并成一个新类，记为GM，即GM= GKGL。 (3)计算新类GM与任一类GJ之间距离的递推公式为,26,递推公式的图示理解,27,最短距离法的聚类步骤（续）,在D(

10、0)中，GK和GL所在的行和列合并成一个新行新列，对应GM ，该行列上的新距离值由上述递推公式求得，其余行列上的距离值不变，这样就得到新的距离矩阵，记作D(1) 。(4)对D(1)重复上述对D(0)的两步得D(2) ，如此下去直至所有元素合并成一类为止。,28,如果某一步D(m)中最小的元素不止一个，则称此现象为结，对应这些最小元素的类可以任选一对合并或同时合并。最短距离法最容易产生结，且有一种挑选长链状聚类的倾向，称为链接倾向。最短距离法不适合对分离得很差的群体进行聚类。,29,结的图示：,一个最短距离法产生链接的例子（例6.3.4）,30,例6.3.1 设有五个样品，每个只测量了一个指标，

11、分别是1，2，6，8，11，试用最短距离法将它们分类。记G1=1，G2=2，G3=6，G4=8，G5=11，样品间采用绝对值距离。,表6.3.1 D(0),31,其中G6= G1G2,其中G7= G3G4,表6.3.2 D(1),表6.3.3 D(2),32,其中G6= G1G2,表6.3.4 D(3),33,图6.3.2 最短距离法树形图,二、最长距离法,类与类之间的距离定义为两类最远样品间的距离，即,34,图6.3.3 最长距离法：DKL=d15,最长距离法与最短距离法的并类步骤完全相同，只是类间距离的递推公式有所不同。递推公式：,35,对例6.3.1采用最长距离法。,36,图6.3.4

12、最长距离法树形图,异常值的影响,最长距离法容易被异常值严重地扭曲。,37,三、类平均法,有两种定义。定义1：类GK和GL之间的距离定义为,38,图6.3.5 类平均法,递推公式：,39,定义2：类GK和GL之间的平方距离定义为递推公式：类平均法较好地利用了所有样品之间的信息，在很多情况下它被认为是一种比较好的系统聚类法。,40,例6.3.2 在例6.3.1中采用（使用平方距离的）类平均法进行聚类。一开始将D(0)的每个元素都平方，并记作 。,表6.3.5,41,表6.3.6,表6.3.7,42,表6.3.8,43,图6.3.6 类平均法树形图,四、重心法,设类GK和GL的重心（均值）分别为 ，

13、则GK与GL之间的平方距离定义为,44,图6.3.7 重心法,GM= GKGL的重心是 其中nM=nK+nL为GM的样品个数。递推公式：与其他系统聚类法相比，重心法在处理异常值方面更稳健，但是在别的方面一般不如类平均法或离差平方和法的效果好。,45,*五、中间距离法,设GM= GKGL ，对于任一类GJ，考虑由DKJ，DLJ和DKL为边长组成的三角形，取DKL边的中线作为DMJ。DMJ的计算公式为,46,图6.3.8 中间距离法的几何表示,六、离差平方和法(Ward方法),（类内）离差平方和：类中各样品到类重心（均值）的平方欧氏距离之和。设类GK和GL合并成新类GM，则GK, GL和GM的离差

14、平方和分别是对固定的类内样品数，它们反映了各自类内样品的分散程度。,47,类内离差平方和的几何解释,类内离差平方和WK是类GK内各点到类重心点 的直线距离之平方和。,48,定义GK和GL之间的平方距离为 也可表达为 离差平方和法使得两个大的类倾向于有较大的距离，因而不易合并；相反，两个小的类却因倾向于有较小的距离而易于合并。这往往符合我们对聚类的实际要求。,49,50,图6.3.9 离差平方和法与重心法的聚类比较,递推公式：对例6.3.1采用离差平方和法进行聚类。,51,图6.3.10 离差平方和法树形图,例6.3.3 表6.3.9列出了1999年全国31个省、直辖市和自治区的城镇居民家庭平均

15、每人全年消费性支出的八个主要变量数据。这八个变量是 x1：食品x5：交通和通讯 x2：衣着x6：娱乐教育文化服务 x3：家庭设备用品及服务x7：居住x4：医疗保健x8：杂项商品和服务分别用最短距离法、重心法和Ward方法对各地区作聚类分析。为同等地对待每一变量，在作聚类前，先对各变量作标准化变换。,53,表6.3.9 消费性支出数据 单位：元,54,55,图6.3.11 最短距离法,56,图6.3.12 重心法,57,图6.3.13 离差平方和法,58,从这三个树形图来看，只有Ward方法较好地符合了我们的实际聚类要求。可将31个地区分为以下三类：第类：北京、浙江、上海和广东。这些都是我国经济

16、最发达、城镇居民消费水平最高的地区。第类：天津、江苏、云南、重庆、河北、新疆、山东、湖北、四川、湖南、福建、广西、海南和西藏。这些地区在我国基本上属于经济发展水平和城镇居民消费水平中等的地区。 第类：山西、甘肃、内蒙古、辽宁、黑龙江、吉林、青海、宁夏、安徽、贵州、河南、陕西和江西。这些地区在我国基本上属于经济欠发达地区，城镇居民的消费水平也较低。如果分为五类，则广东和西藏将各自为一类。,59,*七、系统聚类法的统一,Lance和Williams于1967年将递推公式统一为：其中K, L, , 是参数，不同的系统聚类法，它们有不同的取值。表6.3.10列出了上述八种方法四个参数的取值。,60,表

17、6.3.10 系统聚类法参数表,61,八、系统聚类法的性质,1.单调性*2.空间的浓缩与扩张3.一个说明性的例子,62,1.单调性,令Di是系统聚类法中第i次并类时的距离，如果一种系统聚类法能满足D1D2D3 ，则称它具有单调性。这种单调性符合系统聚类法的思想，先合并较相似的类，后合并较疏远的类。最短距离法、最长距离法、类平均法、离差平方和法、可变法和可变类平均法都具有单调性，但重心法和中间距离法不具有单调性。,63,*2.空间的浓缩与扩张,设A=(aij)和B=(bij)是两个元素非负的同阶矩阵，若aijbij(对一切i, j)，则记作AB。该记号仅在本节中使用。设有两种系统聚类法，它们在第

18、i步的距离矩阵分别为Ai和Bi，i=0,1,n1，若AiBi，i=1,n1，则称第一种方法比第二种方法使空间扩张，或第二种方法比第一种方法使空间浓缩。设聚类中的某步将类GK和GL合并成新类GM，由于接下来的一步在计算类之间的距离时，老类之间的距离仍保持不变，故比较不同聚类法的聚类距离我们只需比较任一老类GJ到新类GM的距离即可。用D(*)表示用“*”方法聚类时的距离矩阵。,64,以类平均法为基准，有如下一些结论：(1) D(短) D(平)，D(重) D(平)。(2) D(长) D(平)。(3) 当01时，D(变平) D(平)；当0时，D(变平) D(平)。太浓缩的方法不够灵敏，太扩张的方法可能

19、因灵敏度过高而容易失真。类平均法比较适中，它既不太浓缩也不太扩张，因此它在这方面是比较理想的。最短距离法是一种非常浓缩的方法，容易出现链接倾向。,65,3.一个说明性的例子（例6.3.4）,66,(1)采用最短距离法。可以算得：当聚成两类时，C1和C11组成一类，其余所有的点组成另一类，这里出现了链接现象；当聚成三类时，C1和C11组成第类，其余的C点组成第类，所有的A点和B点组成第类。(2)采用类平均法。经算得：当聚成两类时，一类由所有C点构成，另一类由所有A点和所有B点构成；当聚成三类时，A点群、B点群和C点群各自作为一类。,67,九、使用图形作聚类及对聚类效果的评估,1.使用图形作直观的

20、聚类2.使用图形对聚类效果的评估,68,1.使用图形作直观的聚类,当p=2时，可以直接在散点图上进行主观的聚类，其效果未必逊于、甚至好于正规的聚类方法，特别是在寻找“自然的”类和符合我们实际需要的类方面。当p=3时，我们可使用统计软件产生三维旋转图，通过三维旋转从各个角度来观测散点图，作直观的聚类。但由于其视觉效果及易操作性远不如平面散点图，故实践中很少采用。当p3时，有时我们可采用主成分分析或因子分析的技术将维数降至2（或3）维，然后再生成散点图（或旋转图），从直觉上进行主观的聚类。,69,寻找“自然的”类,70,2.使用图形对聚类效果的评估,经聚类分析已将类分好之后，常常希望从统计的角度看

21、一下聚类的效果：不同类之间是否分离得较好，同一类内的样品（或变量）是否彼此相似。通常可通过构造图形作直观的观测，所使用的图形有如下两种：(1)将p维数据画于平面图上，方法有平行（坐标）图、星形图、切尔诺夫脸谱图、星座图和安德鲁曲线图等；(2)使用费希尔判别的降维方法，将p维数据降至2（或3）维再构造散点图（或旋转图）。如果方法(2)能够成功，则往往更值得推荐，尤其在样品数很大的场合下。,71,例6.3.5 在例6.3.3中，为了从原始数据的直观图形上来看一下按Ward方法聚成三类的效果，使用JMP软件的聚类结果中带有的并排平行图（或称轮廓图）。平行图中的八个变量轴相互平行等间隔，各变量轴上的坐

22、标是已标准化了的值。前两类中的高亮轮廓线分别属于广东和西藏，它们在类内显得较为异类，需要时皆可自成一类。,72,图6.3.15 Ward方法所分三类的平行图,73,图6.3.16 按图6.3.13分三类的两个判别函数得分的散点图,74,图6.3.17 按图6.3.13分五类的两个判别函数得分的散点图,十、对变量的聚类,最短距离法、最长距离法和类平均法都属于连接方法，它们既可以用于样品的聚类，也能够用于变量的聚类。不过并非所有的系统聚类方法都适用于对变量的聚类。,75,例6.3.7 对305名女中学生测量八个体型指标：x1：身高x5：体重x2：手臂长x6：颈围x3：上肢长x7：胸围x4：下肢长x

23、8：胸宽,76,表6.3.11各对变量之间的相关系数,单从该相关矩阵就可直观地判断出聚成两类：x1,x2,x3,x4和x5,x6,x7,x8，这两类的特征明显，其类内变量分别都是身材方面的“纵向”指标和“横向”指标。分别用最短距离法、最长距离法和(6.3.5)式的类平均法对变量进行聚类，这三种方法的类与类之间的相似系数分别定义为两类变量间的最大、最小和平均相关系数，每次聚类时合并两个相似系数最大的类。从图6.3.18可见，聚成两类：x1,x2,x3,x4和x5,x6,x7,x8 。最短距离法和类平均法也都有与此相同的聚成两类的结果。,77,78,图6.3.18 八个体型变量的最长距离法树形图,

24、十一、类的个数,如果能够分成若干很分开的类，则类的个数就比较容易确定；反之，如果无论怎样分都很难分成明显分开的若干类，则类个数的确定可能就比较困难了。确定类个数的常用方法有： 1.给定一个阈值T。 2.观测样品的散点图。 *3.使用统计量。,79,1.给定一个阈值T,通过观测树形图，给出一个你认为合适的阈值T，要求类与类之间的距离要大于T，有些样品可能会因此而归不了类或只能自成一类。这种方法有较强的主观性，这是它的不足之处。,80,2.观测样品的散点图,如果样品只有两个（或三个）变量，则可通过观测数据的散点图（或旋转图）来主观确定类的个数。如果变量个数超过三个，则可对每一可能考虑的聚类结果，将

25、所有样品的前两个（或三个）费希尔判别函数得分制作成散点图（或旋转图），目测类之间是否分离得较好。该图既能帮助我们评估聚类效果的好坏，也能帮助我们判断所定的类数目是否恰当。例6.3.8 在例6.3.6中，图6.3.16显示分为三类是合适的，图6.3.17显示分为五类也是合适的。最终到底分为几类还需综合考虑，该例分成三类似乎更符合实际的需要。,81,*3.使用统计量,（1）R2统计量。（2）半偏R2统计量。（3）伪F统计量。（4）伪t统计量。,82,6.4 动态聚类法,在系统聚类法中，对于那些先前已被“错误”分类的样品不再提供重新分类的机会，而动态聚类法 （或称逐步聚类法）却允许样品从一个类移动到

26、另一个类中。动态聚类法的计算量要比建立在距离矩阵基础上的系统聚类法小得多。因此，使用动态聚类法计算机所能承受的样品数目n要远远超过使用系统聚类法所能承受的n。,83,动态聚类法的基本思想是，选择一批凝聚点或给出一个初始的分类，让样品按某种原则向凝聚点凝聚，对凝聚点进行不断的修改或迭代，直至分类比较合理或迭代稳定为止。类的个数k需先指定一个。选择初始凝聚点（或给出初始分类）的一种简单方法是采用随机抽选（或随机分割）样品的方法，可以要求凝聚点之间至少应间隔某个距离值。动态聚类法只能用于对样品的聚类，而不能用于对变量的聚类。动态聚类法有许多种方法，在这一节中，我们将讨论一种比较流行的动态聚类法k均值

27、法。它是由麦奎因 （MacQueen，1967）提出并命名的一种算法。,84,k均值法的基本步骤,(1)选择k个样品作为初始凝聚点，或者将所有样品分成k个初始类，然后将这k个类的重心（均值）作为初始凝聚点。(2)对所有的样品逐个归类，将每个样品归入凝聚点离它最近的那个类（通常采用欧氏距离），该类的凝聚点更新为这一类目前的均值，直至所有样品都归了类。(3)重复步骤(2)，直至所有的样品都不能再分配为止。,85,最终的聚类结果在一定程度上依赖于初始凝聚点或初始分类的选择。经验表明，聚类过程中的绝大多数重要变化均发生在第一次再分配中。例6.4.1 对例6.3.1采用k均值法聚类，指定k=2，具体步骤

28、如下：(1) 随意将这些样品分成两类，则这两个初始类的均值分别是5和 。(2)计算1到两个类(均值)的欧氏距离,86,1不用重新分配，计算6到两个类的距离故6应重新分配到 中，修正后的两个类为 ，新的类均值分别为 。计算,87,结果8重新分配到 中，两个新类为 ，其类均值分别为1和 。再计算重新分配2到 中，两个新类为 ，其类均值分别为 。(3)再次计算每个样品到类均值的距离，结果列于表6.4.1。最终得到的两个类为1,2和6,8,11。,88,表6.4.1 各样品到类均值的距离,89,例6.4.2 对例6.3.3使用k均值法进行聚类，聚类前对各变量作标准化变换，聚类结果如下： 第类：北京、上

29、海和浙江。 第类：广东。 第类：天津、江苏、福建、山东、湖南、广西、 重庆、四川和云南。 第类：河北、山西、内蒙古、辽宁、吉林、黑龙 江、安徽、江西、河南、湖北、海南、贵 州、陕西、甘肃、青海、宁夏和新疆。 第类：西藏。,90,由于k均值法对凝聚点的初始选择有一定敏感性，故再试一下其他初始的凝聚点也许是个不错的想法。如果不同初始凝聚点的选择产生明显不同的最终聚类结果，或者迭代的收敛是极缓慢的，那么可能表明没有自然的类可以形成。k均值法有时也可用来改进系统聚类的结果，例如，先用类平均法聚类，然后将其各类的重心作为k均值法的初始凝聚点重新聚类，这可使得系统聚类时错分的样品能有机会获得重新的分类。不过，k均值法能否有效地改善系统聚类，我们不能一概而论，还应视聚类的最终结果而定。,91,