第五章聚类分析优秀PPT.ppt

《第五章聚类分析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第五章聚类分析优秀PPT.ppt（84页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章第五章 聚类分析聚类分析cluster analysis概述概述距离与相像系数距离与相像系数系统聚类法系统聚类法(hierarchical clustering)快速聚类法快速聚类法(k-means clustering)变量聚类变量聚类聚类分析是多元分析的聚类分析是多元分析的主要方法之一，主要用主要方法之一，主要用来对大量的样品或变量来对大量的样品或变量进行分类，是初步数据进行分类，是初步数据分析的重要工具之一。分析的重要工具之一。一、概述一、概述聚类的实质聚类的实质依据样本（变量）间的亲疏关系将样本（变量）依据样本（变量）间的亲疏关系将样本（变量）分为类，相近的归为一类，差别较大的归

2、为另分为类，相近的归为一类，差别较大的归为另一类。所获得的分类应有确定的意义。一类。所获得的分类应有确定的意义。聚类分析的关键聚类分析的关键亲疏关系的判别：相像性与距离（不相像性）亲疏关系的判别：相像性与距离（不相像性）分类数的确定：分多少类合适分类数的确定：分多少类合适聚类分析的应用不同地区城镇居民收入和消费状况的分类探讨。区域经济及社会发展水平的分析及全国区域经济综合评价产品市场细分：依据消费者的需求特征分成不同的细分市场在儿童生长发育探讨中，把以形态学为主的指标归于一类，以机能为主的指标归于另一类聚类分析的类型依据分类的对象Q型聚类（即样本聚类clustering for individ

3、uals）R型聚类（变量聚类clustering for variables)依据分类的方法：系统聚类(hierarchical clustering)快速聚类(k-means clustering)模糊聚类聚类分析数据格式k二、距离与相像系数二、距离与相像系数样本间的亲疏关系通常用距离描述，变样本间的亲疏关系通常用距离描述，变量间的亲疏关系通常用相像系数或相关量间的亲疏关系通常用相像系数或相关系数描述系数描述不同测量尺度的数据，其距离的计算方不同测量尺度的数据，其距离的计算方法不同法不同（一）、距离：样本间的亲疏关系（一）、距离：样本间的亲疏关系距离的定义：假设每个样品由p个变量描述，则每个

4、样品都可以看成p维空间中的一个点，n个样品就是p维空间中的n个点，则第i样品与第j样品之间的距离记为dijdij满足下列条件 dij0 dii=0 dij=dji dij dik+dkj1.欧式（欧式（Euclidian）距离）距离x1x2x12x22x11x21x21-x11x22-x122.明氏（明氏（Minkowski）距离）距离q=1q=2q=当q=1，为绝对值距离绝对值距离，SPSS称为block当q=2，即为欧式距离当q=，有 ,称为切比雪夫（Chebychev）距离实例计算实例计算品距离矩阵确定值距离确定值距离品Euclidian距离的平方距离的平方2Euclidian距离距离明

5、氏距离的缺点明氏距离的缺点各指标同等对待（权数相同），不能反各指标同等对待（权数相同），不能反映各指标变异程度上的差异映各指标变异程度上的差异距离的大小与各指标的观测单位有关，距离的大小与各指标的观测单位有关，有时会出现不合理结果有时会出现不合理结果没有考虑指标之间的相关性没有考虑指标之间的相关性当各指标的测量值相差悬殊时，可以先当各指标的测量值相差悬殊时，可以先对数据标准化，然后用标准化后的数据对数据标准化，然后用标准化后的数据计算距离计算距离3.马氏马氏(Mahalanobis)距离距离明氏距离没有考虑数据中的协方差模式，马氏距离则考虑了协方差，且不受指标测量单位的影响：已已知二维正态总体

6、知二维正态总体G的分布为：的分布为：GN（,）,其其中中分别求点分别求点A=(1,1),和点和点B=(1,-1)到均值到均值 的欧式距离和马氏距离的欧式距离和马氏距离 欧式等距离线欧式等距离线欧式等距离线欧式等距离线马氏等距离线马氏等距离线马氏等距离线马氏等距离线Mahalanobis 距离例距离例AB欧氏距离、标准化变量的欧式距欧氏距离、标准化变量的欧式距离与马氏距离的比较离与马氏距离的比较4.Lance和和Williams 距离距离对标准化变量：对标准化变量：5.协作距离协作距离前几类距离多用于定距和定比尺度数据，对于定类和定序变量：协作距离例协作距离例4种品牌的软饮料在种品牌的软饮料在4

7、个方面的特性：是否可乐口味？是个方面的特性：是否可乐口味？是否含有咖啡因？是否节食饮料？是否可口可乐公司产？否含有咖啡因？是否节食饮料？是否可口可乐公司产？可乐味可乐味 咖啡因咖啡因 节食节食可口可乐可口可乐Coke1101Pepsi1100Diet Coke1111Caffeine-free Diet Coke1011距离矩阵距离矩阵1.夹角余弦（夹角余弦（Cosine）（二）相像系数：变量间的亲疏关系（二）相像系数：变量间的亲疏关系受相像形的启发而来，受相像形的启发而来，AB和和CD尽管尽管长度不一，但形态相像长度不一，但形态相像ABDC2.Pearson相关系数相关系数（二）相像系数（二

8、）相像系数SPSS的的“分析分析”“相关相关”“距离距离”Measures对话框对话框定距尺度定距尺度定序尺度定序尺度定类尺度定类尺度三、系统聚类法三、系统聚类法聚合法聚合法分解法分解法通常分为两步：先做出类别通常分为两步：先做出类别距离谱系图，再依据谱系图距离谱系图，再依据谱系图的特点确定分类数并分类的特点确定分类数并分类Agglomerative系统聚类法基本步骤系统聚类法基本步骤步骤步骤步骤步骤1 1：将：将：将：将n n个样品各作为一类，共个样品各作为一类，共个样品各作为一类，共个样品各作为一类，共n n类：类：类：类：C1C1、C2 C2、Cn Cn。计算各类之间的距离，构成距离矩阵

9、：。计算各类之间的距离，构成距离矩阵：。计算各类之间的距离，构成距离矩阵：。计算各类之间的距离，构成距离矩阵：dcicj=dijdcicj=dij步骤步骤步骤步骤2 2：找到距离最近的两类合并为一新类：找到距离最近的两类合并为一新类：找到距离最近的两类合并为一新类：找到距离最近的两类合并为一新类步骤步骤步骤步骤3 3：计算新类与当前各类的距离。：计算新类与当前各类的距离。：计算新类与当前各类的距离。：计算新类与当前各类的距离。重复步骤重复步骤重复步骤重复步骤2 2、3 3，直至合并成一类为止，形成谱系图，直至合并成一类为止，形成谱系图，直至合并成一类为止，形成谱系图，直至合并成一类为止，形成谱

10、系图依据谱系图确定如何分类依据谱系图确定如何分类依据谱系图确定如何分类依据谱系图确定如何分类单样本类，类与类之间的距离为样品距离单样本类，类与类之间的距离为样品距离类间距离类间距离类与类间距离类与类间距离 类与类之间的距离类与类之间的距离 1.1.最短距离法最短距离法(single linkage)(single linkage)2.2.最长距离法最长距离法(complete linkage)(complete linkage)3.3.中位数法中位数法(median method)(median method)4.4.类平均法类平均法(average linkage)(average link

11、age)5.5.可变类平均法可变类平均法(flexible-beta method)(flexible-beta method)6.6.质心法质心法(centroid method)(centroid method)7.Ward7.Ward离差平方和法离差平方和法(Wards minimum-(Wards minimum-variance method)variance method)Agglomerative Methods：各种不同方法的基本步骤相同，：各种不同方法的基本步骤相同，只是类与类之间距离的计算方法不同。只是类与类之间距离的计算方法不同。（一）（一）最短距离法最短距离法类与类之间

12、的距离是两类间两两样品间的最短距离6个民族的粗死亡率与期望寿命哈萨克与藏族的距离最短，最先合并形成新类CL7新类CL7和其余四类的距离其次次合并新类和各类的距离新类和各类的距离第三次合并第四次合并最终合并成一类谱系图不显示实际距离，显示0-25的比例距离树状图冰柱图冰柱图12345融合在一起的为一类（二）最长距离法（二）最长距离法类与类之间的距离是两类间两两样品间的最长距离前例：最长距离法第1次合并仍取最短欧式距离新类和各类的距离：取最大值第2次合并新类和各类的距离：取最大值第3次合并第4次合并最终合并例题例题5个品牌饮料的热量、咖啡因、钠含量及价格的个品牌饮料的热量、咖啡因、钠含量及价格的距

13、离矩阵如下，请用最长距离法作出谱系图。距离矩阵如下，请用最长距离法作出谱系图。依据谱系图，这五个品牌饮料可以分为几类？依据谱系图，这五个品牌饮料可以分为几类？（三）中位数法（三）中位数法(median method)最长距离夸大了类间距离，最短距离低估了类间距离。介于两者间的距离即为中间距离KLJM（四）（四）类平均法类平均法(average linkage between group)SPSS作为默认方法，称为“组间联接”KLJM（五）质心（五）质心法法(centroid method)类与类间的距离用各自类与类间的距离用各自重心间的欧式距离表示重心间的欧式距离表示 KLJM（六）（六）Wa

14、rd最小方差法最小方差法(Ward minimum variance method)源于方差分析。类内离差平方和：类中各样品到类重心（均值）的平方欧式距离之和。基本思路：两类合并后，离差平方和就会增加。每次选择使离差平方和增加（SSMSSKSSL）最小的两类进行合并，直至全部的样品归为一类。（七）各种系统聚类方法的统一（七）各种系统聚类方法的统一 以上聚类方法的计算步骤完全相同，仅类与类之间的定义不同。Lance和Williams于1967年将其统一为：八种系统聚类法公式的参数八种系统聚类法公式的参数 留意：几种聚类方法获得的结果不确定相同留意：几种聚类方法获得的结果不确定相同最最长长距距离离

15、法法最短距离法最短距离法分类数的确定及类别的说明分类数的确定及类别的说明系统聚类法给我们供应了一个类别距离系统聚类法给我们供应了一个类别距离谱系，最终样本如何分类、分成几类须谱系，最终样本如何分类、分成几类须要我们自己依据探讨的目的确定。要我们自己依据探讨的目的确定。3类2类2类系统聚类的系统聚类的SPSS实现实现指定参与聚类的变量名和样品号指定参与聚类的变量名和样品号存放标识变量选择聚类类型“统计量统计量”聚类状态表相像矩阵类成员：不显示类成员表不显示类成员表显示指定范围中显示指定范围中每一步类成员每一步类成员列出指定类列出指定类数的类成员数的类成员“图图”对话框对话框树状结构图冰柱图冰柱的

16、方向显示聚类的每一步指定显示的聚类范围不生成冰柱图“方法方法”对话框对话框距离测度方法：不同尺度变量选择不同方法定距尺度变量定序尺度变量01变量确定标准化的方法：只有前两种尺度的数据才能标准化测度转换方法距离值取确定值相像度变为不相像度距离标准化聚类方法选项“保存保存”对话框对话框生成一个新变量，表明每个个体所属类指定范围内的结果，生成若干个新变量系统聚类例：轿车的市场细分系统聚类例：轿车的市场细分对对151名名MBA学生的轿车偏好进行调查，要求学生的轿车偏好进行调查，要求他们对他们对10种轿车打分，分值种轿车打分，分值1-10（最高分）。（最高分）。10种轿车型号为：种轿车型号为：BMW32

17、8i,Ford Explorer,Infiniti J30,Jeep Grand Cherikee,Lexus ES300,Chrysler Town&Country,Merceds C280,Saab 9000,Porsche Boxster,Volvo V90.用用Wards系统聚类法进行分类系统聚类法进行分类初分析：依据谱系图确定分类数初分析：依据谱系图确定分类数样本数太多，谱系图不易看，可随机抽样样本数太多，谱系图不易看，可随机抽样四、快速聚类法四、快速聚类法（k-means）也叫动态聚类、逐步聚类、迭代聚类也叫动态聚类、逐步聚类、迭代聚类与系统聚类的主要区分与系统聚类的主要区分非层次

18、性递推过程非层次性递推过程从初始分类起先不断优化的过程从初始分类起先不断优化的过程当样本量很大时，用系统聚类法的计算当样本量很大时，用系统聚类法的计算工作量极大，作出的树状图也特别困难工作量极大，作出的树状图也特别困难,不便于分析，用快速聚类较好。不便于分析，用快速聚类较好。K-means processImportant:initial centroids or cluster centers and the number of clusters留意：快速聚类需事先确定分几类留意：快速聚类需事先确定分几类简洁产生局部最优而非全局最优，初始分类很重要简洁产生局部最优而非全局最优，初始分类很重要

19、简洁产生局部最优而非全局最优，初始分类很重要简洁产生局部最优而非全局最优，初始分类很重要初始类中心的确定自动选择 必需给出允许分类的最大个数k凭阅历选择可以先选取部分样本作系统聚类（例如用Wards方法，它与K-means的分类原则很相像），以得到初始分类的类中心（并确定分类数），建立一个初始中心数据文件,快速聚类的快速聚类的SPSS实现实现快速聚类主对话框快速聚类主对话框指定分类数先定初始类别中心，再按K-means算法叠代分类仅按初始类别中心点分类类中心的输入输出“迭代迭代”对话框：叠代终止准则对话框：叠代终止准则限定K-means算法的收敛判据：0N1，含义：当两次叠代计算的最小的类中心

20、的变更距离小于初始类中心距离的N%时，叠代停止。限定在每个观测量被安排到一类后，立刻计算新的类中心。如不选此项，则在完成了全部观测量的一次安排后，再计算各类的类中心“保存保存”对话框对话框建立一个新变量记录分类结果（默认名：qx1_1)。建立一个新变量记录各观测量距所属类中心间的欧式距离（默认名：qc1_2)“选项选项”对话框对话框缺失值处理将有缺失值的样本剔出只有当样本的全部聚类变量都缺失时才剔出样本，否则根据非缺失变量分类类别间距离差异是否显著的检验例题输出结果例题输出结果类别间距离差异均显著类别间距离差异均显著轿车市场细分例轿车市场细分例-续续在系统聚类的基础上，用在系统聚类的基础上，用

21、K-means进行进进行进一步分析比较，确定最终分类数，并分一步分析比较，确定最终分类数，并分析结果。析结果。分别依据分分别依据分3类、类、4类和类和5类进行快速聚类，类进行快速聚类，比较结果。比较结果。对结果进行分析：计算各类平均得分对结果进行分析：计算各类平均得分五、变量聚类法五、变量聚类法分析的目的分析的目的了解变量间及变量组合间的亲疏关系了解变量间及变量组合间的亲疏关系对变量进行分类对变量进行分类依据分类结果及它们之间的关系，在每依据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重要变一类中选择有代表性的变量作为重要变量，用少数几个重要变量进一步作分析量，用少数几个重要变量

22、进一步作分析计算，如进行回来分析或计算，如进行回来分析或Q型聚类。型聚类。五、变量聚类法五、变量聚类法变量聚类例变量聚类例为了探讨为了探讨30个省、市、自治区个省、市、自治区1991年城年城镇居民消费的分布规律，对变量和样本镇居民消费的分布规律，对变量和样本分别进行聚类分析。月平均消费数据如分别进行聚类分析。月平均消费数据如表，其中：表，其中：x1-人均粮食支出（元人均粮食支出（元/人），人），x2-人均副食支出，人均副食支出，x3-人均烟、酒、茶支人均烟、酒、茶支出，出，x4-人均其他副食支出，人均其他副食支出，x5人均衣着人均衣着支出，支出，x6-人均日用品支出，人均日用品支出，x7-人均

23、燃料人均燃料支出，支出，x8-人均非商品支出人均非商品支出变量聚类例变量聚类例先作样本聚类：类平均法、先作样本聚类：类平均法、ward法法再作变量聚类再作变量聚类样本距离测度：夹角余弦或相关系数样本距离测度：夹角余弦或相关系数类距离：最短距离法、最长距离法、类类距离：最短距离法、最长距离法、类平均平均留意：重心法、留意：重心法、median、ward法都要求法都要求用欧式距离平方用欧式距离平方数据Ward法法类平均法类平均法样品聚类结果变量聚类：相关性强的指标归并到一起变量聚类：相关性强的指标归并到一起相关系数x1-人均粮食支出x2-人均副食支出x3-人均烟酒茶支出，x4-人均其他副食支出x5

24、人均衣着支出x6-人均日用品支出，x7-人均燃料支出x8-人均非商品支出聚类分析聚类分析 小结小结 1聚类分析的概念 2两种聚类思想：系统聚类、快速聚类谱系图谱系图谱系图谱系图确定分类数确定分类数确定分类数确定分类数 3Q-型聚类分析 4R-型聚类分析 5SPSS的聚类分析过程 6聚类分析的结果评述系统聚类的统计思想 对于位置类别的样本或变量，依据相应的定义把它们分为若干类，分类过程是一个逐步削减类别的过程，在每一个聚类层次，必需满足“类内差异小，类间差异大”原则，直至归为一类。评价聚类效果的指标一般是方差，距离小的样品所组成的类方差较小。快速聚类的基本思想动态聚类的方法源于数学中的迭代算法，就是当样品进行聚类时，先给定一个比较粗糙的初始分类，然后设计某种原则进行类别的修改，不断调整和改正这些类别的样品组成，直到比较合理为止。为了快速找到一种初始分类，我们一般先选择一些凝合点，让样品依照某种规则向凝合点凝合。动态凝合的一般步骤是：选凝聚点选凝聚点初始分类初始分类分类是否分类是否合理？合理？最终分类最终分类修改分类修改分类聚类分析的特点不同聚类方法所得到的分类结果可能不同。统计的优势在于每一种聚类过程可以在瞬间完成，因此可以进行大量尝试性的分析，并对结果进行比较，以便我们对数据做出更加合理的结论。