2012下-第9章-SPSS的聚类分析.ppt

《2012下-第9章-SPSS的聚类分析.ppt》由会员分享，可在线阅读，更多相关《2012下-第9章-SPSS的聚类分析.ppt（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1第九章第九章 SPSS的聚类分析的聚类分析授课教师：杨小宝授课教师：杨小宝 副教授副教授北京交通大学北京交通大学 交通运输学院交通运输学院2012.11统计软件及其应用统计软件及其应用2 9.1 聚类分析的一般问题聚类分析的一般问题 9.2 层次聚类层次聚类 9.3 K-Means聚类聚类SPSS的聚类分析的聚类分析39.1 聚类分析的一般问题聚类分析的一般问题9.1.1 聚类分析的意义9.1.2 聚类分析中“亲疏程度”的度量方法9.1.3 聚类分析的几点说明49.1.1 聚类分析的意义聚聚类类分分析析是是一一种种建建立立分分类类的的多多元元统统计计分分析析方方法法，它它能能够够将将一一批批

2、样样本本（或或变变量量）数数据据根根据据其其诸诸多多特特征征，按按照照在在性性质质上上的的亲亲疏疏程程度度（各各变变量量取取值值上上的的总总体体差差异异程程度度）在在没没有有先先验验知知识识（没没有有事事先先指指定定的的分分类类标标准准）的的情情况况下下进进行行自自动动分分类类，产产生生多多个个分分类类结结果果。类类内内部部的的个个体体在在特特征征上上具具有有相相似似性性，不不同同类类间间个个体体特特征的差异性较大。征的差异性较大。5 例例如如，学学校校里里有有些些同同学学经经常常在在一一起起，关关系系比比较较密密切切，而而他他们们与与另另一一些些同同学学却却很很少少来来往往，关关系系比比较较

3、疏疏远远。究究其其原原因因可可能能会会发发现现，经经常常在在一一起起的的同同学学的的家家庭庭情情况况、性性格格、学学习习成成绩绩、课课余余爱爱好好等等方方面面有有许许多多共共同同之之处处，而而关关系系比比较较疏疏远远的的同同学学在在这这些些方方面面有有较较大大的的差差异异性性。为为了了研研究究家家庭庭情情况况、性性格格、学学习习成成绩绩、课课余余爱爱好好等等是是否否会会成成为为划划分分学学生生小小群群体体的的主主要要决决定定因因素素，可可以以从从有有关关这这些些方方面面的的数数据据入入手手，进进行行客客观观分分组组，然然后后比比较较所所得得的的分分组组是是否否与与实实际际相相吻吻合合。对对学学

4、生的客观分组就可采用聚类分析方法。生的客观分组就可采用聚类分析方法。69.1.2 聚类分析中“亲疏程度”的度量方法聚聚类类分分析析中中，个个体体之之间间的的“亲亲疏疏程程度度”是是极极为为重重要要的的，它它将将直直接接影影响响最最终终的的聚聚类类结结果果。对对“亲亲疏疏”程程度度的的测测度度一一般般有有两两个个角角度度：第第一一，个个体体间间的的相相似似程程度度；第第二二，个个体体间间的的差差异异程程度度。衡衡量量个个体体间间的的相相似似程程度度通通常常可可采采用用简简单单相相关关系系数数等等，个个体体间间的的差差异程度通常通过某种距离来测度。异程度通常通过某种距离来测度。7为为定定义义个个体

5、体间间的的距距离离应应先先将将每每个个样样本本数数据据看看成成k维维空空间间的的一一个个点点。通通常常，点点与与点点之之间间的的距距离离越越小小，意意味味着着他他们们越越“亲亲密密”，越越有有可可能能聚聚成成一一类类，点点与与点点之之间间的的距距离离越越大大，意意味味着着他他们们越越“疏疏远远”，越越有有可可能能分分别别属属于不同的类。于不同的类。个体间距离的定义会受变量类型的影响个体间距离的定义会受变量类型的影响。8例例：下下表表是是同同一一批批客客户户对对经经常常光光顾顾的的五五座座商商场场在在购购物物环环境境和和服服务务质质量量两两方方面面的的平平均均得得分分，现现希望根据这批数据将五座

6、商场分类。希望根据这批数据将五座商场分类。9欧式距离（欧式距离（Euclidean distance）平方欧式距离（平方欧式距离（Squared Euclidean distance）=上式的平方切比雪夫（切比雪夫（Chebychev）距离）距离Block距离距离 1、定距型变量个体间距离的计算方式、定距型变量个体间距离的计算方式10选上选上统计量统计量中的中的相相似性矩阵似性矩阵的输出结果的输出结果11 2、计数变量个体间距离的计算方式、计数变量个体间距离的计算方式卡方（卡方（Chi-Square measure）距离）距离Phi方（方（Phi-Square measure）距离）距离 3、

7、二二值值（Binary）变变量量个个体体间间距距离离的的计计算方式算方式简单匹配系数（简单匹配系数（Simple Matching）雅科比系数（雅科比系数（Jaccard）详细见书详细见书第第306306页页12所选择的变量应符合聚类的要求所选择的变量应符合聚类的要求：所选变：所选变量应能够从不同的侧面反映我们研究的目量应能够从不同的侧面反映我们研究的目的；的；各变量间不应有较强的线性相关关系各变量间不应有较强的线性相关关系9.1.3聚类分析的几点说明13各各变变量量的的变变量量值值不不应应有有数数量量级级上上的的差差异异（对对数数据据进进行行标标准准化化处处理理）：聚聚类类分分析析是是以以各

8、各种种距距离离来来度度量量个个体体间间的的“亲亲疏疏”程程度度的的，从从上上述述各各种种距距离离的的定定义义看看，数数量量级级将将对对距距离离产生较大的影响，并影响最终的聚类结果产生较大的影响，并影响最终的聚类结果。149.2 层次聚类层次聚类9.2.1 层次聚类的两种类型和两种方式9.2.2 个体与小类、小类与小类间“亲 疏程度”的度量方法9.2.3 层次聚类的基本操作159.2.1 层次聚类的两种类型和两种方式层层次次聚聚类类又又称称系系统统聚聚类类，简简单单地地讲讲是是指指聚聚类过程是按照一定层次进行的。类过程是按照一定层次进行的。层层次次聚聚类类有有两两种种类类型型，分分别别是是Q型型

9、聚聚类类和和R型聚类；型聚类；层层次次聚聚类类的的聚聚类类方方式式又又有有两两种种，分分别别是是凝凝聚方式聚类和分解方式聚类。聚方式聚类和分解方式聚类。169.2.1 层次聚类的两种类型和两种方式Q型型聚聚类类：对对样样本本进进行行聚聚类类，使使具具有有相相似似特特征征的的样样本本聚聚集集在在一一起起，差差异异性性大大的的样样本本分分离离开来。开来。R型型聚聚类类：对对变变量量进进行行聚聚类类，使使具具有有相相似似性性的的变变量量聚聚集集在在一一起起，差差异异性性大大的的变变量量分分离离开开来来，可可在在相相似似变变量量中中选选择择少少数数具具有有代代表表性性的的变变量量参参与与其其他他分分析

10、析，实实现现减减少少变变量量个个数数，达达到变量降维的目的。到变量降维的目的。17凝凝聚聚方方式式聚聚类类：其其过过程程是是，首首先先，每每个个个个体体自自成成一一类类；然然后后，按按照照某某种种方方法法度度量量所所有有个个体体间间的的亲亲疏疏程程度度，并并将将其其中中最最“亲亲密密”的的个个体体聚聚成成一一小小类类，形形成成n-1个个类类；接接下下来来，再再次次度度量量剩剩余余个个体体和和小小类类间间的的亲亲疏疏程程度度，并并将将当当前前最最亲亲密密的的个个体体或或小小类类再再聚聚到到一一类类；重重复复上上述述过过程程，直直到到所所有有个个体体聚聚成成一一个个大大类类为为止止。可可见见，这这

11、种种聚聚类类方方式式对对n个个个个体体通通过过n-1步步可可凝聚成一大类。凝聚成一大类。18分分解解方方式式聚聚类类：其其过过程程是是，首首先先，所所有有个个体体都都属属一一大大类类；然然后后，按按照照某某种种方方法法度度量量所所有有个个体体间间的的亲亲疏疏程程度度，将将大大类类中中彼彼此此间间最最“疏疏远远”的的个个体体分分离离出出去去，形形成成两两类类；接接下下来来，再再次次度度量量类类中中剩剩余余个个体体间间的的亲亲疏疏程程度度，并并将将最最疏疏远远的的个个体体再再分分离离出出去去；重重复复上上述述过过程程，不不断断进进行行类类分分解解，直直到到所所有有个个体体自自成成一一类类为为止止。

12、可可见见，这这种种聚聚类类方方式式对对包包含含n个个个个体体的的大类通过大类通过n-1步可分解成步可分解成n个个体。个个体。199.2.2 个体与小类、小类与小类间“亲疏程度”的度量方法SPSS中中提提供供了了多多种种度度量量个个体体与与小小类类、小小类类与与小小类类间间“亲亲疏疏程程度度”的的方方法法。与与个个体体间间“亲亲疏疏程程度度”的的测测度度方方法法类类似似，应应首首先先定定义义个个体体与与小小类类、小小类类与与小小类类的的距距离离。距距离离小小的的关关系系亲亲密密，距距离离大大的的关关系系疏疏远远。这这里里的的距距离离是是在在个个体体间间距距离离的的基基础础上上定定义义的的，常见的

13、距离有：常见的距离有：20最最近近邻邻居居（Nearest Neighbor）距距离离：个个体体与小类中每个个体距离的最小值。与小类中每个个体距离的最小值。最最远远邻邻居居（Furthest Neighbor）距距离离：个个体与小类中每个个体距离的最大值。体与小类中每个个体距离的最大值。组组间间平平均均链链锁锁（Between-groups linkage）距距离离：个个体体与与小小类类中中每每个个个个体体距距离离的的平平均均值。值。详细见书详细见书第第311311页页21组组内内平平均均链链锁锁（Within-groups linkage）距距离离：个个体体与与小小类类中中每每个个个个体体距

14、距离离以以及及小小类类内内各各个个体间距离的平均值。体间距离的平均值。重重心心（Centroid clustering）距距离离：个个体体与与小小类类的的重重心心点点的的距距离离。重重心心点点通通常常是是由由小小类类中中所有样本在各变量上的均值所确定的点。所有样本在各变量上的均值所确定的点。离离差差平平方方和和法法（Wards method）：聚聚类类过过程程中中使使小小类类内内离离差差平平方方和和增增加加最最小小的的两两小小类类应应首先合并为一类。首先合并为一类。229.2.3 层次聚类的基本操作1、选择菜单、选择菜单Analyze Classify Hierarchical Cluster

15、，出现窗口：，出现窗口：聚类分析（商厦评分）.sav23 2、把把参参与与层层次次聚聚类类分分析析的的变变量量选选到到Variable(s)框中。框中。3、把把一一个个字字符符型型变变量量作作为为标标记记变变量量选选到到Label Cases by框框中中，它它将将大大大大增增强强聚聚类类分分析析结结果果的的可读性。可读性。4、在在Cluster框框中中选选择择聚聚类类类类型型。其其中中Cases表表示示进进行行Q型型聚聚类类（默默认认类类型型）；Variables表表示示进行进行R型聚类。型聚类。5、在在Display框框中中选选择择输输出出内内容容。其其中中Statistics表表示示输输

16、出出聚聚类类分分析析的的相相关关统统计计量量；Plot表表示示输输出聚类分析的相关图形。出聚类分析的相关图形。24 6、单击、单击Method按钮指定距离的计算方法。按钮指定距离的计算方法。方法方法子对话框子对话框25 Measure框框中中给给出出的的是是不不同同变变量量类类型型下下的的个个体体距距离离的的计计算算方方法法。其其中中Interval框框中中的的方方法法适适用用于于连连续续型型定定距距变变量量；Counts框框中中的的方方法法适适用用于于品品质质型型变变量量；Binary框框中中的的方方法法适适用用于于二二值值变变量量。Cluster Method框框中中给给出出的的是是计计算

17、算个体与小类、小类与小类间距离的方法。个体与小类、小类与小类间距离的方法。7、如如果果参参与与聚聚类类分分析析的的变变量量存存在在数数量量级级上上的的差差异异，应应在在Transform Values框框中中的的Standardize选选项项中中选选择择消消除除数数量量级级差差的的方方法法。并并指指定定处处理理是是针针对对变变量量的的还还是是针针对对样样本本的的。By variable表表示示针针对对变变量量，适适于于 Q 型型聚聚类类分分析析；By case 表表示针对样本，适于示针对样本，适于R型聚类分析。型聚类分析。26 8、单击、单击Statistics按钮指定输出哪些统计量按钮指定输

18、出哪些统计量统计量统计量子对话框子对话框27 合合并并进进程程表表Agglomeration schedule表表示示输输出出聚聚类类分分析析的的凝凝聚聚状状态态表表；相相似似性性矩矩阵阵Proximity matrix表表示示输输出出个个体体间间的的距距离离矩矩阵阵；Cluster Membership框框中中，None表表示示不不输输出出样样本本所所属属类类，Single Solution表表示示指指定定输输出出当当分分成成n类类时时各各样样本本所所属属类类，是是单单一一解解。Range of solution表表示示指指定定输输出出当当分分成成m至至n类类（m小小于等于于等于n）时各样本

19、所属类，是）时各样本所属类，是多个解多个解。28 上上表表中中，第第一一列列表表示示聚聚类类分分析析的的第第几几步步；第第二二、三三列列表表示示本本步步聚聚类类中中哪哪两两个个样样本本或或小小类类聚聚成成一一类类；第第四四列列式式个个体体距距离离或或小小类类距距离离；第第五五、六六列列表表示示本本步步聚聚类类中中参参与与聚聚类类的的是是个个体体还还是是小小类类，0 0表表示示样样本本，非非0 0表表示示由由第第n n步步聚聚类类生生成成的的小小类类参参与与本本步步聚聚类类；第第七列表示本步聚类的结果将在以下第几步中用到。七列表示本步聚类的结果将在以下第几步中用到。输出表输出表的解释的解释29输

20、出第输出第2 2到到3 3类时类时各样本的所属类各样本的所属类30 9、单击、单击Plot按钮指定输出哪种聚类分析图。按钮指定输出哪种聚类分析图。绘图绘图子对话框子对话框31 Dendrogram选选项项表表示示输输出出聚聚类类分分析析树树形形图图；在在 Icicle框框 中中 指指 定定 输输 出出 冰冰 挂挂 图图，其其 中中，All clusters表表示示输输出出聚聚类类分分析析每每个个阶阶段段的的冰冰挂挂图图，Specified range of clusters表表示示只只输输出出某某个个阶阶段段的的冰冰挂挂图图，输输入入从从第第几几步步开开始始，到到第第几几步步结结束束，中中间间

21、间间隔隔几几步步；在在Orientation框框中中指指定定如如何何显显示示冰冰挂挂图图，其其中中，Vertical表表示示纵纵向向显显示示，Horizontal表示横向水平显示。表示横向水平显示。树树形形图图以以躺躺倒倒树树的的形形式式展展现现了了聚聚类类分分析析中中的的每每一一次次类类合合并并的的情情况况。SPSS自自动动将将各各类类间间的的距距离离映映射射到到025之之间间，并并将将凝凝聚聚过过程程近近似似地地表表示在图上。示在图上。32输出输出树状图树状图33输出输出冰挂图冰挂图34 10、单单击击Save按按钮钮可可以以将将聚聚类类分分析析的的结结果果以以变变量量的的形形式式保保存存

22、到到数数据据编编辑辑窗窗口口中中。生生成成的的变变量量名名为为clun_m（如如clu2_1），其其中中n表表示示类类数数（如（如2），），m表示是第表示是第m次分析（如次分析（如1）。）。由由于于不不同同的的距距离离计计算算方方法法会会产产生生不不同同的的聚聚类类分分析析结结果果，即即使使聚聚成成n类类，同同一一样样本本的的类类归归属属也也会会因因计计算算方方法法的的不不同同而而不不同同。因因此此实实际际分分析析中中应应反反复复尝尝试试以以最最终终得得到到符符合合实实际际的的合合理理解解，并保存于并保存于SPSS变量中。变量中。359.2.4 层次聚类的应用举例1、利利用用31个个省省市市自

23、自治治区区小小康康和和现现代代化化指指数数数数据进行层次聚类分析。据进行层次聚类分析。利利用用SPSS层层次次聚聚类类Q型型聚聚类类对对31个个省省市市自自治治区区进进行行分分类类分分析析。其其中中个个体体距距离离采采用用平平方方欧欧式式距距离离，类类间间距距离离采采用用平平均均组组间间链链锁锁距距离离，由由于于数数据据不不存存在在数数量量级级上上的的差差异异，因因此此无无需需进行进行标准化处理。进行进行标准化处理。2、利用裁判打分数据进行聚类分析。、利用裁判打分数据进行聚类分析。聚类分析（小康指数）.sav36基本操作基本操作37输出结果输出结果聚类表聚类表38输出结果输出结果树状图树状图3

24、9输出结果输出结果冰挂图冰挂图40作业1书上第书上第320页，裁判打分的层次聚类分析，页，裁判打分的层次聚类分析，分析各国裁判打分标准是否有相似性，若分析各国裁判打分标准是否有相似性，若选出选出4个代表性的裁判应如何选？个代表性的裁判应如何选？要求：选择正确的聚类类型，其中变量个要求：选择正确的聚类类型，其中变量个体距离采用欧式距离，类间距离采用平均体距离采用欧式距离，类间距离采用平均组间链锁距离。输出结果应包括树状图、组间链锁距离。输出结果应包括树状图、冰挂图、凝聚状态表。冰挂图、凝聚状态表。聚类分析（裁判打分）.sav41复相关系数的计算方法复相关系数的计算方法复复相相关关系系数数是是测测

25、量量一一个个变变量量与与其其他他多多个个变变量量之之间间线线性性相相关关程程度度的的指指标标。它它不不能能直直接接测测算算，只只能采取一定的方法进行间接测算。能采取一定的方法进行间接测算。为为了了测测定定一一个个变变量量y y与与其其他他多多个个变变量量X1,X2,X1,X2,.,Xk.,Xk之之间间的的相相关关系系数数，可可以以考考虑虑构构造造一一个个关关于于X1,X2,.,XkX1,X2,.,Xk的的线线性性组组合合，通通过过线线性性回回归归方方法法计计算算该该线线性性组组合合与与y y之之间间的的简简单单相相关关系系数数(即即回回归归结结果果中中的的判判决决系系数数R)R)作作为为变变量

26、量y y与与X1,X2,X1,X2,.,Xk.,Xk之间的复相关系数。之间的复相关系数。提示提示:429.3 K-Means聚类聚类9.3.1 K-Means聚类分析的核心步骤9.3.2 K-Means聚类分析的操作步骤9.3.3 K-Means聚类分析应用举例439.3.1 K-Means聚类分析的核心步骤K-Means聚聚类类也也称称快快速速聚聚类类，仍仍将将数数据据看看成成k维维空空间间上上的的点点，仍仍以以距距离离作作为为测测度度个个体体“亲亲疏疏程程度度”的的指指标标，并并通通过过牺牺牲牲多多个个解解为为代代价换得高的执行效率，其核心步骤是：价换得高的执行效率，其核心步骤是：第一，指

27、定聚类数目第一，指定聚类数目K第二，确定第二，确定K个初始类中心个初始类中心 SPSS中中初初始始类类中中心心的的指指定定方方式式有有两两种种：一一是是用户指定方式；二是系统指定方式。用户指定方式；二是系统指定方式。44第三，根据距离最近原则进行分类第三，根据距离最近原则进行分类 依依次次计计算算每每个个样样本本数数据据点点到到K个个类类中中心心点点的的欧欧式式距距离离，并并按按距距K个个类类中中心心点点距距离离最最短短的的原原则则将将所所有有样样本本分成分成K类。类。第四，重新确定第四，重新确定K个类中心个类中心 中中心心点点的的确确定定原原则则是是，依依次次计计算算各各类类中中k个个变变量

28、量的的均均值，并以均值点作为值，并以均值点作为K个类的中心点。个类的中心点。第五，判断是否已满足中止聚类分析的条件第五，判断是否已满足中止聚类分析的条件 条条件件有有两两个个：一一是是迭迭代代次次数数（SPSS默默认认为为10）；二二是是类类中中心心点点偏偏移移程程度度，即即新新确确定定的的类类中中心心点点距距上上个个类类中中心心点点的的最最大大偏偏移移量量小小于于指指定定的的量量（SPSS默默认认为为0.02）时中止聚类。）时中止聚类。459.3.2 K-Means聚类分析的操作步骤1.选择选项选择选项分析分析 分分类类K-均均值值聚聚类类，打开主窗口打开主窗口.聚类分析（小康指数）.sav

29、46主对话框主对话框47选代选代子对话框子对话框选项选项子对话框子对话框482.选选定定参参与与K-Means聚聚类类的的变变量量放放入入Variables框中。框中。3.选选择择一一个个字字符符型型变变量量作作为为标标记记变变量量放放入入Label Cases框中，增加分析结果的可读性。框中，增加分析结果的可读性。4.在在Number of Clusters框框中中输输入入聚聚类类数数目目，该数应小于样本数。该数应小于样本数。5.如如果果用用户户自自行行指指定定初初始始类类中中心心点点，则则单单击击Centers按按钮钮，并并在在Read initial from框框后后给给出出存存放放初初

30、始始类类中中心心的的SPSS数数据据文文件件名名；否否则本步可略去。则本步可略去。496.在在Method框框中中指指定定聚聚类类过过程程是是否否调调整整类类中中心心点点。其其中中，Iterate and classify表表示示在在聚聚类类分分析析的的每每一一步步都都重重新新确确定定类类中中心心点点(SPSS默默认认)；Classify only表表示示聚聚类类分分析析过过程程中中类类中中心心点点始始终为初始类中心点终为初始类中心点,此时仅进行一次迭代。此时仅进行一次迭代。7.单单击击Iterate按按钮钮确确定定中中止止聚聚类类的的条条件件。在在Maximum iterations框框后后

31、输输入入最最大大迭迭代代次次数数，在在Convergence criterion框框后后输输入入类类中中心心的的偏偏移移量量。Use running means选选项项，选选中中表表示示每每当当一一个个样样本本被被分分配配到到一一类类时时便便立立即即重重新新计计算算新新的的类类中中心心点点，此此时时类类中中心心点点与与样样本本分分配配的的前前后后顺顺序序有有关关；不不选选该该项项表表示示当当完完成成所所有有样样本的类分配后再计算类中心本的类分配后再计算类中心,通常不选。通常不选。508.单单击击Save按按钮钮将将聚聚类类分分析析的的部部分分结结果果以以SPSS变变量量的的形形式式保保存存到到

32、数数据据编编辑辑窗窗口口中中，其其中中Cluster membership表表示示保保存存样样本本所所属属类类的的类类号号；Distance from cluster center表表示示保保存存样样本本距距各各自类中心点的距离。自类中心点的距离。9.单单击击Option按按钮钮确确定定输输出出哪哪些些相相关关分分析析结结果果和和缺缺失失值值的的处处理理方方式式。Statistics框框中中，Initial cluster centers表表 示示 输输 出出 初初 始始 类类 中中 心心 点点；ANOVA table表表示示以以聚聚类类分分析析产产生生的的类类为为控控制制变变量量，以以k个个

33、变变量量为为观观测测变变量量进进行行单单因因素素方方差差分分析析，并并输输出出各各个个变变量量的的方方差差分分析析表表；Cluster information for each case表表示示输输出出样样本本分分类类信信息及距所属类中心点的距离。息及距所属类中心点的距离。519.3.3 K-Means聚类分析应用举例 用用2001年年全全国国31个个省省市市自自治治区区各各类类小小康康好好人人现现代代化化指指数数的的数数据据，对对地地区区进进行行K-Means聚聚类类分分析析，要要求求分分成成3类类，初初始始类类中中心点由心点由SPSS自行确定。自行确定。聚类分析（小康指数）.sav52初始类中心初始类中心5354最终聚类中心最终聚类中心5556各指数的均值在三类中的差异是显著的各指数的均值在三类中的差异是显著的57作业2书书上上第第326页页，五五商商厦厦总总体体评评价价的的K-Means聚类分析聚类分析聚类分析（商厦评分）.sav58Thank you