聚类分析的思路和方法ppt课件.ppt

《聚类分析的思路和方法ppt课件.ppt》由会员分享，可在线阅读，更多相关《聚类分析的思路和方法ppt课件.ppt（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2022-8-51聚类分析Cluster Analysis2什么是聚类分析？v聚类分析是根据聚类分析是根据“物以类聚物以类聚”的道理，对样本或指的道理，对样本或指标进行分类的一种多元统计分析方法，它们讨论的标进行分类的一种多元统计分析方法，它们讨论的对象是大量的样本，要求能合理地按各自的特性进对象是大量的样本，要求能合理地按各自的特性进行合理的分类，没有任何模式可供参考或依循，即行合理的分类，没有任何模式可供参考或依循，即在没有先验知识的情况下进行的。在没有先验知识的情况下进行的。3聚类分析的基本思想聚类分析的基本思想v基本思想是认为研究的样本或变量之间存在着程度不同的相基本思想是认为研究的样

2、本或变量之间存在着程度不同的相似性（亲疏关系）。似性（亲疏关系）。v根据一批样本的多个观测指标，找出一些能够度量样本或变根据一批样本的多个观测指标，找出一些能够度量样本或变量之间相似程度的统计量，以这些统计量作为分类的依据，量之间相似程度的统计量，以这些统计量作为分类的依据，把一些相似程度较大的样本（或指标）聚合为一类，把另外把一些相似程度较大的样本（或指标）聚合为一类，把另外一些相似程度较大的样本（或指标）聚合为一类，直到把所一些相似程度较大的样本（或指标）聚合为一类，直到把所有的样本（或指标）都聚合完毕，形成一个由小到大的分类有的样本（或指标）都聚合完毕，形成一个由小到大的分类系统。系统。

3、4聚类分析无处不在聚类分析无处不在v谁经常光顾商店，谁买什么东西，买多少？谁经常光顾商店，谁买什么东西，买多少？v按会员卡记录的光临次数、光临时间、性别、年龄、按会员卡记录的光临次数、光临时间、性别、年龄、职业、购物种类、金额等变量分类职业、购物种类、金额等变量分类v这样商店可以这样商店可以v识别顾客购买模式（如喜欢一大早来买酸奶和鲜肉，识别顾客购买模式（如喜欢一大早来买酸奶和鲜肉，习惯周末时一次性大采购）习惯周末时一次性大采购）v刻画不同的客户群的特征刻画不同的客户群的特征5聚类分析无处不在v挖掘有价值的客户，并制定相应的促销策略：挖掘有价值的客户，并制定相应的促销策略：如，对经常购买酸奶的

4、客户如，对经常购买酸奶的客户对累计消费达到对累计消费达到12个月的老客户个月的老客户v针对潜在客户派发广告，比在大街上乱发传针对潜在客户派发广告，比在大街上乱发传单命中率更高，成本更低！单命中率更高，成本更低！6聚类分析无处不在v谁是银行信用卡的黄金客户？谁是银行信用卡的黄金客户？利用储蓄额、刷卡消费金额、诚信度等变量对客户分类，利用储蓄额、刷卡消费金额、诚信度等变量对客户分类，找出找出“黄金客户黄金客户”！这样银行可以这样银行可以制定更具吸引力的服务，留住客户！比如：制定更具吸引力的服务，留住客户！比如：v一定额度和期限的免息透支服务！一定额度和期限的免息透支服务！v赠送百盛的贵宾打折卡！赠

5、送百盛的贵宾打折卡！v在他或她生日的时候送上一个小蛋糕！在他或她生日的时候送上一个小蛋糕！7聚类的应用领域v经济领域：经济领域：帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买模式来刻画不同的客户群的特征。模式来刻画不同的客户群的特征。谁喜欢打国际长途，在什么时间，打到那里？谁喜欢打国际长途，在什么时间，打到那里？对住宅区进行聚类，确定自动提款机对住宅区进行聚类，确定自动提款机ATM的安放位置的安放位置股票市场板块分析，找出最具活力的板块龙头股股票市场板块分析，找出最具活力的板块龙头股企业信用等级分类企业信用等级分类v生物学领

6、域生物学领域推导植物和动物的分类；推导植物和动物的分类；对基因分类，获得对种群的认识对基因分类，获得对种群的认识v数据挖掘领域数据挖掘领域作为其他数学算法的预处理步骤，获得数据分布状况，集中对特定作为其他数学算法的预处理步骤，获得数据分布状况，集中对特定的类做进一步的研究的类做进一步的研究8 例例 对对10位应聘者做智能检验。位应聘者做智能检验。3项指标项指标X，Y和和Z分别表示数学推理能力、空间想象能力和语分别表示数学推理能力、空间想象能力和语言理解能力。得分如下，选择合适的统计方法言理解能力。得分如下，选择合适的统计方法对应聘者进行分类。对应聘者进行分类。应聘者12345678910X28

7、181121262016142422Y29232223292322232927Z2818162226222224242491011 聚类分析根据一批样本的许多观聚类分析根据一批样本的许多观测指标，按照一定的数学公式具体地测指标，按照一定的数学公式具体地计算一些样本或一些指标的相似程度，计算一些样本或一些指标的相似程度，把相似的样本或指标归为一类，把不把相似的样本或指标归为一类，把不相似的归为一类。相似的归为一类。 12样本或变量间亲疏程度的测度样本或变量间亲疏程度的测度v研究样本或变量的亲疏程度的数量指标有两种：研究样本或变量的亲疏程度的数量指标有两种：v一种叫一种叫相似系数相似系数，性质越接

8、近的变量或样本，它，性质越接近的变量或样本，它们的相似系数越接近于们的相似系数越接近于1 1或一或一l l，而彼此无关的变量，而彼此无关的变量或样本它们的相似系数则越接近于或样本它们的相似系数则越接近于0 0，相似的为一类，相似的为一类，不相似的为不同类。不相似的为不同类。v另一种叫另一种叫距离距离，它是将每一个样本看作，它是将每一个样本看作p p维空间的维空间的一个点，并用某种度量测量点与点之间的距离，距一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。离较近的归为一类，距离较远的点应属于不同的类。13v设有设有n个样本单位，每个样本测得个样本单位，每

9、个样本测得p项指标项指标（变量），原始资料矩阵为：（变量），原始资料矩阵为：npnnppxxxxxxxxxX21222211121114定比变量的聚类统计量：距离统计量定比变量的聚类统计量：距离统计量v绝对距离绝对距离v欧式距离欧式距离v明考斯基距离明考斯基距离v兰氏距离兰氏距离v马氏距离马氏距离v切氏距离切氏距离15v1. 绝对距离（绝对距离（Block距离）距离）v2. 欧氏距离欧氏距离(Euclidean distance) pkjkikijxxd11 2112)(2pkjkikijxxd16v3. 明考斯基距离明考斯基距离(Minkowski)v4. 兰氏距离兰氏距离v5. 马氏距离马

10、氏距离v6. 切比雪夫距离切比雪夫距离(Chebychev)qpkqjkikijxxd11)( pkjkikjkikijxxxxLd1211jijiijxxSxxMdjkikpkijxxd1max)(1718v1. 相关系数相关系数v2. 夹角余弦夹角余弦2112121nkkjnkkinkkjkiijxxxxCnknkjkjikinkjkjikiijxxxxxxxxr11221)()()(定比变量的聚类统计量：相似系数统计量定比变量的聚类统计量：相似系数统计量19计数变量计数变量(Count)（离散变量）的聚类统计量（离散变量）的聚类统计量v对于计数变量或离散变量，可用于度量样本对于计数变量或

11、离散变量，可用于度量样本（或变量）之间的相似性或不相似性程度的（或变量）之间的相似性或不相似性程度的统计量主要有卡方测度（统计量主要有卡方测度（Chi-square measure）和和Phi方测度（方测度（Phi-square measure）。）。20二值二值(Binary)变量的聚类统计量变量的聚类统计量21聚类的类型v根据聚类对象的不同，分为根据聚类对象的不同，分为Q型聚类和型聚类和R型聚型聚类类。vQ型聚类：样本之间的聚类即型聚类：样本之间的聚类即Q型聚类分析，型聚类分析，则常用则常用距离距离来测度样本之间的亲疏程度。来测度样本之间的亲疏程度。vR型聚类：变量之间的聚类即型聚类：变量

12、之间的聚类即R型聚类分析，型聚类分析，常用常用相似系数相似系数来测度变量之间的亲疏程度。来测度变量之间的亲疏程度。22聚类的类型v根据聚类方法的不同分为系统聚类和根据聚类方法的不同分为系统聚类和K均值均值聚类。聚类。v系统聚类：又称为层次聚类（系统聚类：又称为层次聚类（hierarchical cluster），是指聚类过程是按照一定层次进），是指聚类过程是按照一定层次进行的。行的。vK均值聚类（均值聚类（ K-means Cluster ）23层次聚类层次聚类v基本思想：基本思想： 在聚类分析的开始，每个样本（或变量）自成一类；在聚类分析的开始，每个样本（或变量）自成一类；然后，按照某种方法

13、度量所有样本（或变量）之间的亲疏程然后，按照某种方法度量所有样本（或变量）之间的亲疏程度，并把最相似的样本（或变量）首先聚成一小类；接下来，度，并把最相似的样本（或变量）首先聚成一小类；接下来，度量剩余的样本（或变量）和小类间的亲疏程度，并将当前度量剩余的样本（或变量）和小类间的亲疏程度，并将当前最接近的样本（或变量）与小类聚成一类；再接下来，再度最接近的样本（或变量）与小类聚成一类；再接下来，再度量剩余的样本（或变量）和小类间的亲疏程度，并将当前最量剩余的样本（或变量）和小类间的亲疏程度，并将当前最接近的样本（或变量）与小类聚成一类；如此反复，直到所接近的样本（或变量）与小类聚成一类；如此反

14、复，直到所有样本（或变量）聚成一类为止。有样本（或变量）聚成一类为止。24v系统聚类法不仅需要度量个体与个体之间的系统聚类法不仅需要度量个体与个体之间的距离，还要度量类与类之间的距离。类间距距离，还要度量类与类之间的距离。类间距离被度量出来之后，距离最小的两个小类将离被度量出来之后，距离最小的两个小类将首先被合并成为一类。由类间距离定义的不首先被合并成为一类。由类间距离定义的不同产生了不同的系统聚类法。同产生了不同的系统聚类法。25类间距离的度量方法v最短距离法最短距离法(Nearest Neighbor)v最长距离法最长距离法(Further Neighbor)v组间平均连接法组间平均连接法

15、(Between-group linkage)v组内平均连接法组内平均连接法(Within-group linkage)v重心法重心法(Centroid clustering)v中位数法中位数法(Median clustering)v离差平方和法离差平方和法(Wards method)26最短距离法最短距离法(Nearest Neighbor)v以两类中距离最近的两个个体之间的距离作以两类中距离最近的两个个体之间的距离作为类间距离。为类间距离。27x21x12x22x1112d28最长距离法最长距离法(Further Neighbor)v以两类中距离最远的两个个体之间的距离作以两类中距离最远的

16、两个个体之间的距离作为类间距离。为类间距离。29x11x2112d30组间平均连接法组间平均连接法(Between-group linkage)v以两类个体两两之间距离的平均数作为类间以两类个体两两之间距离的平均数作为类间距离。距离。311299ddd组间平均连接法（Between-group Linkage)32组内平均连接法组内平均连接法(Within-group linkage)v将两类个体合并为一类后，以合并后类中所将两类个体合并为一类后，以合并后类中所有个体之间的平均距离作为类间距离。有个体之间的平均距离作为类间距离。33 组内平均连接法（组内平均连接法（Within-group L

17、inkage)1234566ddddddx21x12x22x1134重心法重心法(Centroid clustering)v以两类变量均值（重心）之间的距离作为类以两类变量均值（重心）之间的距离作为类间距离。间距离。35重心距离：均值点的距离重心距离：均值点的距离11,x y22,xy36中位数法中位数法(Median clustering)v以两类变量中位数之间的距离作为类间距离。以两类变量中位数之间的距离作为类间距离。37离差平方和法离差平方和法(Wards method)v离差平方和法是由离差平方和法是由Ward提出的，因此也称为提出的，因此也称为Ward方法。具体做法是，先将方法。具体

18、做法是，先将n个个体各自个个体各自成一类，然后每次减少一类，随着类与类的成一类，然后每次减少一类，随着类与类的不断聚合，类内的离差平方和必然不断增大，不断聚合，类内的离差平方和必然不断增大，选择使离差平方和增加最小的两类合并，直选择使离差平方和增加最小的两类合并，直到所有的个体归为一类为止。到所有的个体归为一类为止。38 主要步骤主要步骤1. 1. 选择变量选择变量 （1）和聚类分析的目的密切相关）和聚类分析的目的密切相关 （2）反映要分类变量的特征）反映要分类变量的特征 （3）在不同研究对象上的值有明显的差异）在不同研究对象上的值有明显的差异 （4）变量之间不能高度相关）变量之间不能高度相关

19、2. 2. 数据变换处理数据变换处理 为了消除各指标量纲的影响，需要对原始数为了消除各指标量纲的影响，需要对原始数据进行必要的变换处理。据进行必要的变换处理。 393. 3. 计算聚类统计量计算聚类统计量 聚类统计量是根据变换以后的数据计算得聚类统计量是根据变换以后的数据计算得到的一个新数据，它用于表明各样本或变量到的一个新数据，它用于表明各样本或变量间的关系密切程度。常用的统计量有距离和间的关系密切程度。常用的统计量有距离和相似系数两大类。相似系数两大类。40 4. 4. 聚类聚类 主要涉及两个问题：主要涉及两个问题： （1 1）选择聚类的方法）选择聚类的方法 （2 2）确定形成的类数）确定

20、形成的类数415. 5. 聚类结果的解释和证实聚类结果的解释和证实 对聚类结果进行解释是希望对各个类的特征进行准对聚类结果进行解释是希望对各个类的特征进行准确的描述，给每类起一个合适的名称。这一步可以借助确的描述，给每类起一个合适的名称。这一步可以借助各种描述性统计量进行分析，通常的做法是计算各类在各种描述性统计量进行分析，通常的做法是计算各类在各聚类变量上的均值，对均值进行比较，还可以解释各各聚类变量上的均值，对均值进行比较，还可以解释各类产生的原因。类产生的原因。 42k-均值聚类均值聚类K-means ClustervK-均值聚类也叫快速聚类均值聚类也叫快速聚类v要求事先确定分类数要求事

21、先确定分类数v运算速度快（特别是对于大样本）运算速度快（特别是对于大样本）43k-均值聚类均值聚类K-means Clusterv系统首先选择系统首先选择k个聚类中心，根据其他观测值个聚类中心，根据其他观测值与聚类中心的距离远近，将所有的观测值分与聚类中心的距离远近，将所有的观测值分成成k类；再将类；再将k个类的中心（均值）作为新的个类的中心（均值）作为新的聚类中心，重新按照距离进行分类；聚类中心，重新按照距离进行分类；，这样一直迭代下去，直到达到指定的迭代次这样一直迭代下去，直到达到指定的迭代次数或达到中止迭代的判据要求时，聚类过程数或达到中止迭代的判据要求时，聚类过程结束。结束。44聚类分

22、析终止的条件聚类分析终止的条件v迭代次数：当目前的迭代次数等于指定的迭迭代次数：当目前的迭代次数等于指定的迭代次数（代次数（SPSS默认为默认为10）时终止迭代。）时终止迭代。v类中心点偏移程度：新确定的类中心点距上类中心点偏移程度：新确定的类中心点距上个类中心点的最大偏移量小于等于指定的量个类中心点的最大偏移量小于等于指定的量（SPSS默认为默认为0）时终止聚类。）时终止聚类。45例子1：31个省区小康和现代化指数的聚类分析v利用利用2001年全国年全国31个省市自治区各类小康和个省市自治区各类小康和现代化指数的数据，对地区进行聚类分析。现代化指数的数据，对地区进行聚类分析。v数据中包括数据

23、中包括6类指数：综合指数、社会结构指类指数：综合指数、社会结构指数、经济与技术发展指数、人口素质指数、数、经济与技术发展指数、人口素质指数、生活质量指数、法制与治安指数生活质量指数、法制与治安指数。46系统聚类47vAgglomeration schedule：输出聚类过程表：输出聚类过程表vProximity matrix：输出各个体之间的距离：输出各个体之间的距离矩阵矩阵vCluster Membership：每个个体类别归属表：每个个体类别归属表48vDendrogram：聚类树形图：聚类树形图vIcicle：冰柱图：冰柱图495051525354如果分为3类v第第1类：北京、上海、天津

24、类：北京、上海、天津v第第2类：江苏、山东、辽宁、浙江、广东、福类：江苏、山东、辽宁、浙江、广东、福建、黑龙江、吉林建、黑龙江、吉林v第第3类：其余省区类：其余省区55输出各组的统计信息在数据文件中保存分在数据文件中保存分类信息类信息DataSplit file565758K均值聚类vIterate and classify：不断计算新的类中心，替换旧的类中心。：不断计算新的类中心，替换旧的类中心。vClassify only：根据初始类中心进行聚类，不改变类中心。：根据初始类中心进行聚类，不改变类中心。596061626364例子2：土壤样本聚类分析v有有20个土壤样本，利用含沙量、淤泥含量

25、、个土壤样本，利用含沙量、淤泥含量、粘土含量、有机物、粘土含量、有机物、pH值值5个变量的数据对个变量的数据对这这20个土壤样本进行分类。个土壤样本进行分类。65系统聚类6667686970Agglomeration ScheduleAgglomeration Schedule619.17300989.21300151620.512001335.5170071517.65400812.69700123101.157401113151.3740513671.543101412141.60500183111.75070151182.467601413163.0988316164.136129193

26、84.856112163137.3741513173410.4241601831212.8741710191313.54514180Stage12345678910111213141516171819Cluster 1Cluster 2Cluster CombinedCoefficientsCluster 1Cluster 2Stage Cluster FirstAppearsNext Stage71Cluster MembershipCluster Membership111111222322222111111222222222222432222432222222222111111222Ca

27、se1: 12: 23: 34: 45: 56: 67: 78: 89: 910: 1011: 1112: 1213: 1314: 1415: 1516: 1617: 1718: 1819: 1920: 204 Clusters3 Clusters2 Clusters7273K均值聚类74757677Cluster MembershipCluster Membership 124.869 222.224 335.408 415.115 535.502 622.765 722.019 813.210 913.215 1034.132 1137.719 1235.694 1337.641 1435

28、.183 1518.530 1633.199 1738.753 1822.065 1921.393 2036.426Case Number1234567891011121314151617181920样品编号ClusterDistance78ANOVAANOVA1193.169214.2281783.863.000661.973210.7721761.453.00077.04026.3821712.072.0011.3372.562172.380.123.0102.29817.033.968含沙量淤泥含量粘土含量有机物PH值Mean SquaredfClusterMean SquaredfEr

29、rorFSig.The F tests should be used only for descriptive purposes because the clusters havebeen chosen to maximize the differences among cases in different clusters. Theobserved significance levels are not corrected for this and thus cannot beinterpreted as tests of the hypothesis that the cluster means are equal.79R型聚类的例子型聚类的例子v裁判为运动员打分裁判为运动员打分