数学建模聚类分析课件.ppt

《数学建模聚类分析课件.ppt》由会员分享，可在线阅读，更多相关《数学建模聚类分析课件.ppt（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数学建模聚类分析数学建模聚类分析第1页，此课件共47页哦 聚类分析（Cluster Analysis）是研究“物以类聚”的一种多元统计方法。国内有人称它为群分析、点群分析、簇群分析等。第2页，此课件共47页哦一、聚类分析的基本概念一、聚类分析的基本概念l研究对样品或指标进行分类的一种多元统计方法,是依据研究对象的个体的特征进行分类的方法。l聚类分析把分类对象按一定规则分成若干类，这些类非事先给定的，而是根据数据特征确定的。在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似。l职能是建立一种能按照样品或变量的相似程度进行分类的方法。第3页，此课件共47页哦 聚聚类分析的分析的

2、基本思想基本思想是是认为我我们所研究的所研究的样本或指本或指标（变量）之量）之间存在着程度不同的相似性（存在着程度不同的相似性（亲疏关系）。于是根据一批疏关系）。于是根据一批样本的多个本的多个观测指指标，具体找出一些彼此之，具体找出一些彼此之间相似程度相似程度较大的大的样本（或指本（或指标）聚合）聚合为一一类，把另外一些彼此之，把另外一些彼此之间相似程度相似程度较大的大的样本（或指本（或指标）又聚合）又聚合为另一另一类，关系密切的聚合到一个小的分，关系密切的聚合到一个小的分类单位，关系疏位，关系疏远的聚合到的聚合到一个大的分一个大的分类单位，直到把所有位，直到把所有样本（或指本（或指标）都聚合

3、完）都聚合完毕，把不同，把不同的的类型一一划分出来，形成一个由小到大的分型一一划分出来，形成一个由小到大的分类系系统。最后把整个分。最后把整个分类系系统画成一画成一张谱系系图，用它把所有，用它把所有样本（或指本（或指标）间的的亲疏关系表疏关系表示出来。示出来。这种方法是最常用的、最基本的一种，称种方法是最常用的、最基本的一种，称为系系统聚聚类分析。分析。第4页，此课件共47页哦第5页，此课件共47页哦l除此以外，还有动态聚类法、图论聚类法、模糊聚类法、有序聚类法等。l聚类分析有两种：一种是对样本的分类，称为聚类分析有两种：一种是对样本的分类，称为Q型，另一种是对变量（指标）的分类，称为型，另一

4、种是对变量（指标）的分类，称为R型。型。第6页，此课件共47页哦lR型聚类分析的主要作用：型聚类分析的主要作用：不但可以了解个别变量之间的亲疏程度，而且可以了解各个变量组合之间的亲疏程度。根据变量的分类结果以及它们之间的关系，可以选择主要变量进行Q型聚类分析或回归分析。（R2为选择标准）lQ型聚类分析的主要作用：型聚类分析的主要作用：可以综合利用多个变量的信息对样本进行分析。分类结果直观，聚类谱系图清楚地表现数值分类结果。聚类分析所得到的结果比传统分类方法更细致、全面、合理。在课堂上主要讨论Q型聚类分析,Q型聚类常用的统计量是距离.第7页，此课件共47页哦l那么那么Q型系统聚类法则可以表述为：

5、型系统聚类法则可以表述为：把样本看成把样本看成n维空间的点，而把变量看成维空间的点，而把变量看成n维空间的坐标轴，维空间的坐标轴，m个样本开始时自成一类，个样本开始时自成一类，然后规定各类之间的距离，将距离最小的一对然后规定各类之间的距离，将距离最小的一对并成一类，然后再计算距离，直到所有单位全并成一类，然后再计算距离，直到所有单位全部合并为止。部合并为止。第8页，此课件共47页哦二、距离和相似系数二、距离和相似系数 在进行聚类分析时，样本间的相似系数和距离有多种不同的定义，通常按特性来划分。变量特征的测度尺度有三种类型：间隔尺度（由连续的实值变量表示）有序尺度（没有明确的数量表示，只有次序关

6、系，如产品等级）名义尺度（具有某种特性，如性别）第9页，此课件共47页哦l从一组复杂数据产生一个相当简单的类结构，必然要求进行“相关性”或“相似性”的度量。在相似性度量的选择中，常常包含许多主观上的考虑，但最重要的考虑是指标的性质或观测的尺度（名义、次序、间隔）以及相关知识。l课堂上主要讨论的指标测量为间隔尺度的情况。第10页，此课件共47页哦距离距离l每个样本有p个指标，因此每个样本可以看成p维空间中的一个点，n个样本就组成p维空间中的n个点，这时很自然想到用距离来度量n个样本间的接近程度。l用 表示第i个样本与第j个样本之间的距离。一切距离应满足以下条件：第11页，此课件共47页哦常见的距

7、离有：常见的距离有：lblock distance 绝对值距离绝对值距离：leuclidean distance 欧式距离欧式距离lsquared euclidean distance 平方欧式距离平方欧式距离lchebychev distance 切比雪夫距离切比雪夫距离lminkowski distance 明考斯基距离明考斯基距离 （明氏距离）（明氏距离）当当q=1,2时，为绝对值、欧式距离；时，为绝对值、欧式距离；若趋近无穷时，则为切比雪夫距离若趋近无穷时，则为切比雪夫距离第12页，此课件共47页哦明氏距离在实际的运用很多，但有一些缺点。例如明氏距离在实际的运用很多，但有一些缺点。例如

8、观测值的单位问题；指标间的相关问题，因此改进观测值的单位问题；指标间的相关问题，因此改进得到以下两种距离：得到以下两种距离：lLanberra 兰氏距离lMahalanobis 马氏距离l以上都是样本间距离的定义。第13页，此课件共47页哦相似系数相似系数l夹角余弦l相关系数l变量间的距离l利用相似系数来定义距离l利用样本协差阵来定义距离l把变量Xi的n次观测值看成n维空间的点,在n维空间中定义m个变量间的距离。第14页，此课件共47页哦l 夹角余弦 两变量的夹角余弦定义为：第15页，此课件共47页哦l 相关系数 两变量的相关系数定义为：第16页，此课件共47页哦三、系统聚类法基本步骤1.选择

9、样本间距离的定义及类间距离的定义；2.计算n个样本两两之间的距离，得到距离矩阵 3.构造个类，每类只含有一个样本；4.合并符合类间距离定义要求的两类为一个新类；5.计算新类与当前各类的距离。若类的个数为1，则转到步骤6，否则回到步骤4;6.画出聚类图；7.决定类的个数和类。第17页，此课件共47页哦系统聚类分析的方法系统聚类分析的方法l系统聚类法的聚类原则决定于样品间的距离以及类间距离的定义，类间距离的不同定义就产生了不同的系统聚类分析方法。l以下用dij表示样品X(i)和X(j)之间的距离，当样品间的亲疏关系采用相似系数Cij时，令 ；l以下用D(p,q)表示类Gp和Gq之间的距离。第18页

10、，此课件共47页哦1.最短距离法(SINgle method)第19页，此课件共47页哦2.最长距离法最长距离法(COMplete method)第20页，此课件共47页哦最长距离最短距离ABCDEF第21页，此课件共47页哦例例为了研究辽宁等5省1991年城镇居民生活消费情况的分布规律，根据调查资料做类型分类，用最短距离做类间分类。数据如下：x1x2x3x4x5x6x7x8辽宁17.9039.778.4912.9419.2711.052.0413.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421

11、.559.76甘肃49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.81第22页，此课件共47页哦l将每一个省区视为一个样本，先计算5个省区之间的欧式距离，用D0表示距离矩阵（对称阵，故给出下三角阵）因此将3.4合并为一类，为类6，替代了3、4两类l类6与剩余的1、2、5之间的距离分别为：d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12 d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06 d(3,4)5=min(d35,d

12、45)=min(3.51,2.21)=2.21第23页，此课件共47页哦l得到新矩阵合并类6和类5，得到新类7l类7与剩余的1、2之间的距离分别为：d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80 d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54第24页，此课件共47页哦 得到新矩阵合并类1和类2，得到新类8l此时，我们有两个不同的类：类7和类8。它们的最近距离d(7,8)=min(d71,d72)=min(12.80,23.54)=12.80第25页，此课件共47页哦l得到矩阵最后合并为一个大类。这就是按最短距离定义

13、类间距离的系统聚类方法。最长距离法类似！第26页，此课件共47页哦3.重心法重心法(CENtroid method)第27页，此课件共47页哦4.类平均法类平均法(AVErage method)第28页，此课件共47页哦中间距离第29页，此课件共47页哦5.离差平方和法离差平方和法(WARD)l基本思想来源于方差分析。它认为：如果分类正确，同类间的类差平基本思想来源于方差分析。它认为：如果分类正确，同类间的类差平方和应较小，类与类之间的离差平方和应较大方和应较小，类与类之间的离差平方和应较大.l具体做法是，先将具体做法是，先将n个样本分成一类个样本分成一类,然后每次缩小一类然后每次缩小一类,每

14、缩小一类每缩小一类离差平方和就要增大离差平方和就要增大.第30页，此课件共47页哦 离差平方和法离差平方和法(WARD)第31页，此课件共47页哦系统聚类方法的统一系统聚类方法的统一 第32页，此课件共47页哦系统聚类法参数表系统聚类法参数表 第33页，此课件共47页哦类的个数的确定类的个数的确定l由适当的阈值确定；l根据数据点的散布直观地确定类的个数；l根据统计量确定分类个数；第34页，此课件共47页哦类的个数的确定类的个数的确定l根据谱系图确定分类个数的准则：l各类重心间的距离必须很大；l类中保包含的元素不要太多；l类的个数必须符合实际应用；l如果采用几种不同的聚类方法处理，则在各种聚类图

15、中应该发现相同的类。第35页，此课件共47页哦四、系四、系统聚聚类的参数的参数选择聚聚类类别：统计图：树型型谱系系图 冰柱冰柱谱系系图聚聚类方法方法1.Between-groups linkage 类间平均法平均法 两两类距离距离为两两类元素两两之元素两两之间平均平方距离平均平方距离2.Within-groups linkage 类内平均法内平均法两两类距离距离为合并后合并后类中可能元素两两之中可能元素两两之间平均平方距离平均平方距离3.Nearest neighbor 最短距离法最短距离法 4.Furthest neighbor 最最长距离法距离法5.Centroid clustering

16、重心法重心法 (欧式距离欧式距离)6.Median clustering 中中间距离法距离法 (欧式距离欧式距离)7.Ward Method 离差平方法离差平方法 (欧式距离欧式距离)第36页，此课件共47页哦SPSS界面指南界面指南第37页，此课件共47页哦五、系五、系统聚聚类法之例：地区按法之例：地区按经济效益分效益分类某年全国某年全国28个省区个省区经济效益指效益指标表，演示表，演示第38页，此课件共47页哦类间平均法类间平均法第39页，此课件共47页哦类内平均法类内平均法第40页，此课件共47页哦最短距离法最短距离法第41页，此课件共47页哦最长距离法最长距离法第42页，此课件共47页哦重心法重心法第43页，此课件共47页哦中间距离法中间距离法第44页，此课件共47页哦离差平方法离差平方法第45页，此课件共47页哦六、快速聚类法快速聚类法的聚类数由用户指定，分类是唯一的。快速聚类法的聚类数由用户指定，分类是唯一的。l1.分类数分类数l2.聚类方法聚类方法:method:iterate and clussifyl clussify onlyl3.聚类中心聚类中心:centersl4.迭代次数迭代次数:iteratel5.保存分类结果保存分类结果:save第46页，此课件共47页哦第47页，此课件共47页哦