第十三章 聚类分析优秀PPT.ppt

《第十三章 聚类分析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第十三章 聚类分析优秀PPT.ppt（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十三章 聚类分析第一页，本课件共有65页例13-1 为研究辽宁等5省区1991年城镇居民生活费的分布规律，根据调查资料做类型划分。指标名称及原始数据见下表。X1 人均粮食支出 X5 人均衣着商品支出X2 人均副食支出 X6 人均日用品支出X3 人均烟、酒、茶支出 X7 人均燃料支出X4 人均其他副食支出 X8 人均非商品支出X1X2X3X4X5X6X7X8辽宁浙江河南甘肃青海7.907.689.429.1610.0639.7750.3727.9327.9828.648.4911.358.209.0110.5212.9413.308.149.3210.0519.2719.2516.1715.9

2、916.1811.0514.599.429.108.392.022.751.551.821.9613.2914.879.7611.3510.81第二页，本课件共有65页第一节 聚类分析的基本概念一、聚类分析的基本思想 我们分析的样本或指标之间存在着程度不同的相似性（亲疏关系）。于是根据一批样本的多个观测指标，具体找出一些能够度量样本或指标之间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到所有的样本（或指标）都聚合完

3、毕，把不同的类型一一划分出来，形成一个由小到大的分类系统，最后在把所有的样品（或指标）间的亲疏关系表示出来，这种方法称为系统聚类分析法。第三页，本课件共有65页二、聚类分析法的分类 聚类分析根据分类对象的不同分为Q型和 R 型两大类。Q型聚类分析是对样本进行分类处理的，R 型聚类分析是对变量(指标)进行分类处理的。1.R型聚类分析的特点 (1)R型聚类分析不但可以了解个别变量之间的亲疏程度，而且可以了解各个变量组合之间的亲疏程度。(2)根据变量的分类结果以及它们之间的关系，可以选择主要变量进行回归分析。第四页，本课件共有65页2.Q型聚类分析的特点 (1)可以综合利用多个变量的信息对样本进行分

4、类。(2)分类结果是直观的，聚类谱系图非常清楚地表现其数值分类结果。(3)聚类分析所得到的结果比传统的分类方法更细致，全面，合理。第五页，本课件共有65页第二节 距离和相似系数 对样本进行聚类时，我们将样本的“靠近”程度由某种距离来刻画；对指标的聚类，往往用某种相似系数来刻画。一、距离 设我们研究的分类对象有p个指标，现选择n个样本，由p个指标和n个样本就可以获得一个n p的数据矩阵第六页，本课件共有65页该矩阵的元素 表示第 个样品的第 个指标。在矩阵中，每个样本有p个指标，故每个样本可以看成为 p 维空间中的一个点，n个样本就组成 p 维空间中的n个点，此时自然用距离来度量样本之间接近的程

5、度。1.绝对值距离第七页，本课件共有65页2.欧氏距离3.明考斯基距离第八页，本课件共有65页二、相似系数1.相似系数 刻画两个指标之间的相似程度的大小，用 表示第 个指标与第 个指标间的相似系数。2.相似系数的特点 的绝对值越接近于1，表示指标与指标间的关系越密切；值的绝对值越接近于0，表示指标与指标间的关系越疏远。第九页，本课件共有65页3.相似系数的计算(1)夹角余弦第十页，本课件共有65页(2)相关系数第十一页，本课件共有65页第三节 系统聚类法系统聚类法的基本步骤(1)计算n个样本间的距离 ，记作 ；(2)构造n个类，每个类只包含一个样本；(3)合并距离最近的两类为一新类；(4)计算

6、新类与当前各类的距离，若类的个数等于1，转到步骤(5)，否则回到步骤(3)；(5)画聚类图；(6)决定类的个数和类。第十二页，本课件共有65页例13-1 为研究辽宁等5省区1991年城镇居民生活费的分布规律，根据调查资料做类型划分。指标名称及原始数据见下表。X1 人均粮食支出 X5 人均衣着商品支出X2 人均副食支出 X6 人均日用品支出X3 人均烟、酒、茶支出 X7 人均燃料支出X4 人均其他副食支出 X8 人均非商品支出X1X2X3X4X5X6X7X8辽宁浙江河南甘肃青海7.907.689.429.1610.0639.7750.3727.9327.9828.648.4911.358.209

7、.0110.5212.9413.308.149.3210.0519.2719.2516.1715.9916.1811.0514.599.429.108.392.022.751.551.821.9613.2914.879.7611.3510.81第十三页，本课件共有65页 将表中的每个省区看成一个样本，先计算5省区之间的欧氏距离，用D(0)表示各样本之间的距离矩阵。第十四页，本课件共有65页一、最短距离法例13-1中开始有五类：即这五类之间的距离等于5个样本之间的距离。第十五页，本课件共有65页第十六页，本课件共有65页其各类之间元素的最近距离是：第十七页，本课件共有65页得到各类之间的距离矩阵

8、为D(1)第十八页，本课件共有65页D(1)中类间最小距离是d65=2.21,合并类G6和G5，得新类再利用第十九页，本课件共有65页得到各类之间的距离矩阵为D(2)第二十页，本课件共有65页第二十一页，本课件共有65页D(2)中类间最小距离是d12=11.67,合并类G1和G2，得新类这时我们有两个类G7=3,4,5和G8=1,2,它们的最近距离第二十二页，本课件共有65页得到各类之间的距离矩阵到D(3)第二十三页，本课件共有65页河南3甘肃4青海5辽宁1浙江2051015 把上述谱系聚类过程作图表示，即成谱系图13-1。从图13-1上可以清楚地看到各个类在不同距离水平上聚集和归并的过程。图

9、13-1 最短距离法谱系图第二十四页，本课件共有65页河南3甘肃4青海5辽宁1浙江2051015 在距离为2.20这个水平上首先合并样本3，4；然后，更新距离矩阵后又在距离为2.21这个水平上合并类G5和G6=3，4，变成新类G7=3，4，5；在距离为11.67这个水平上又合并G1和G2，得新类G8=1，2；最后在距离为12.8这个水平上又把类G7=3，4，5和G8=1，2合并，形成一个大类的聚类系统。第二十五页，本课件共有65页 最后决定类的个数与类。图13-1中在距离为12处切一刀，就得到两大类：一类是 河南，甘肃，青海，另一类是 辽宁，浙江。河南3甘肃4青海5辽宁1浙江2051015第二

10、十六页，本课件共有65页二、最长距离法例13-1中开始有五类：即这五类之间的距离等于5个样本之间的距离。第二十七页，本课件共有65页D(0)中最小的元素是的d34=2.20,故将类G3和G4合并成一新类第二十八页，本课件共有65页其各类之间的距离是：第二十九页，本课件共有65页第三十页，本课件共有65页D(1)中类间最小距离是d65=3.51,合并类G6和G5，得新类再利用第三十一页，本课件共有65页第三十二页，本课件共有65页第三十三页，本课件共有65页D(2)中类间最小距离是d12=11.67,合并类G1和G2，得新类这时我们有两个类G7=3,4,5和G8=1,2,它们的最近距离第三十四页

11、，本课件共有65页第三十五页，本课件共有65页 把上述谱系聚类过程作图表示，即成谱系图13-2。从图13-2上可以清楚地看到各个类在不同距离水平上聚集和归并的过程。0510251520图13-2 最长距离法谱系图河南3甘肃4青海5辽宁1浙江2第三十六页，本课件共有65页 在距离为2.20这个水平上首先合并对象(34)；然后，更新距离矩阵后又在距离为3.51这个水平上合并类(34)和(2)，变成新类(345)；在距离为11.67这个水平上又合并(2)和(1)，得新类(12)；最后在距离为24.63这个水平上又把类(345)和(12)合并，形成一个大类的聚类系统。河南3甘肃4青海5辽宁1浙江205

12、10251520第三十七页，本课件共有65页 最后决定类的个数与类。如果在图13-2距离为23处切一刀，即得到两类。他们分别是河南，甘肃，青海与辽宁，浙江。河南3甘肃4青海5辽宁1浙江20510251520第三十八页，本课件共有65页 例13-2 下面的矩阵为5个对象之间的假想的欧氏距离，用系统聚类法对5个对象进行分类。第三十九页，本课件共有65页一、最短距离法 (1)先即每个对象看成一类，这五类之间的距离等于5个样本之间的距离。(2)将两个距离最接近的对象进行合并。由于第四十页，本课件共有65页故将对象5和3合并成一新类，形成聚类（35）其最近相邻的距离是：第四十一页，本课件共有65页 从D

13、(0)中将对象3和5的行和列删除，并将对应于(35)行和列加上，便得到新的距离聚阵D(1)。第四十二页，本课件共有65页 D(1)中类间最小距离是d(35)1=3,合并类(35)和(1)，得到一个新的聚类（135）其最近相邻的距离是：第四十三页，本课件共有65页便得到新的距离聚阵D(2)。第四十四页，本课件共有65页D(2)中类间最小距离是d24=5,合并类(2)和(4)，得新类这时我们有两个类(135)和(24),它们的最近距离第四十五页，本课件共有65页最终的矩阵变为第四十六页，本课件共有65页135240246 把上述谱系谱系聚类过程作图表示，即成谱系图。从图上可以清楚地看到各个类在不同

14、距离水平上聚集和归并的过程。第四十七页，本课件共有65页135240246 在距离为2这个水平上首先合并对象(35)；然后更新距离矩阵后，又在距离为3这个水平上合并类1和(35)变成新类(135)；在距离为5这个水平上又合并2和4得新类(24)；最后在距离为6这个水平上又把类(135)和(24)合并，形成一个大类的聚类系统，最后决定类的个数与类。135240246第四十八页，本课件共有65页二、最长距离法最长距离法是用 (1)先即每个对象看成一类，这五类之间的距离等于5个样本之间的距离。第四十九页，本课件共有65页D(0)中最小的元素是2,故将类3和类5合并成一新类（35）,第五十页，本课件共

15、有65页其最近相邻的距离是：第五十一页，本课件共有65页 从D0中将对象3和5的行和列删除，并将对应于(35)行和列加上，便得到新的距离聚阵D1。第五十二页，本课件共有65页便得到新的距离聚阵D2。D(1)中类间最小距离是d24=5,合并类(2)和(4)，得到一个新的聚类（24）其最近相邻的距离是：第五十三页，本课件共有65页D(2)中类间最小距离是d(24)1=9,合并类(24)和(1)，得新类(124)这时我们有两个类(124)和(35),它们的最近距离第五十四页，本课件共有65页最终的矩阵变为第五十五页，本课件共有65页 把上述谱系谱系聚类过程作图表示，即成谱系图。从图上可以清楚地看到各

16、个类在不同距离水平上聚集和归并的过程。12435081242610第五十六页，本课件共有65页 在距离为2这个水平上首先合并对象(35)；然后，更新距离矩阵后又在距离为5这个水平上合并类2和4，变成新类(24)；在距离为9这个水平上又合并(24)和1，得新类(124)；最后在距离为11这个水平上又把类(124)和(35)合并，形成一个大类的聚类系统。最后决定类的个数与类。12435081242610第五十七页，本课件共有65页第五十八页，本课件共有65页三、重心法 重心法是用一个类的重心（该类样品的均值）来代表这个类，类与类之间的距离就用重心之间的距离来代表。若样本之间采用欧氏距离，设某一步将

17、类 与 合并成 ，它们各有 个样本，它们的重心用 表示，显然，第五十九页，本课件共有65页这就是重心法的距离递推公式。例13-3 用重心法对例13-1五个省份分类 (1)计算个样本之间的距离平方，就是将例13-1中距离矩阵的各个元素平方。第六十页，本课件共有65页在 找最小的数，它们是 ，将 和 合并为 计算新类 与各类的距离，这时第六十一页，本课件共有65页类似地可以计算出 时的值，结果列于下表第六十二页，本课件共有65页 对 重复上述步骤，将类 和 合并成类 平方距离矩阵变为 ，计算结果列于下表将类 和 合并成类 平方距离矩阵变为 ，计算结果列于下表第六十三页，本课件共有65页河南3甘肃4青海5辽宁1浙江20510251520第六十四页，本课件共有65页第六十五页，本课件共有65页