聚类分析与判别分析.ppt

关于聚类分析与判别分析现在学习的是第1页，共22页概述概述n聚类分析：顾名思义是一种分类的多元统计分析方法。按照个体或聚类分析：顾名思义是一种分类的多元统计分析方法。按照个体或样品样品(individuals,objects or subjects)的特征将它们分类，使同的特征将它们分类，使同一类别内的个体具有尽可能高的同质性一类别内的个体具有尽可能高的同质性(homogeneity)，而类别之，而类别之间则应具有尽可能高的异质性间则应具有尽可能高的异质性(heterogeneity)。现在学习的是第2页，共22页基本思想基本思想n指标：描述研究对象（样本或变量，常用的是样本）之间的联指标：描述研究对象（样本或变量，常用的是样本）之间的联系的紧密程度。系的紧密程度。“距离距离”和和“相似系数相似系数”，假定研究对象均用，假定研究对象均用所谓的所谓的“点点”来表示。来表示。n一般的规则是将一般的规则是将“距离距离”较小的点或较小的点或“相似系数相似系数”较大的点归为较大的点归为同一类，将同一类，将“距离距离”较大的点或较大的点或“相似系数相似系数”较小的点归为不同较小的点归为不同的类！的类！n严格说来聚类分析并不是纯粹的统计技术，它不像其它多元分析法那严格说来聚类分析并不是纯粹的统计技术，它不像其它多元分析法那样，需要从样本去推断总体。聚类分析一般都涉及不到有关统计量的样，需要从样本去推断总体。聚类分析一般都涉及不到有关统计量的分布，也不需要进行显著性检验。聚类分析更像是一种建立假设的方分布，也不需要进行显著性检验。聚类分析更像是一种建立假设的方法，而对假设的检验还需要借助其它统计方法。法，而对假设的检验还需要借助其它统计方法。现在学习的是第3页，共22页n分分类：类：nQ型型聚聚类类对对样样本本进进行行分分类类处处理；理；nR型型聚聚类类对对变变量量进进行行分分类类处处理。理。n方方法：法：n系系统统聚聚类类法法nK-均均值值聚聚类类法法n有有序序样样品品聚聚类类法法现在学习的是第4页，共22页个体之间距离的度量方法个体之间距离的度量方法n针针对对连连续续变变量量的的距距离离测测量：量：n欧欧式式距距离；离；n欧欧式式距距离离平平方；方；n切切比比雪雪夫夫距距离；离；n布布洛洛克克距距离；离；n明明可可夫夫斯斯基基距距离；离；n自自定定义义距距离；离；n夹夹角角余余弦；弦；n皮皮尔尔逊逊相相关关系系数数现在学习的是第5页，共22页n针针对对计计数数变变量量的的距距离离测测度：度：n卡卡方方距距离；离；nPhi方方距距离；离；n针针对对二二值值变变量量的的距距离离测测度：度：n二二值值欧欧式式距距离；离；n二二值值欧欧式式距距离离平平方；方；n不不对对称称指指数；数；n不不相相似似性性测测度；度；n方方差差一般聚类个数在46类，不宜太多，或太少；现在学习的是第6页，共22页聚类分析应注意的问题聚类分析应注意的问题n所选择的变量应符合聚类的要求；所选择的变量应符合聚类的要求；n各变量的变量值不应有数量级上的差异；各变量的变量值不应有数量级上的差异；n各变量间不应有较强的线性相关关系。各变量间不应有较强的线性相关关系。现在学习的是第7页，共22页系统聚类系统聚类/层次聚类层次聚类n凝凝聚聚式式聚聚类类和和分分解解式式聚聚类。类。n基基本本思思想：想：距距离离相相近近的的样样品品（或或变变量）量）先先聚聚成成类，类，距距离离相相远远的的后后聚聚成成类，类，过过程程一一直直进进行行下下去，去，每每个个样样品品（或或变变量）量）总总能能聚聚到到合合适适的的类类中。中。n步步骤：骤：n第第一一步：步：每每个个样样品品独独自自聚聚成成类，类，共共n个个类；类；n第第二二步：步：把把距距离离较较近近的的两两个个样样品品聚聚合合为为一一类，类，形形成成n-1类；类；n第第三三步：步：将将n-1个个类类中中“距距离离”最最近近的的两两个个类类进进一一步步聚聚成成一一类，类，形形成成n-2类；类；n直直至至所所有有样样品品全全聚聚成成一一类。类。现在学习的是第8页，共22页个体与小类，小类与小类个体与小类，小类与小类“亲疏程度亲疏程度”度量方法度量方法n组间平均连接距离：个体与小类中每个个体距离的平均值；组间平均连接距离：个体与小类中每个个体距离的平均值；n组内平均连接距离：组内平均连接距离：个体与小类中每个个体距离以及小类内各个体与小类中每个个体距离以及小类内各个体间距离的平均值个体间距离的平均值；n最近邻距离：个体与小类中每个个体距离的最小值；最近邻距离：个体与小类中每个个体距离的最小值；n最远邻距离：个体与小类中每个个体距离的最大值；最远邻距离：个体与小类中每个个体距离的最大值；n重心距离：该个体与小类的重心点的距离；重心距离：该个体与小类的重心点的距离；n中位数距离；中位数距离；n离差平方和法：使小类内离差平方和增加最小的两小类应首先合并离差平方和法：使小类内离差平方和增加最小的两小类应首先合并为一类。为一类。现在学习的是第9页，共22页案例案例9.3 系统聚类分析系统聚类分析n案例案例9.3.sav的资料是我国的资料是我国2005年各地城镇居民平均每人全年家庭年各地城镇居民平均每人全年家庭收入来源统计表。试对全国各地区的收入来源结构进行分类。收入来源统计表。试对全国各地区的收入来源结构进行分类。现在学习的是第10页，共22页二阶段聚类分析二阶段聚类分析n二阶段聚类分析是一种新型的分层聚类方法，主要用于一般的数据二阶段聚类分析是一种新型的分层聚类方法，主要用于一般的数据挖掘和多元统计的交叉领域挖掘和多元统计的交叉领域模式分类，其算法适用于任何尺度模式分类，其算法适用于任何尺度的变量。的变量。现在学习的是第11页，共22页案例案例9.2 二阶段聚类分析二阶段聚类分析n案例案例9.1.sav的资料是美国的资料是美国22个公共团体的数据。试以个公共团体的数据。试以“是否使用核是否使用核能源能源”为分类变量对这些团体进行聚类分析，其中为分类变量对这些团体进行聚类分析，其中“1”表示使用核能表示使用核能源，源，“0”表示没有使用核能源，观测这两类企业所属类别的情况。表示没有使用核能源，观测这两类企业所属类别的情况。现在学习的是第12页，共22页K-均值聚类均值聚类n是是一一种种快快速速聚聚类类法。法。适适合合处处理理大大样样本本数数据。据。n基基本本思思想想是：是：将将每每个个样样品品分分配配给给最最近近中中心心（均均值）值）的的类类中，中，具具体体步步骤：骤：n指指定定聚聚类类数数目目Kn确确定定K个个初初始始类类中中心心（用用户户指指定定或或系系统统指指定）定）；n根根据据距距离离最最近近原原则则进进行行分分类类（欧欧式式距距离）离）；n重重新新确确定定K个个类类中中心；心；判判断断是是否否已已满满足足终终止止聚聚类类分分析析的的条条件：件：迭迭代代次次数数或或类类中中心心偏偏移移程程度度（0.02）。现在学习的是第13页，共22页案例案例9.2 K中心聚类分析中心聚类分析n案例案例9.2.sav的资料是我国的资料是我国2006年各地区能源消耗的情况。根据不年各地区能源消耗的情况。根据不同省市的能源消耗情况，进行分类，以了解我国不同地区的能源同省市的能源消耗情况，进行分类，以了解我国不同地区的能源消耗情况。消耗情况。现在学习的是第14页，共22页判别分析概述判别分析概述n根据已有的划分类别的有关历史资料，确定一种判定方法，判定一根据已有的划分类别的有关历史资料，确定一种判定方法，判定一个新的样本归属哪一类。个新的样本归属哪一类。n设定有设定有k个样本，对每个样本测得个样本，对每个样本测得p项指标的数据，已知每个项指标的数据，已知每个样本属于样本属于k个类别中的每一类。利用这些数据，找出一种判别个类别中的每一类。利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来，并对测得同样样本点尽可能地区别开来，并对测得同样p项指标数据的一个项指标数据的一个新样本，能判定这个样本属于哪一类。新样本，能判定这个样本属于哪一类。现在学习的是第15页，共22页距离判别法距离判别法n两个总体两个总体G1和和G2，均值向量：，均值向量：；协差阵：；协差阵：n数据点数据点X到总体到总体Gi的马氏距离定义为：的马氏距离定义为：n设判别函数：设判别函数：n若若W(X)0，则，则 ；若；若W(X)0，则，则 ；若若W(X)=0，则，则待判断。待判断。n各总体协方差阵相等，判别函数为线性判别函数；各总体协方差阵相等，判别函数为线性判别函数；n各总体协方差阵不相等，判别函数为二次判别函数；各总体协方差阵不相等，判别函数为二次判别函数；21和21和)2,1)()()(),()(1)()(2iXXGXDiiii),(),()(1222GXDGXDXW1GX 2GX 现在学习的是第16页，共22页Fisher判别分析判别分析n借助方差分析思想构造一个线性判别函数：借助方差分析思想构造一个线性判别函数：n系数系数 确定的原则是使得各总体之间区别最大，确定的原则是使得各总体之间区别最大，而使得每个总体内部的离差最小。而使得每个总体内部的离差最小。n判别规则：待判样品的典型判别函数值判别规则：待判样品的典型判别函数值ux与第与第G类中心的典型判别函类中心的典型判别函数值数值u(i)的绝对离差的绝对离差 最小，则可以将该样品判入第最小，则可以将该样品判入第G类。类。XuXuXuXuXUpp2211)(21),(puuuu)(iuxu现在学习的是第17页，共22页Bayes判别分析判别分析n基本思想：首先计算待判样品属于各个总体的条件概率基本思想：首先计算待判样品属于各个总体的条件概率,然后比较这然后比较这k个概率值的大小，将待判样本个概率值的大小，将待判样本归为条件概率最大的总体。归为条件概率最大的总体。n在观测到一个样品在观测到一个样品x的情况下，利用的情况下，利用Bayes公式，可以计算它来自第公式，可以计算它来自第g个个总体的后验概率：总体的后验概率：。n当当 时，则可将时，则可将x判入第判入第h类。类。n先验概率取法有两种：一是用样品频率代替；二是令各总体先验概率先验概率取法有两种：一是用样品频率代替；二是令各总体先验概率相等。相等。klxlP,2,1),|(kiiiggxfqxfqxgP1)()()|()|(max)|(1xgPxhPkg现在学习的是第18页，共22页案例案例9.4 判别分析判别分析n案例案例9.4.sav的资料为三种不同种类豇豆豆荚的质量、宽度和长度的资料为三种不同种类豇豆豆荚的质量、宽度和长度的统计表，每种类型都为的统计表，每种类型都为20个样本，共个样本，共60个样本。试根据不同种个样本。试根据不同种类豇豆豆荚的特征，建立鉴别不同种类豇豆判别方程。类豇豆豆荚的特征，建立鉴别不同种类豇豆判别方程。现在学习的是第19页，共22页nFisher判别函数判别函数ny1=-11.528+0.21质量质量-1.95宽度宽度+0.186长度长度ny2=-15.935+0.112质量质量+2.246宽度宽度+0.092长度长度典型判别式函数系数函数12质量.210.112宽度.9502.246长度.186.092(常量)-11.528-15.935非标准化系数现在学习的是第20页，共22页n三个类别的三个类别的Bayes判别函数判别函数n类别类别1=-90.708+2.557质量质量+18.166宽度宽度+1.922长度长度n类别类别2=-212.439+3.589质量质量+32.357宽度宽度+2.78长度长度n类别类别3=-404.182+6.8519质量质量-10.855宽度宽度+5.697长度长度分类函数系数类型123质量2.5573.5896.851宽度18.16632.357-10.855长度1.9222.7805.697(常量)-90.708-212.439-404.182Fisher 的线性判别式函数现在学习的是第21页，共22页感谢大家观看感谢大家观看现在学习的是第22页，共22页