建模培训讲座第四讲优秀PPT.ppt

《建模培训讲座第四讲优秀PPT.ppt》由会员分享，可在线阅读，更多相关《建模培训讲座第四讲优秀PPT.ppt（117页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一节第一节 引言引言n“物以类聚，人以群分物以类聚，人以群分”。对事物进行分类，是人们相识事。对事物进行分类，是人们相识事物的动身点，也是人们相识世界的一种重要方法。因此，分物的动身点，也是人们相识世界的一种重要方法。因此，分类学已成为人们相识世界的一门基础科学。类学已成为人们相识世界的一门基础科学。n在生物、经济、社会、人口等领域的探讨中，存在着大量量在生物、经济、社会、人口等领域的探讨中，存在着大量量化分类探讨。例如：在生物学中，为了探讨生物的演化，生化分类探讨。例如：在生物学中，为了探讨生物的演化，生物学家须要依据各种生物不同的特征对生物进行分类。在经物学家须要依据各种生物不同的特征对

2、生物进行分类。在经济探讨中，为了探讨不同地区城镇居民生活中的收入和消费济探讨中，为了探讨不同地区城镇居民生活中的收入和消费状况，往往须要划分不同的类型去探讨。在地质学中，为了状况，往往须要划分不同的类型去探讨。在地质学中，为了探讨矿物勘探，须要依据各种矿石的化学和物理性质和所含探讨矿物勘探，须要依据各种矿石的化学和物理性质和所含化学成分把它们归于不同的矿石类。在人口学探讨中，须要化学成分把它们归于不同的矿石类。在人口学探讨中，须要构造人口生育分类模式、人口死亡分类状况，以此来探讨人构造人口生育分类模式、人口死亡分类状况，以此来探讨人口的生育和死亡规律。口的生育和死亡规律。n但历史上这些分类方法

3、多半是人们主要依靠阅历作定性分类，但历史上这些分类方法多半是人们主要依靠阅历作定性分类，致使很多分类带有主观性和随意性，不能很好地揭示客观事致使很多分类带有主观性和随意性，不能很好地揭示客观事物内在的本质差别与联系；特殊是对于多因素、多指标的分物内在的本质差别与联系；特殊是对于多因素、多指标的分类问题，定性分类的精确性不好把握。为了克服定性分类存类问题，定性分类的精确性不好把握。为了克服定性分类存在的不足，人们把数学方法引入分类中，形成了数值分类学。在的不足，人们把数学方法引入分类中，形成了数值分类学。后来随着多元统计分析的发展，从数值分类学中渐渐分别出后来随着多元统计分析的发展，从数值分类学

4、中渐渐分别出了聚类分析方法。随着计算机技术的不断发展，利用数学方了聚类分析方法。随着计算机技术的不断发展，利用数学方法探讨分类不仅特别必要而且完全可能，因此近年来，聚类法探讨分类不仅特别必要而且完全可能，因此近年来，聚类分析的理论和应用得到了快速的发展。分析的理论和应用得到了快速的发展。n聚类分析就是分析如何对样品（或变量）进行量化分类的问聚类分析就是分析如何对样品（或变量）进行量化分类的问题。通常聚类分析分为题。通常聚类分析分为Q型聚类和型聚类和R型聚类。型聚类。Q型聚类是对样型聚类是对样品进行分类处理，品进行分类处理，R型聚类是对变量进行分类处理。型聚类是对变量进行分类处理。其次节其次节

5、相像性的量度相像性的量度 一一 样品相似性的度量样品相似性的度量 二二 变量相似性的度量变量相似性的度量 一、样品相像性的度量一、样品相像性的度量n在聚类之前，要首先分析样品间的相像性。在聚类之前，要首先分析样品间的相像性。Q型聚类分析，型聚类分析，常用距离来测度样品之间的相像程度。每个样品有常用距离来测度样品之间的相像程度。每个样品有p个指标个指标（变量）从不同方面描述其性质，形成一个（变量）从不同方面描述其性质，形成一个p维的向量。假维的向量。假如把如把n个样品看成个样品看成p维空间中的维空间中的n个点，则两个样品间相像程个点，则两个样品间相像程度就可用度就可用p维空间中的两点距离公式来度

6、量。两点距离公式维空间中的两点距离公式来度量。两点距离公式可以从不同角度进行定义，令可以从不同角度进行定义，令dij 表示样品表示样品Xi与与Xj的距离，的距离，存在以下的距离公式：存在以下的距离公式：n1明考夫斯基距离明考夫斯基距离n (5.1)n明考夫斯基距离简称明氏距离，按的取值不同又可分成：明考夫斯基距离简称明氏距离，按的取值不同又可分成：n欧氏距离是常用的距离，大家都比较熟悉，但是前面已经提欧氏距离是常用的距离，大家都比较熟悉，但是前面已经提到，在解决多元数据的分析问题时，欧氏距离就显示出了它到，在解决多元数据的分析问题时，欧氏距离就显示出了它的不足之处。一是它没有考虑到总体的变异对

7、的不足之处。一是它没有考虑到总体的变异对“距离距离”远近远近的影响，明显一个变异程度大的总体可能与更多样品近些，的影响，明显一个变异程度大的总体可能与更多样品近些，既使它们的欧氏距离不确定最近；另外，欧氏距离受变量的既使它们的欧氏距离不确定最近；另外，欧氏距离受变量的量纲影响，这对多元数据的处理是不利的。为了克服这方面量纲影响，这对多元数据的处理是不利的。为了克服这方面的不足，可用的不足，可用“马氏距离马氏距离”的概念。的概念。2马氏距离马氏距离 设设Xi与与Xj是来自均值向量为是来自均值向量为，协方差为，协方差为=（0）的总）的总体体G中的中的p维样品，则两个样品间的马氏距离为维样品，则两个

8、样品间的马氏距离为 (5.5)马氏距离又称为广义欧氏距离。明显，马氏距离与上述各种马氏距离又称为广义欧氏距离。明显，马氏距离与上述各种距离的主要不同就是它考虑了观测变量之间的相关性。假如距离的主要不同就是它考虑了观测变量之间的相关性。假如各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒数作为权则马氏距离就退化为用各个观测指标的标准差的倒数作为权数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异性，不再受各指标量纲的影响。将原始数据作线性变

9、换后，性，不再受各指标量纲的影响。将原始数据作线性变换后，马氏距离不变。马氏距离不变。3兰氏距离兰氏距离 (5.6)它仅适用于一切它仅适用于一切Xij0的状况，这个距离也可以克服各个指的状况，这个距离也可以克服各个指标之间量纲的影响。这是一个自身标准化的量，由于它对大标之间量纲的影响。这是一个自身标准化的量，由于它对大的奇异值不敏感，它特殊适合于高度偏倚的数据。虽然这个的奇异值不敏感，它特殊适合于高度偏倚的数据。虽然这个距离有助于克服明氏距离的第一个缺点，但它也没有考虑指距离有助于克服明氏距离的第一个缺点，但它也没有考虑指标之间的相关性。标之间的相关性。4距离选择的原则距离选择的原则 一般说来

10、，同一批数据接受不同的距离公式，会得到不同的分一般说来，同一批数据接受不同的距离公式，会得到不同的分类结果。产生不同结果的缘由，主要是由于不同的距离公式类结果。产生不同结果的缘由，主要是由于不同的距离公式的侧重点和实际意义都有不同。因此我们在进行聚类分析时，的侧重点和实际意义都有不同。因此我们在进行聚类分析时，应留意距离公式的选择。通常选择距离公式应留意遵循以下应留意距离公式的选择。通常选择距离公式应留意遵循以下的基本原则：的基本原则：（1）要考虑所选择的距离公式在实际应用中有明确的意义。）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏距离就有特别明确的空间距离概念。马氏距离有消退如欧

11、氏距离就有特别明确的空间距离概念。马氏距离有消退量纲影响的作用。量纲影响的作用。（2）要综合考虑对样本观测数据的预处理和将要接受的聚类）要综合考虑对样本观测数据的预处理和将要接受的聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处分析方法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就可接受欧氏距离。理，则通常就可接受欧氏距离。（3）要考虑探讨对象的特点和计算量的大小。样品间距离公）要考虑探讨对象的特点和计算量的大小。样品间距离公式的选择是一个比较困难且带有确定主观性的问题，我们应式的选择是一个比较困难且带有确定主观性的问题，我们应依据探讨对象的特点不同做出具体分折。实际中，聚类

12、分析依据探讨对象的特点不同做出具体分折。实际中，聚类分析前不妨摸爽性地多选择几个距离公式分别进行聚类，然后对前不妨摸爽性地多选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最合适的距离测度方聚类分析的结果进行对比分析，以确定最合适的距离测度方法。法。二、变量相像性的度量二、变量相像性的度量n 多元数据中的变量表现为向量形式，在几何上可用多维空间多元数据中的变量表现为向量形式，在几何上可用多维空间中的一个有向线段表示。在对多元数据进行分析时，相对于中的一个有向线段表示。在对多元数据进行分析时，相对于数据的大小，我们更多地对变量的变更趋势或方向感爱好。数据的大小，我们更多地对

13、变量的变更趋势或方向感爱好。因此，变量间的相像性，我们可以从它们的方向趋同性或因此，变量间的相像性，我们可以从它们的方向趋同性或“相关性相关性”进行考察，从而得到进行考察，从而得到“夹角余弦法夹角余弦法”和和“相关系数相关系数”两种度量方法。两种度量方法。n1、夹角余弦、夹角余弦n两变量两变量Xi与与Xj看作看作p维空间的两个向量，这两个向量间维空间的两个向量，这两个向量间的夹角余弦可用下式进行计算的夹角余弦可用下式进行计算n (5.7)n明显，明显，cos ij 1。2相关系数相关系数相关系数常常用来度量变量间的相像性。变量相关系数常常用来度量变量间的相像性。变量Xi与与Xj的相关的相关系数

14、定义为系数定义为 (5.8)明显也有，明显也有，rij 1。n无论是夹角余弦还是相关系数，它们的确定值都小于无论是夹角余弦还是相关系数，它们的确定值都小于1，作，作为变量近似性的度量工具，我们把它们统记为为变量近似性的度量工具，我们把它们统记为cij。当。当 cij n=1时，说明变量时，说明变量Xi与与Xj完全相像；当完全相像；当 cij 近似于近似于1时，时，说说n明变量明变量Xi与与Xj特别亲密；当特别亲密；当 cij =0时，说明变量时，说明变量Xi与与Xj完完n全不一样；当全不一样；当 cij 近似于近似于0时，说明变量时，说明变量Xi与与Xj差别很差别很大。大。n据此，我们把比较相

15、像的变量聚为一类，把不太相像的据此，我们把比较相像的变量聚为一类，把不太相像的变量归到不同的类内。变量归到不同的类内。n在实际聚类过程中，为了计算便利，我们把变量间相像性的在实际聚类过程中，为了计算便利，我们把变量间相像性的度量公式作一个变换为度量公式作一个变换为n dij=1 cij (5.9)n或者或者 n dij2=1 cij2 (5.10)n 用表示变量间的距离远近，小则与先聚成一类，这比较符用表示变量间的距离远近，小则与先聚成一类，这比较符合人们的一般思维习惯。合人们的一般思维习惯。第三节第三节 系统聚类分析法系统聚类分析法 一一 系统聚类的基本思想系统聚类的基本思想 二二 类间距离

16、与系统聚类法类间距离与系统聚类法 三三 类间距离的统一性类间距离的统一性 一、系统聚类的基本思想一、系统聚类的基本思想n系统聚类的基本思想是：距离相近的样品（或变量）先聚成系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程始终进行下去，每个样品类，距离相远的后聚成类，过程始终进行下去，每个样品（或变量）总能聚到合适的类中。系统聚类过程是：假设总（或变量）总能聚到合适的类中。系统聚类过程是：假设总共有共有n个样品（或变量），第一步将每个样品（或变量）独个样品（或变量），第一步将每个样品（或变量）独自聚成一类，共有自聚成一类，共有n类；其次步依据所确定的样品（或变量）

17、类；其次步依据所确定的样品（或变量）“距离距离”公式，把距离较近的两个样品（或变量）聚合为一公式，把距离较近的两个样品（或变量）聚合为一类，其它的样品（或变量）仍各自聚为一类，共聚成类，其它的样品（或变量）仍各自聚为一类，共聚成n 1类；类；第三步将第三步将“距离距离”最近的两个类进一步聚成一类，共聚成最近的两个类进一步聚成一类，共聚成n 2类；类；，以上步骤始终进行下去，最终将全部的样品，以上步骤始终进行下去，最终将全部的样品（或变量）全聚成一类。为了直观地反映以上的系统聚类过（或变量）全聚成一类。为了直观地反映以上的系统聚类过程，可以把整个分类系统画成一张谱系图。所以有时系统聚程，可以把整

18、个分类系统画成一张谱系图。所以有时系统聚类也称为谱系分析。除系统聚类法外，还有有序聚类法、动类也称为谱系分析。除系统聚类法外，还有有序聚类法、动态聚类法、图论聚类法、模糊聚类法等，限于篇幅，我们只态聚类法、图论聚类法、模糊聚类法等，限于篇幅，我们只介绍系统聚类方法。介绍系统聚类方法。二、类间距离与系统聚类法二、类间距离与系统聚类法n在进行系统聚类之前，我们首先要定义类与类之间的距离，在进行系统聚类之前，我们首先要定义类与类之间的距离，由类间距离定义的不同产生了不同的系统聚类法。常用的类由类间距离定义的不同产生了不同的系统聚类法。常用的类间距离定义有间距离定义有8种之多，与之相应的系统聚类法也有

19、种之多，与之相应的系统聚类法也有8种，分种，分别为最短距离法、最长距离法、中间距离法、重心法、类平别为最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法和离差平方和法。它们的归类均法、可变类平均法、可变法和离差平方和法。它们的归类步骤基本上是一样的，主要差异是类间距离的计算方法不同。步骤基本上是一样的，主要差异是类间距离的计算方法不同。以下用以下用dij表示样品表示样品Xi与与Xj之间距离，用之间距离，用Dij表示类表示类Gi与与Gjn之间的距离。之间的距离。1.最短距离法最短距离法定义类与之间的距离为两类最近样品的距离，即为定义类与之间的距离为两类最近样品的距离，即为

20、 (5.11)设类与合并成一个新类记为，则任一类与的距离为设类与合并成一个新类记为，则任一类与的距离为 (5.12)n最短距离法进行聚类分析的步骤如下：最短距离法进行聚类分析的步骤如下：n（1）定义样品之间距离，计算样品的两两距离，得一）定义样品之间距离，计算样品的两两距离，得一距离距离 n 阵记为阵记为D（0），起先每个样品自成一类，明显这时，起先每个样品自成一类，明显这时Dij=n dij。n（2）找出距离最小元素，设为）找出距离最小元素，设为Dpq，则将，则将Gp和和Gq合并合并成一个成一个n 新类，记为新类，记为Gr，即，即Gr=Gp，Gq。n（3）按（）按（5.12）计算新类与其它类

21、的距离。）计算新类与其它类的距离。n （4）重复（）重复（2）、（）、（3）两步，直到全部元素。并成一类）两步，直到全部元素。并成一类为为n 止。假如某一步距离最小的元素不止一个，则对应这些止。假如某一步距离最小的元素不止一个，则对应这些n 最小元素的类可以同时合并。最小元素的类可以同时合并。n【例【例5.1】设有六个样品，每个只测量一个指标，分别是】设有六个样品，每个只测量一个指标，分别是1，2，5，7，9，10，试用最短距离法将它们分类。，试用最短距离法将它们分类。n（1）样品接受确定值距离，计算样品间的距离阵）样品接受确定值距离，计算样品间的距离阵D（0），见表，见表5.1表表5.1（2

22、）D（0）中最小的元素是中最小的元素是D12D561，于是将，于是将G1和和G2合合并成并成G7，G5和和G6合并成合并成G8，并利用（，并利用（5.12）式计算新类与其）式计算新类与其它类的距离它类的距离D（1），见表，见表5.2表表5.2 （3）在）在D（1）中最小值是中最小值是D34D482，由于，由于G4与与G3合并，合并，又与又与G8合并，因此合并，因此G3、G4、G8合并成一个新类合并成一个新类G9，其与其，其与其它类的距离它类的距离D（2），见表，见表5.3表表5.3（4）最终将）最终将G7和和G9合并成合并成G10，这时全部的六个样品聚为，这时全部的六个样品聚为一类，其过程终止

23、。一类，其过程终止。上述聚类的可视化过程见图上述聚类的可视化过程见图5.1所示，横坐标的刻度表示并类所示，横坐标的刻度表示并类的距离。这里我们应当留意，聚类的个数要以实际状况所定，的距离。这里我们应当留意，聚类的个数要以实际状况所定，其具体内容将在后面探讨。其具体内容将在后面探讨。图图5.1 最短距离聚类法的过程最短距离聚类法的过程n再找距离最小两类并类，直至全部的样品全归为一类为止。再找距离最小两类并类，直至全部的样品全归为一类为止。可以看出最长距离法与最短距离法只有两点不同：可以看出最长距离法与最短距离法只有两点不同：n一是类与类之间的距离定义不同；一是类与类之间的距离定义不同；n另一是计

24、算新类与其它类的距离所用的公式不同。另一是计算新类与其它类的距离所用的公式不同。3.中间距离法中间距离法最短、最长距离定义表示都是极端状况，我们定义类间距离最短、最长距离定义表示都是极端状况，我们定义类间距离可以既不接受两类之间最近的距离也不接受两类之间最远的可以既不接受两类之间最近的距离也不接受两类之间最远的距离，而是接受介于两者之间的距离，称为中间距离法。距离，而是接受介于两者之间的距离，称为中间距离法。中间距离将类中间距离将类Gp与与Gq类合并为类类合并为类Gr，则随意的类，则随意的类Gk和和Gr的距离公式为的距离公式为 (14 0)(5.15)设设DkqDkp，假如接受最短距离法，则，

25、假如接受最短距离法，则Dkr=Dkp，假如，假如接受接受最长距离法，则最长距离法，则Dkr=Dkq。如图。如图5.2所示，所示，(5.15)式就是取式就是取它们（最长距离与最短距离）的中间一点作为计算它们（最长距离与最短距离）的中间一点作为计算Dkr的依的依据。据。n特殊当特殊当=14，它表示取中间点算距离，公式为，它表示取中间点算距离，公式为n (5.16)图图5.2 中间距离法中间距离法n n n n【例【例5.2】针对例】针对例5.1的数据，试用重心法将它们聚类。的数据，试用重心法将它们聚类。n（1）样品接受欧氏距离，计算样品间的平方距离阵）样品接受欧氏距离，计算样品间的平方距离阵D2（

26、0），），见表见表5.4所示。所示。表表5.4（2）D2（0）中最小的元素是中最小的元素是D212D2561，于是将，于是将G1和和G2合合并成并成G7，G5和和G6合并成合并成G8，并利用（，并利用（5.18）式计算新类与）式计算新类与其它类的距离得到距离阵其它类的距离得到距离阵D2（1），见表，见表5.5：其中，其中，其它结果类似可以求得其它结果类似可以求得（3）在）在D2（1）中最小值是中最小值是D2344，那么，那么G3与与G4合并一个新合并一个新类类G9，其与与其它类的距离，其与与其它类的距离D2（2），见表，见表5.6：表表5.6（4）在中最小值是）在中最小值是12.5，那么与合并

27、一个新类，其与与，那么与合并一个新类，其与与其它类的距离，见表其它类的距离，见表5.7：表表5.7（5）最终将）最终将G7和和G10合并成合并成G11，这时全部的六个样品聚为一，这时全部的六个样品聚为一类，其过程终止。类，其过程终止。上述重心法聚类的可视化过程见图上述重心法聚类的可视化过程见图5.3所示，横坐标的刻度表所示，横坐标的刻度表示并类的距离。示并类的距离。图图5.3 重心聚类法的过程重心聚类法的过程6.可变类平均法可变类平均法由于类平均法中没有反映出由于类平均法中没有反映出Gp和和Gq之间的距离之间的距离Dpq的影响，的影响，因此将类平均法进一步推广，假如将因此将类平均法进一步推广，

28、假如将Gp和和Gq合并为新类合并为新类Gr，类，类Gk与新并类与新并类Gr的距离公式为：的距离公式为：（5.22）其中其中是可变的且是可变的且 2），它们），它们的均值、协差阵分别为的均值、协差阵分别为i，i，(i=1，2，m)。对。对随意给定的样品随意给定的样品x，要推断它来自哪个总体。，要推断它来自哪个总体。多总体按距离最近的准则对多总体按距离最近的准则对x进行判别归类时，首先进行判别归类时，首先计算样品计算样品x到到m个总体的马氏距离个总体的马氏距离di2(x)（i=1,2,m），），然后进行比较，把然后进行比较，把x判归距离最小的那个总体。判归距离最小的那个总体。即若即若dh2(x)=

29、mindi2(x)|i=1,2,m，则，则x Gh。计算马氏距离计算马氏距离di2(x)（i=1,2,m）时，类似地可考）时，类似地可考虑虑 1=2=m或或 i不全相等的两种状况，并用样不全相等的两种状况，并用样本统计量作为本统计量作为i和和 i的估计的估计.STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程2.2.费歇尔判别（费歇尔判别（FisherFisher）下面以两个总体为例说明费歇尔判别的思想。下面以两个总体为例说明费歇尔判别的思想。设有两个总体设有两个总体G1G1、G2G2，其均值分别为，其均值分别为1 1和和2 2，协方差阵分别，协方差阵分别 1 1

30、和和 2 2，并假定，并假定 1=1=2=2=，考虑线性组合：，考虑线性组合：y=Lxy=Lx。通过寻求合适的。通过寻求合适的L L向向量，使得来自两个总体的数据间的距离较大，而量，使得来自两个总体的数据间的距离较大，而来自同一个总体数据间的差异较小。为此，可以来自同一个总体数据间的差异较小。为此，可以证明，当选证明，当选L=cL=c 1(1(112)2)，其中，其中c c 0 0时，时，所得的投影即满足要求。从而称所得的投影即满足要求。从而称c=1c=1时的线性时的线性函数：函数：y=Lx=(y=Lx=(1 1 2)2)1x1x为费歇尔线性判别函数。为费歇尔线性判别函数。STATSTATST

31、ATSTATSASSAS软件与统计应用教程软件与统计应用教程其判别规则为：其判别规则为：其中，其中，m为两个总体均值在投影方向上的中点，即为两个总体均值在投影方向上的中点，即当当 1、2和和 未知时，可由总体未知时，可由总体G1和和G2中分别抽出中分别抽出n1和和n2个样品，计算相应的样本均值和协方差阵作为个样品，计算相应的样本均值和协方差阵作为 1、2和和 的估计。的估计。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程3.3.贝叶斯判别（贝叶斯判别（BayesBayes）(1)(1)贝叶斯判别法贝叶斯判别法 设有设有m m个总体个总体G1,GmG1,Gm，假

32、定它们各自的分，假定它们各自的分布密度分别为布密度分别为f1(x)f1(x)，f2(x)f2(x)，fm(x)fm(x)，各自，各自的先验概率（可以依据阅历事先给出或估出）分的先验概率（可以依据阅历事先给出或估出）分别为别为q1,q2,qmq1,q2,qm，明显，明显 贝叶斯判别的方法是：当抽取了一个未知总贝叶斯判别的方法是：当抽取了一个未知总体的样品体的样品x x，要推断它属于哪个总体，可用著名，要推断它属于哪个总体，可用著名的贝叶斯公式计算的贝叶斯公式计算x x属于第属于第j j个总体的后验概率：个总体的后验概率：STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用

33、教程 当当 时，推断时，推断x属于第属于第h个总体。或者个总体。或者计算按先验概率加权的误判平均损失：计算按先验概率加权的误判平均损失：然后再比较这然后再比较这m个误判平均损失的个误判平均损失的h1(x)，h2(x)，hm(x)的大小，选取其中最小的，就可以判定样品的大小，选取其中最小的，就可以判定样品x来来自该总体。自该总体。上式中上式中C(j|i)为假定原来属于为假定原来属于Gi的样品被判为属于的样品被判为属于Gj时造成的损失。当然时造成的损失。当然C(i|i)=0，C(j|i)0（i，j=1，m）。）。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 在实

34、际问题中，错判的损失可以给出定性的分析，但在实际问题中，错判的损失可以给出定性的分析，但很难用数值来表示，但应用贝叶斯判别的方法时，要求很难用数值来表示，但应用贝叶斯判别的方法时，要求定量给出定量给出C(j|i)，C(j|i)的赋值常用以下两种方法：的赋值常用以下两种方法：依据阅历人为赋值；依据阅历人为赋值；假定各种错判的损失都相等。假定各种错判的损失都相等。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)错判概率错判概率 当样品当样品x Gi，用判别法，用判别法D判别时，把判别时，把x判归判归Gj(ij)，出现错判。用出现错判。用P(j|I;D)（或简记

35、为（或简记为P(j|i)）表示实属）表示实属Gi的的样品错判为样品错判为Gj的概率，错判概率的估计方法有下面几的概率，错判概率的估计方法有下面几种：种：利用训练样本作为检验集，即用判别方法对已知样利用训练样本作为检验集，即用判别方法对已知样品进行回判，统计错判的个数以及错判的比率，作为错品进行回判，统计错判的个数以及错判的比率，作为错判率的估计。此法得出的估计一般较低。判率的估计。此法得出的估计一般较低。当训练样本的大小足够大时，可留出一些已知类别当训练样本的大小足够大时，可留出一些已知类别的样品不参与建立判别准则，而是作为检验集，并把错的样品不参与建立判别准则，而是作为检验集，并把错判的比率

36、作为错判率的估计。此法当检验集较小时估计判的比率作为错判率的估计。此法当检验集较小时估计的方差大。的方差大。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 设一法（或称为交叉确认法），每次留出一个已知设一法（或称为交叉确认法），每次留出一个已知类别的样品，而用其他类别的样品，而用其他n 1个样品建立判别准则，然后个样品建立判别准则，然后对留出的这一个已知类别的样品进行判别归类。对训练对留出的这一个已知类别的样品进行判别归类。对训练样本中样本中n个样品逐个处理后把错判的比率作为错判率的个样品逐个处理后把错判的比率作为错判率的估计。估计。(3)广义平方距离判别法广

37、义平方距离判别法 在正态总体的假定下，按贝叶斯判别的思想，在错判在正态总体的假定下，按贝叶斯判别的思想，在错判造成的损失认为相等的状况下得到的判别函数其实就是造成的损失认为相等的状况下得到的判别函数其实就是马氏距离判别在考虑先验概率及协方差阵是否相等状况马氏距离判别在考虑先验概率及协方差阵是否相等状况下的推广，故在下的推广，故在SAS的的DISCRIM过程中称为广义平方过程中称为广义平方距离判别法。距离判别法。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程4.4.逐步判别逐步判别(1)(1)各变量判别实力的检验各变量判别实力的检验 当检验当检验k k个类的均值

38、向量是否全都相等个类的均值向量是否全都相等(即检即检验验H0H0：1=1=2=2=k)k)时，否定了这个时，否定了这个假设假设H0(H0(即表明各总体的均值向量有显著性差异即表明各总体的均值向量有显著性差异)，也并不能保证其各重量的均值有显著差异，若，也并不能保证其各重量的均值有显著差异，若第第i i个重量间没有显著差异时，说明相应的变量个重量间没有显著差异时，说明相应的变量XiXi对判别分类不起作用，应当剔除。关于各变量对判别分类不起作用，应当剔除。关于各变量判别实力的检验问题是筛选判别变量的理论基础，判别实力的检验问题是筛选判别变量的理论基础，也是逐步判别的理论基础。也是逐步判别的理论基础

39、。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 变量判别实力的度量通常接受删去该变量后考察判别变量判别实力的度量通常接受删去该变量后考察判别实力的变更，即考察该变量对区分实力的变更，即考察该变量对区分k个类是否能供应更个类是否能供应更多的附加信息，然后由附加信息构造多的附加信息，然后由附加信息构造F统计量进行检验。统计量进行检验。利用利用F统计量对假设统计量对假设H0(i)(第第i个变量在个变量在k个总体中的均个总体中的均值相等值相等)作统计检验。若否定作统计检验。若否定H0(i)，表示变量，表示变量Xi对区分对区分k个总体的判别实力是显著的个总体的判别实力

40、是显著的(在显著水平在显著水平下下)。否则，。否则，变量变量Xi对区分对区分k个总体的判别实力不能供应附加信息，个总体的判别实力不能供应附加信息，这个变量应剔除。这个变量应剔除。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(2)逐步判别法的基本思想逐步判别法的基本思想 前面探讨了用全部前面探讨了用全部m个变量：个变量：X1,X2,Xm来建立判来建立判别函数对样品进行判别归类的几种方法。在这别函数对样品进行判别归类的几种方法。在这m个变量个变量中，有的变量对区分中，有的变量对区分k个总体的判别实力可能很强，有个总体的判别实力可能很强，有的可能很弱。假如不加区分

41、地把的可能很弱。假如不加区分地把m个变量全部用来建立个变量全部用来建立判别函数，则必增加大量的计算，还可能因为变量间的判别函数，则必增加大量的计算，还可能因为变量间的相关性引起计算上的困难相关性引起计算上的困难(病态或退化等病态或退化等)及计算精度的及计算精度的降低。另一方面由于一些对区分降低。另一方面由于一些对区分k个总体的判别实力很个总体的判别实力很小的变量的引入，产生干扰，致使建立的判别函数不稳小的变量的引入，产生干扰，致使建立的判别函数不稳定，反而影响判别效果，因此自然提出一个变量的选择定，反而影响判别效果，因此自然提出一个变量的选择问题。即如何从问题。即如何从m个变量中选择出对区分个

42、变量中选择出对区分k个总体有显个总体有显著判别实力的变量，来建立判别函数，用以判别归类。著判别实力的变量，来建立判别函数，用以判别归类。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程 逐步判别的基本思想和逐步回来是类似的。逐个引入逐步判别的基本思想和逐步回来是类似的。逐个引入变量，每次把一个判别实力最强的变量引入判别式，每变量，每次把一个判别实力最强的变量引入判别式，每引入一个新变量，对判别式中的老变量逐个进行检验，引入一个新变量，对判别式中的老变量逐个进行检验，如其判别实力因新变量的引入而变得不显著，应把它从如其判别实力因新变量的引入而变得不显著，应把它从判

43、别式中剔除。这种通过逐步筛选变量使得建立的判别判别式中剔除。这种通过逐步筛选变量使得建立的判别函数中仅保留判别实力显著的变量的方法，就是逐步判函数中仅保留判别实力显著的变量的方法，就是逐步判别法。别法。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程(3)逐步判别法的基本步骤逐步判别法的基本步骤 1)逐步筛选变量：依据各变量对区分逐步筛选变量：依据各变量对区分k个总体的判别个总体的判别实力的大小，按基本思想所介绍的过程来筛选变量。实力的大小，按基本思想所介绍的过程来筛选变量。SAS中的中的STEPDISC过程专用于筛选变量子集。该过程过程专用于筛选变量子集。该过

44、程利用向前选入、向后剔除或逐步筛选的方法来选择区分利用向前选入、向后剔除或逐步筛选的方法来选择区分k个总体的最佳变量子集。个总体的最佳变量子集。2)判别归类：对已选出变量子集，运用以上几节介绍判别归类：对已选出变量子集，运用以上几节介绍的判别方法对样品进行判别归类。的判别方法对样品进行判别归类。STATSTATSTATSTATSASSAS软件与统计应用教程软件与统计应用教程8.2.2 SAS中作判别分析的过程中作判别分析的过程1.DISCRIM过程简介过程简介 DISCRIM过过程程依依据据一一个个分分类类变变量量和和若若干干数数值值变变量量的的数数据据计计算算出出各各种种判判别别函函数数(判

45、判别别准准则则)，依依据据这这个个判判别别函函数数，再再将将该该批批数数据据或或其其他他数数据据中的观测分别归入已知类别中去。中的观测分别归入已知类别中去。DISCRIM过过程程用用以以获获得得判判别别准准则则的的数数据据称称之之为训练数据集为训练数据集(也称训练样本也称训练样本)。实例分析：为反映员工心理因素方面的差异性，某探讨者调研了一实例分析：为反映员工心理因素方面的差异性，某探讨者调研了一工厂工厂36名员工的名员工的6 项心理因素项心理因素，如下表所示。请依据这一分数对员工进，如下表所示。请依据这一分数对员工进行分类，并回答：员工分成几类比较志向？行分类，并回答：员工分成几类比较志向？

46、Z1Z2Z3Z4Z5Z6Z1Z2Z3Z4Z5Z6666462505856536653595545555059595351615558615861504749454646596460525456555950545269556072605567555948564750565268405155625468464651595161565256606056535251605362554763525269585762525157455559565557394446565757525955505068464556685871685361585460595251605361605651535255576564

47、645674505957525653576351675360535351566552516247565667675652506359535548534649435048635760665156535765526759564658504552604071575658475057495048544544494246练习题练习题1.为探讨不同公司的运营特点，调查了为探讨不同公司的运营特点，调查了 15 个公司的组织文化、组个公司的组织文化、组织氛围、领导角色和员工发展织氛围、领导角色和员工发展4个方面的内容。请将这个方面的内容。请将这15个公司依个公司依据其各自的特点划分成据其各自的特点划分成4种类

48、型。数据如下表所示。种类型。数据如下表所示。不同公司的特点不同公司的特点公司公司组织文化组织文化组织氛围组织氛围领导角色领导角色员工发展员工发展MICROSOF80857590IBM85859090DELL85858560APPLE90907590联想联想99987880NPP88898990北京电子北京电子79809597清华紫光清华紫光89788182北大方正北大方正75789596TCL60658588娃哈哈娃哈哈79875051ANGEL75768889HUSSAR60568990世纪飞扬世纪飞扬1001008584VINDA616489602.2.请每个同学都参与请每个同学都参与“人

49、性的哲学修订量表人性的哲学修订量表”问卷调查，然后分别问卷调查，然后分别对参与调查的同学和问卷项目进行类型划分。对参与调查的同学和问卷项目进行类型划分。人性的哲学修订量表人性的哲学修订量表 说明：本问卷由一系列关于看法的陈述组成。每一说明：本问卷由一系列关于看法的陈述组成。每一陈述只是代表人们的一种普遍观点，并没有对错之分。陈述只是代表人们的一种普遍观点，并没有对错之分。您可能同意某些观点却不同意另一些观点。我们感爱好您可能同意某些观点却不同意另一些观点。我们感爱好的是您同意或不同意的程度如何。的是您同意或不同意的程度如何。细致阅读每一陈述，然后针对每一陈述打一分数以细致阅读每一陈述，然后针对

50、每一陈述打一分数以表明你同意或不同意的程度。这些数值的意义如下：表明你同意或不同意的程度。这些数值的意义如下：6完全同意完全同意 5部分同意部分同意 4略略微同意微同意 3略微不同意略微不同意 2部分不同意部分不同意 1完完全不同意全不同意 回答这些问题时，往往第一印象最为恰当。阅读每回答这些问题时，往往第一印象最为恰当。阅读每一陈述，确定您是否同意以及程度如何。务请回答每一一陈述，确定您是否同意以及程度如何。务请回答每一问题。如您发觉这些数值均不能反映你的观点，请选择问题。如您发觉这些数值均不能反映你的观点，请选择与你的观点最接近的数值。与你的观点最接近的数值。问卷项目问卷项目参见参见SAS