第04章_判别分析.ppt

第四章 判别分析第一节第一节 引言引言 第二节第二节 距离判别法距离判别法 第三节第三节 贝叶斯（贝叶斯（Bayes）判别法）判别法 第四节第四节 费歇（费歇（Fisher）判别法）判别法 第五节第五节 实例分析与计算机实现实例分析与计算机实现 第一节第一节 引言引言n在我们的日常生活和工作实践中，常常会遇到判别分析问题，在我们的日常生活和工作实践中，常常会遇到判别分析问题，即根据历史上划分类别的有关资料和某种最优准则，确定一即根据历史上划分类别的有关资料和某种最优准则，确定一种判别方法，判定一个新的样本归属哪一类。例如，某医院种判别方法，判定一个新的样本归属哪一类。例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记录了每个患者若干项症状指标数据。现在想利用现有的这些录了每个患者若干项症状指标数据。现在想利用现有的这些资料找出一种方法，使得对于一个新的病人，当测得这些症资料找出一种方法，使得对于一个新的病人，当测得这些症状指标数据时，能够判定其患有哪种病。又如，在天气预报状指标数据时，能够判定其患有哪种病。又如，在天气预报中，我们有一段较长时间关于某地区每天气象的记录资料中，我们有一段较长时间关于某地区每天气象的记录资料（晴阴雨、气温、气压、湿度等），现在想建立一种用连续（晴阴雨、气温、气压、湿度等），现在想建立一种用连续五天的气象资料来预报第六天是什么天气的方法。这些问题五天的气象资料来预报第六天是什么天气的方法。这些问题都可以应用判别分析方法予以解决。都可以应用判别分析方法予以解决。n把这类问题用数学语言来表达，可以叙述如下：设有把这类问题用数学语言来表达，可以叙述如下：设有n个样个样本，对每个样本测得本，对每个样本测得p项指标（变量）的数据，已知每个样项指标（变量）的数据，已知每个样本属于本属于k个类别（或总体）个类别（或总体）G1，G2，Gk中的某一类，且中的某一类，且它们的分布函数分别为它们的分布函数分别为F1(x)，F2(x)，Fk(x)。我们希。我们希望利用这些数据，找出一种判别函数，使得这一函数具有某望利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来，种最优性质，能把属于不同类别的样本点尽可能地区别开来，并对测得同样并对测得同样p项指标（变量）数据的一个新样本，能判定项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。这个样本归属于哪一类。n 判别分析内容很丰富，方法很多。判断分析按判别的总体数判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、如马氏距离最小准则、Fisher准则、平均损失最小准则、最准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法：距离判别法、分析方法：距离判别法、Fisher判别法、判别法、Bayes判别法和逐步判别法和逐步判别法。判别法。第二节第二节 距离判别法距离判别法一一 马氏距离的概念马氏距离的概念 二二 距离判别的思想及方法距离判别的思想及方法 三三 判别分析的实质判别分析的实质 一、马氏距离的概念一、马氏距离的概念n 图图4.1n为为此此，我我们们引引入入一一种种由由印印度度著著名名统统计计学学家家马马哈哈拉拉诺诺比比斯斯（Mahalanobis,1936）提出的）提出的“马氏距离马氏距离”的概念。的概念。n 二、距离判别的思想及方法二、距离判别的思想及方法 1、两个总体的距离判别问题、两个总体的距离判别问题n 问题：设有协方差矩阵问题：设有协方差矩阵相等的两个总体相等的两个总体G1和和G2，其均值，其均值分别是分别是 1和和 2，对于一个新的样品，对于一个新的样品X，要判断它来自哪个总，要判断它来自哪个总体。体。n 一般的想法是计算新样品一般的想法是计算新样品X到两个总体的马氏距离到两个总体的马氏距离D2（X，G1）和和D2（X，G2），并按照如下的判别规则进行判断，并按照如下的判别规则进行判断n这个判别规则的等价描述为：求新样品这个判别规则的等价描述为：求新样品X到到G1的距离与到的距离与到G2的距离之差，如果其值为正，的距离之差，如果其值为正，X属于属于G2；否则；否则X属于属于G1。n我们考虑我们考虑 n n n n这里我们应该注意到：这里我们应该注意到：2、多个总体的距离判别问题、多个总体的距离判别问题n n n n 三、判别分析的实质三、判别分析的实质n我们知道，判别分析就是希望利用已经测得的变量数据，找我们知道，判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。为了更清楚的认识于不同类别的样本点尽可能地区别开来。为了更清楚的认识判别分析的实质，以便能灵活的应用判别分析方法解决实际判别分析的实质，以便能灵活的应用判别分析方法解决实际问题，我们有必要了解问题，我们有必要了解“划分划分”这样概念。这样概念。n设设R1，R2，Rk是是p维空间维空间R p的的k个子集，如果它们互不个子集，如果它们互不 相交，且它们的和集为相交，且它们的和集为R p，则称，则称R1，R2，Rk为为R p的一的一个划分。个划分。n n 这样我们将会发现，判别分析问题实质上就是在某种意义上，这样我们将会发现，判别分析问题实质上就是在某种意义上，以最优的性质对以最优的性质对p维空间维空间R p构造一个构造一个“划分划分”，这个，这个“划分划分”就构成了一个判别规则。这一思想将在后面的各节中体现就构成了一个判别规则。这一思想将在后面的各节中体现的更加清楚。的更加清楚。例例 在企业的考核中，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业经营状况的指标有：资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数 产品净值率=净产值/总产值 三个指标的均值向量和协方差矩阵如下。现有二个企业，观测值分别为 （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？变量变量均值向量均值向量协方差矩阵协方差矩阵优优秀秀一般一般资金利资金利润率润率13.55.468.3940.2421.41 劳动生劳动生产率产率40.729.840.2454.5811.67 产品净产品净值率值率10.76.221.4111.677.90n线性判别函数为：线性判别函数为：n错判概率：由上面的分析可以看出，马氏距离判别法是合理错判概率：由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。的，但是这并不意谓着不会发生误判。距离判别只要求知道总体的数字特征，不涉及总体的分布函数，距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。计。距离判别方法简单实用，但没有考虑到每个总体出现的距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，也没有考虑到错判的损失。机会大小，即先验概率，也没有考虑到错判的损失。贝叶斯贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。判别法正是为了解决这两个问题提出的判别分析方法。第三节第三节 贝叶斯（贝叶斯（Bayes）判别法）判别法一一 Bayes判别的基本思想判别的基本思想 二二 Bayes判别的基本方法判别的基本方法 办公室新来了一个雇员小王，小王是好人还是坏人大家都在办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为一般好人做好事的概率为0.9，坏人做好事的概率为，坏人做好事的概率为0.2，一，一天，小王做了一件好事，小王是好人的概率有多大，你现在天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。把小王判为何种人。距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率（先验概率）出现，也没有考虑误判之后所造成的损失的差异。一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。n贝叶斯公式是一个我们熟知的公式贝叶斯公式是一个我们熟知的公式n贝叶斯判别 在各总体的概率分布及先验概率已知的前提下，分别计算待判对象属于各总体的后验概率，并以最大后验概率对应的总体来作为待判对象的所属总体。一、一、Bayes判别的基本思想判别的基本思想n n n n 二、二、Bayes判别的基本方法判别的基本方法n n如果已知样品如果已知样品X来自总体来自总体Gi 的先验概率为的先验概率为qi，则在规则则在规则R下，由（下，由（4.12）式知，误判的总平均损失为）式知，误判的总平均损失为n n n n n例题：例题：下表是某金融机构客户的个人资料，这些资料对一个金融机构来说，对下表是某金融机构客户的个人资料，这些资料对一个金融机构来说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多的信息，建于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多的信息，建立客户的信用度评价体系。所选变量为：立客户的信用度评价体系。所选变量为：x1:月收入月收入 x2：月生活费支出：月生活费支出 x3：虚拟变量，住房的所有权，自己的为：虚拟变量，住房的所有权，自己的为“1”，租用的，租用的“0”x4：目前工作的年限目前工作的年限 x5：前一个工作的年限前一个工作的年限 x6：目前住所的年限：目前住所的年限 x7：前一个住所的年限：前一个住所的年限X8：信用程度，：信用程度，“5”的信用度最高，的信用度最高，“1”的信用度最低。的信用度最低。第四节第四节 费歇（费歇（Fisher）判别法）判别法一一 Fisher判别的基本思想判别的基本思想 二二 Fisher判别函数的构造判别函数的构造 三三 线性判别函数的求法线性判别函数的求法 nFisher判别法是判别法是1936年提出来的，该方法的主要思想是通过年提出来的，该方法的主要思想是通过将多维数据投影到某个方向上，投影的原则是将总体与总体将多维数据投影到某个方向上，投影的原则是将总体与总体之间尽可能的放开，然后再选择合适的判别规则，将新的样之间尽可能的放开，然后再选择合适的判别规则，将新的样品进行分类判别。品进行分类判别。一、一、Fisher判别的基本思想判别的基本思想n 二、二、Fisher判别函数的构造判别函数的构造1、针对两个总体的情形、针对两个总体的情形n 2、针对多个总体的情形、针对多个总体的情形n n 三、线性判别函数的求法三、线性判别函数的求法n n n n这里值得注意的是，本书有几处利用极值原理求极值时，只这里值得注意的是，本书有几处利用极值原理求极值时，只给出了不要条件的数学推导，而有关充分条件的论证省略了，给出了不要条件的数学推导，而有关充分条件的论证省略了，因为在实际问题中，往往根据问题本身的性质就能肯定有最因为在实际问题中，往往根据问题本身的性质就能肯定有最大值（或最小值），如果所求的驻点只有一个，这时就不需大值（或最小值），如果所求的驻点只有一个，这时就不需要根据极值存在的充分条件判定它是极大还是极小而就能肯要根据极值存在的充分条件判定它是极大还是极小而就能肯定这唯一的驻点就是所求的最大值（或最小值）。为了避免定这唯一的驻点就是所求的最大值（或最小值）。为了避免用较多的数学知识或数学上的推导，这里不追求数学上的完用较多的数学知识或数学上的推导，这里不追求数学上的完整性。整性。n n各判别法的比较各判别法的比较1、距离判别法与Fisher判别法未对总体的分布提出特定的要求，而Bayes判别法要求总体的分布明确。2、在正态等协差阵的条件下，Bayes判别法（不考虑先验概率的影响）等价于距离判别准则和Fisher线性判别法。3、当K个总体的均值向量共线性较高时，Fisher判别法可用较少的判别函数进行判别。4、距离判别法和Fisher判别法的不足是没有考虑各总体出现的概率大小，也给不出预报的后验概率及错判率的估计，以及错判之后的损失。而这些不足恰是Bayes的优点。但是若给定的先验概率不符合客观实际时，Bayes判别法也可能会导致错误的结论。第五节第五节 实例分析与计算机实现实例分析与计算机实现n这一节我们利用这一节我们利用SPSS对对Fisher判别法和判别法和Bayes判别法进行计判别法进行计算机实现。算机实现。n为研究某地区人口死亡状况，已按某种方法将为研究某地区人口死亡状况，已按某种方法将15个已知地区个已知地区样品分为样品分为3类，指标含义及原始数据如下。试建立判别函数，类，指标含义及原始数据如下。试建立判别函数，并判定另外并判定另外4个待判地区属于哪类？个待判地区属于哪类？X1 ：0岁组死亡概率岁组死亡概率 X 4：55岁组死亡概率岁组死亡概率 X 2：1岁组死亡概率岁组死亡概率 X5 ：80岁组死亡概率岁组死亡概率 X 3：10岁组死亡概率岁组死亡概率 X6 ：平均预期寿命平均预期寿命 表表4.1 各地区死亡概率表各地区死亡概率表(一一)操作步骤操作步骤1.在在SPSS窗口中选择窗口中选择AnalyzeClassifyDiscriminate，调，调出判别分析主界面，将左边的变量列表中的出判别分析主界面，将左边的变量列表中的“group”变量变量选入分组变量中，将选入分组变量中，将变量选入自变量中，并选择变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判单选按钮，即使用所有自变量进行判别分析。别分析。图图4.2 判别分析主界面判别分析主界面2.点击点击Define Range按钮，定义分组变量的取值范围。本例按钮，定义分组变量的取值范围。本例中分类变量的范围为中分类变量的范围为1到到3，所以在最小值和最大值中分别输，所以在最小值和最大值中分别输入入1和和3。单击。单击Continue按钮，返回主界面。按钮，返回主界面。3.单击单击Statistics按钮，指定输出的描述统计量和判别函数按钮，指定输出的描述统计量和判别函数系数。选中系数。选中Function Coefficients栏中的栏中的Fishers和和Unstandardized。这两个选项的含义如下：。这两个选项的含义如下：Fishers：给出：给出Bayes判别函数的系数。（注意：这个选项不是判别函数的系数。（注意：这个选项不是要给出要给出Fisher判别函数的系数。这个复选框的名字之所以为判别函数的系数。这个复选框的名字之所以为Fishers，是因为按判别函数值最大的一组进行归类这种思想，是因为按判别函数值最大的一组进行归类这种思想是由是由Fisher提出来的。这里极易混淆，请读者注意辨别。）提出来的。这里极易混淆，请读者注意辨别。）Unstandardized：给出未标准化的：给出未标准化的Fisher判别函数（即典型判判别函数（即典型判别函数）的系数（别函数）的系数（SPSS默认给出标准化的默认给出标准化的Fisher判别函数系数）判别函数系数）。n单击单击Continue按钮，返回主界面。按钮，返回主界面。图图4.3 Statistics子对话框子对话框输出输出Bayes 判别系数判别系数标准标准化的化的费希费希尔判尔判别系别系数数n单击单击Continue按钮，返回主界面。按钮，返回主界面。图图4.3 Statistics子对话框子对话框输出输出Bayes 判别系数判别系数标准标准化的化的费希费希尔判尔判别系别系数数4.单击单击Classify按钮，定义判别分组参数和选择输出结果。按钮，定义判别分组参数和选择输出结果。选择选择Display栏中的栏中的Casewise results，输出一个判别结果表，输出一个判别结果表，包括每个样品的判别分数、后验概率、实际组和预测组编号包括每个样品的判别分数、后验概率、实际组和预测组编号等。其余的均保留系统默认选项。单击等。其余的均保留系统默认选项。单击Continue按钮。按钮。图图4.4 Classify子对话框子对话框各组概各组概率相等率相等根据各根据各组样品组样品数确定数确定先验概先验概率率使用联合协方差矩阵，此选项表明使用联合协方差矩阵，此选项表明各总体协方差矩阵相等各总体协方差矩阵相等各个总各个总体协方体协方差矩阵差矩阵不等不等5.单击单击Save按钮，指定在数据文件中生成代表判别分组结果按钮，指定在数据文件中生成代表判别分组结果和判别得分的新变量，生成的新变量的含义分别为：和判别得分的新变量，生成的新变量的含义分别为：Predicted group membership：存放判别样品所属组别的值；：存放判别样品所属组别的值；Discriminant scores：存放：存放Fisher判别得分的值，有几个典型判别得分的值，有几个典型判别函数就有几个判别得分变量；判别函数就有几个判别得分变量；Probabilities of group membership：存放样品属于各组的：存放样品属于各组的Bayes后验概率值。后验概率值。n将对话框中的三个复选框均选中，单击将对话框中的三个复选框均选中，单击Continue按钮返回。按钮返回。6.返回判别分析主界面，单击返回判别分析主界面，单击OK按钮，运行判别分析过程。按钮，运行判别分析过程。图图4.5 Save子对话框子对话框各组各组先验先验概率概率未标准化的费希尔判别得分未标准化的费希尔判别得分成员属成员属于各组于各组的后验的后验概率概率Standardized Canonical Discriminant Function（二）（二）主要运行结果解释主要运行结果解释1.Standardized Canonical Discriminant Function Coefficients（给出标准化的典型判别函数系数）（给出标准化的典型判别函数系数）标准化的典型判别函数是由标准化的自变量通过标准化的典型判别函数是由标准化的自变量通过Fisher判别法判别法得到的，所以要得到标准化的典型判别得分，代入该函数的自得到的，所以要得到标准化的典型判别得分，代入该函数的自变量必须是经过标准化的。变量必须是经过标准化的。2.Canonical Discriminant Function Coefficients（给出未标（给出未标准化的典型判别函数系数）准化的典型判别函数系数）未标准化的典型判别函数系数由于可以将实测的样品观测值直未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。见表方便一些。见表4.2（a）。）。n虽然在设定时，我们选用了两种分类方法，但是最终生成的虽然在设定时，我们选用了两种分类方法，但是最终生成的分类结果却只有一种，是分类结果却只有一种，是Bayes判别的结果。它是按照各个判别的结果。它是按照各个总体是多元正态分布，误判损失相等的前提下，按照总体是多元正态分布，误判损失相等的前提下，按照Bayes准则计算得到的。准则计算得到的。Standardized Canonical Discriminant Function 标准化标准化的费希的费希尔判别尔判别函数函数2 Canonical Discriminant Function Coefficients（给出（给出未标准化未标准化的典型判别函的典型判别函数系数）数系数）未标准化未标准化的费希尔的费希尔判别函数判别函数Functions at Group Centroids（给出组重心（给出组重心处的处的Fisher判别函数值）判别函数值）各个组对应的典型判别函数的质心坐标，各个组对应的典型判别函数的质心坐标，即即基于费希尔判别函数的基于费希尔判别函数的判别规则判别规则本教材只是给出了费希尔判别函数的求法，并未给出具体的判本教材只是给出了费希尔判别函数的求法，并未给出具体的判别准则，以下给出两个别准则，以下给出两个可行可行的准则的准则1.计算各个样本点到各组质心处的欧氏距离，计算各个样本点到各组质心处的欧氏距离，根据样品到各根据样品到各个总体欧氏距离的大小判定它属于哪个总体个总体欧氏距离的大小判定它属于哪个总体2.对于各个样品的费希尔判别函数，以及各个组的组别，进一对于各个样品的费希尔判别函数，以及各个组的组别，进一步进行步进行bayes判别。判别。Bayes 判别函数系数判别函数系数其中，其中，S是联合协方差矩阵，是联合协方差矩阵，P1是是G1的先验概率的先验概率-4.Classification Function Coefficients（给出（给出Bayes判别函数判别函数系数）系数）如表如表4.3所示，所示，GROUP栏中的每一列表示样品判入相应列的栏中的每一列表示样品判入相应列的Bayes判别函数系数。在本例中，各类的判别函数系数。在本例中，各类的Bayes判别函数如下：判别函数如下：第一组：第一组：第二组：第二组：第三组：第三组：将各样品的自变量值代入上述三个将各样品的自变量值代入上述三个Bayes判别函数，得到三个判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。例如，将第一个待判样品的自变量值分别代样品判入哪一类。例如，将第一个待判样品的自变量值分别代入函数，得到：入函数，得到：F1=3793.77，F2=3528.32，F3=3882.48比较三个值，可以看出比较三个值，可以看出 F3 最大，据此得出第一个待判样品应最大，据此得出第一个待判样品应该属于第三组。该属于第三组。5.Casewise Statistics（给出个案观察结果）（给出个案观察结果）在在Casewise Statistics输出表针对每个样品给出了了大部分的判输出表针对每个样品给出了了大部分的判别结果，其中包括：实际类（别结果，其中包括：实际类（Actual Group）、预测类）、预测类（Predicted Group）、）、Bayes判别法的后验概率、与组重心的判别法的后验概率、与组重心的马氏距离（马氏距离（Squared Mahalanobis Distance to Centroid）以及）以及Fisher判别法的每个典型判别函数的判别得分（判别法的每个典型判别函数的判别得分（Discriminant Scores）。出于排版要求，这里给出结果表的是经过加工的，）。出于排版要求，这里给出结果表的是经过加工的，隐藏了其中的一些项目，如表隐藏了其中的一些项目，如表4.4所示。从表中可以看出四个待所示。从表中可以看出四个待判样本依次被判别为第三组、第一组、第二组和第三组。判样本依次被判别为第三组、第一组、第二组和第三组。表表4.4 个案观察结果表个案观察结果表实际组实际组预测组预测组到距离它到距离它最近一组，最近一组，即到预测即到预测组的组的广义马氏广义马氏距离距离属于该组属于该组的后验概的后验概率率判别得分，判别得分，由于我们由于我们设定非标设定非标准化的费准化的费希尔判别，希尔判别，此处是非此处是非标准的费标准的费希尔判别希尔判别得分，若得分，若无此选择，无此选择，则显示标则显示标准化的费准化的费希尔判别希尔判别得分得分6.由于我们在由于我们在Save子对话框中选择了生成表示判别结果的新子对话框中选择了生成表示判别结果的新变量，所以在数据编辑窗口中，可以观察到产生的新变量。变量，所以在数据编辑窗口中，可以观察到产生的新变量。其中，变量其中，变量dis-1存放判别样品所属组别的值，变量存放判别样品所属组别的值，变量dis1-1和和dis2-1分别代表将样品各变量值代入第一个和第二个判别函分别代表将样品各变量值代入第一个和第二个判别函数所得的判别分数，变量数所得的判别分数，变量dis1-2、dis2-2和和dis3-2分别代表样分别代表样品分别属于第品分别属于第1组、第组、第2组和第组和第3组的组的Bayes后验概率值。后验概率值。本章结束本章结束