应用多元统计分析R语言版判别分析.docx

《应用多元统计分析R语言版判别分析.docx》由会员分享，可在线阅读，更多相关《应用多元统计分析R语言版判别分析.docx（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、应用多元统计分析 第4章 判别分析 1 判别分析是用于判断样品所属类型的一种统计方法。 判别分析方法处理的问题看起来与聚类分析方法有些类似，似乎都是要将 观察值进行分类，但是它们的使用前提是不同的。 判别分析是根据某些指标的已有数据（或称为训练样本）对所研究的对象 建立判别函数，并进行分类的一种多变量分析方法，也称之为“有监督的 分类方法”。 进行判别归类时，由假设前提、判别依据及处理手法的不同可采用不同的 判别方法。如距离判别、贝叶斯(Bayes)判别、费希尔(Fisher)判别等。 概 念 和 方 法 l判别分析概念 判别分析（Discriminat Analysis）是多元分析中 用于判

2、别样品所属类型的一种统计分析方法。 l判别分析方法 是在已知的分类之下，对新的样品，利用某判别准 则，来判定其属于哪个类。 主 要 内 容 判别分析的目的和意义 几种判别分析方法和性质 包括：距离判别法、Bayes判别法、 R语言程序中有关判别分析的算法 Fisher判别法 4 所谓判别问题，就是将欧几里德空间划分为k个互不相交的 区域，即。当时，就判断x属于总 体。特别是，当k=2时，就是两总体的判别问题。 4 定义4.1 设是从均值向量为,协方差阵为的总体G 中 抽取的两个样品,则与之间的马氏距离定义为 样品与总体G 之间的马氏距离为 4 两总体的距离判别 设总体和的均值向量分别为和，协方

3、差阵分别为 和 ，x 是一个新样品，现在要判断x 来自哪一个总体。可计算x 到 两个总体的马氏距离的平方和，并按照下列 进行判别 当两个总体的方差相等，即 化。 时，该判别准则可以进行简 1. 当 此时 4 时的线性判别 其中 其中 是两个总体均值的平均值。令 ，则。 4 因此判别准则可简化为： 其中 称为判别函数，由于它是 判别函数。 的线性函数，故又称它为线性 4 在实际中，总体的均值向量和协方差阵一般都是未知 的，此时可用样本均值向量和样本协方差阵来代替。 设是来自总体的样品，是来自总体的 样品，则样品均值向量和样品离差阵为 的由两个总体样品构成的无偏估计为 4 2. 当时的非线性判别

4、此时判别函数为与之差，即 由于这个是x 的二次函数，故又称它为二次判别函数或非线性 判别函数。相应的判别准则为 4 与前面讨论的情况相同，在实际中总体均值向量和协方差 阵往往未知，需要用样本均值向量和样本协方差阵 来代替,这里 分别是和的无偏估计。 4 编号类别G 表4.1 砂基液化原始分类数据 例4.1在研究砂基液化问题中, 选了7个因子。今从液化和未液 化的地层中分别抽取12个和23 个样品，数据列在表4.1中，其 中1类表示已液化类，2类表示 未液化类。试按照距离判别准 则对原35个样本进行分类（即 回代），并分析误判情况。 11 21 31 41 51 61 71 81 91 101

5、111 121 132 142 152 162 172 182 192 202 212 222 232 242 252 262 6.639 6.639 6.147 6.147 8.432 7.26 8.4113 7.552 7.552 8.3113 7.8172 7.8172 8.432 8.432 8.432 6.311 7.08 7.08 7.08 8.3161 8.3161 7.26 7.26 7.26 5.56 8.4113 1.06.0 1.06.0 1.06.0 1.06.0 2.07.5 1.07.0 3.56.0 1.06.0 3.57.5 0.07.5 1.03.5 1.53

6、.0 1.05.0 2.09.0 2.54.0 4.57.5 4.54.5 6.07.5 1.56.0 1.54.0 0.52.5 3.54.0 1.03.0 1.06.0 2.53.0 3.54.5 60.12 120.12 60.08 120.08 190.35 280.30 180.15 120.16 60.16 350.12 140.21 150.21 40.35 100.35 100.35 30.20 90.25 40.25 10.25 40.08 10.08 120.30 30.30 50.30 70.18 60.15 20 20 12 12 75 30 75 40 40 180

7、45 45 75 75 75 15 30 30 30 70 70 30 30 30 18 75 解：利 行运算。 4 #首先对表4.1中数据建立文本文件biao4.1.txt 用 R程序进 library(MASS) #加载程序包 li4.1=(biao4.1.txt,head=TRUE) #读入数据 #线性判别 ld1- lda(G.,data=li4.1);ld1 #方差相同条件下的线性判别 y1-predict(ld1,data=li4.1) #对原始数据进行预测，即回代 newG1=y1$class#预测原始数据所属类别 cbind(li4.1$G,y1$x,newG1)#显示判别结果

8、 #非线性判别 qd1-qda(G.,data=li4.1);qd1 #方差不同条件下的二次判别 y2-predict(qd1,data=li4.1) #对原始数据进行预测，即回代 newG2=y2$class#预测原始数据所属类别 cbind(li4.1$G,newG2)#显示判别结果 4 Group means: 1 2 x1 7.358333 7.686957 x2 73.66667 69.60870 x3 1.458333 2.043478 x4 6.00000 5.23913 x5 15.250000 6.347826 x6 0.1716667 0.2156522 x7 49.500

9、00 70.34783 线 性 判 X1 -0.2456498 Coefficients of linear discriminants: X2 0.0012546 X3 0.2132494 X4 -0.1895015 cbind(li4.1$G,y1$x,newG1) #显示结果 X5 -0.1945152 X6 8.9125000 X7 0.0195838 别 结 果 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 G 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 序号 19 20 21 22 23 24 25 26

10、 27 28 29 30 31 32 33 34 35 G 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 LD1 1.3184485 0.2547354 0.9092838 0.3782688 1.7852837 0.8277489 0.4401957 0.8344636 0.4454332 -0.4346636 -1.1079462 2.0591480 2.5922713 1.1656606 1.6627138 0.6594853 0.3418640 newG 2 2 LD1 -0.9780645 -2.1451557 -1.3583738 -2.5254650 -0.

11、9017310 -3.8356022 -1.7839710 -1.6017548 -0.1857924 -4.3078624 -0.8966363 -0.8897761 2.2765013 0.5646537 1.6187856 0.7212500 0.6863271 1.4102727 newG 1 1 1 1 1 1 1 1 2 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 4 Group means: x1x2 73.66667 69.60870 7.358333 非7.686957 线 性 x3 1.458333 2.043478 x4

12、 6.00000 5.23913 x5 15.250000 6.347826 x6 0.1716667 0.2156522 x7 1 2 49.50000 70.34783 判 别 结 果 1 1 1 1 1 1 1 1 1 1 1 1 1 cbind(li4.1$G,newG2) #显示结果 newG序号 10 11 12 13 14 序号G 1 1 1 1 1 1 2 3 4 5 6 7 8 9 15 16 17 18 G 1 1 1 2 2 2 2 2 2 newG序号 19 20 21 22 23 24 25 26 27 G 2 2 2 2 2 2 2 2 2 newG序号 28 29

13、 30 31 32 33 34 35 G 2 2 2 2 2 2 2 2 newG 2 2 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 4 线性判别函数： 本例中。经计算得 线性判别函数为，其系数向量为 4 判别结果： （1）在方差相同条件下的线性判别结果：将训练样本回代判别， 结果有2个样本点判错，分别是第9号和第29号样本。即在方差相同 条件下，误判率为2/35=5.7%。 （2）在方差不同条件下的非线性判别结果：将训练样本回代判 别，结果全部正确，即此误判率为零。 4 多总体的距离判别 设有k 个总体 分别为，x 到 判别准则为： 判定

14、 ，它们的均值分别为 的马氏距离的平方为 ，若 协方差阵 在实际中和 替。 往往未知，此时可用相应的估计来代 4 例4.2 某地市场上销售的电视机有多种品牌，该地某商场随 机抽取了20种牌子的电视机进行调查，发现其中有5种畅销、8 种平销、7种滞销。按电视机的质量评分Q、功能评分C、销售价 格P（单位：百元）收集数据，列在表4.2中，其销售状态G中 。试根据该资料进 行判别。假设有一新厂商来推销其产品，产品质量评分为8.0， 功能评分为7.5，销售价格为65（百元），问该厂家产品销售前 景如何？ 编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1

15、9 20 4 类别G 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 表4.2 某地电视机销售数据 Q 8.3 9.5 8.0 7.4 8.8 9.0 7.0 9.2 8.0 7.6 7.2 6.4 7.3 6.0 6.4 6.8 5.2 5.8 5.5 6.0 C 4.0 7.0 5.0 7.0 6.5 7.5 6.0 8.0 7.0 9.0 8.5 7.0 5.0 2.0 4.0 5.0 3.0 3.5 4.0 4.5 P 29 68 39 50 55 58 75 82 67 90 86 53 48 20 39 48 29 32 34 36 解：利 行运算。

16、 4 #首先对表4.2中数据建立文本文件biao4.2.txt library(MASS) #加载程序包 用 R程序进 li4.2=read.table(biao4.2.txt,head=TRUE) #读入数据 ld2- lda(G.,data=li4.2);ld2 #方差相同条件下的线性判别 y1-predict(ld2,data=li4.2) #对原始数据进行预测，即回代 newG1=y1$class#预测原始数据所属类别 cbind(li4.2$G,y1$x,newG1)#显示判别结果 z1- predict(ld2,data.frame(Q=8,C=7,P=65);z1 #对新数据进行

17、预测 qd2-qda(G.,data=li4.2);qd2 #方差不同条件下的二次判别 y2-predict(qd2,data=li4.2) #对原始数据进行预测，即回代 newG2=y2$class#预测原始数据所属类别 cbind(li4.2$G,newG2)#显示判别结果 z2- predict(qd2,data.frame(Q=8,C=7,P=65) ) ;z2 #对新数据进行预测 线 性 判 别 结 果 No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 4 cbind(li4.2$G,y1$x,newG1) #显示结果 GL

18、D1 1-0.1409984 1-2.3918356 1-0.3704452 1-0.9714835 1-1.7134891 2-2.4593598 20.3789617 2-2.5581070 2-1.1900285 2-1.7638874 2-1.1869165 2-0.1123680 20.3399132 32.8456561 31.5592346 30.7457802 33.0062824 32.2511708 32.2108260 31.5210939 LD2 2.582951755 0.825366275 1.641514840 0.548448277 1.246681993 1.

19、361571174 -2.200431689 -0.467096091 -0.412972027 -2.382302324 -2.485574940 -0.598883922 0.232863397 0.936722573 0.025668216 -0.209168159 -0.358989534 0.008852067 -0.331206768 0.035984885 newG1 1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3 3 3 3 4 各组均值及非线性判别结果 Group means: Q C P 1 2 3 8.400000 7.712500 5.957143

20、5.900000 7.250000 3.714286 48.200 69.875 34.000 cbind(li4.2$G,newG2) #显示结果 No. G newG 7 2 2 8 2 2 9 2 2 10 11 2 2 1 2 1 1 1 1 3 1 1 4 1 1 5 1 1 6 2 2 12 13 14 15 16 17 18 19 20 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 2 2 4 判别结果： （1）在方差相同条件下的线性判别结果：将训练样本回代判别， 结果有2个样本点判错，分别是第6号和第13号样本。即在方差相同 条件下，误判率为2/20=

21、10%。对新厂家产品销售前景预测结果为 Q=2，即平销。 （2）在总体方差不同条件下的非线性判别结果：将训练样本回 代判别，结果有1个样本点判错，即第13号样本。因此在方差不同 条件下，误判率为1/20=5%。对新厂家产品销售前景预测结果为Q=2 ，即平销。 4 距离判别只利用总体的特征信息，即均值向量和协方差阵，不涉 及总体的分布类型。该判别方法有两个缺点：一是该方法与总体出 现的机会大小（先验概率）无关；二是该方法没有考虑错判造成的 损失。贝叶斯判别正是为解决这两个问题而提出的一种判别方法。 贝叶斯统计方法总是假定对所研究的对象已有一些认识，常用 先验概率分布来描述这种认识。当抽取一个样本

22、后，再利用样本信 息来修正已有的认识，得到后验概率分布。各种统计推断都是基于 后验分布而进行。将贝叶斯统计思想用于判别分析就得到贝叶斯判 别方法。 4 贝页斯判别准则 一、概率判别(不考虑误判损失) 假设k个类的先验概率为 各类的密度函数分别为 x来自第j类的后验概率为 (贝页斯公式) 判别准则为 4 贝页斯判别准则 二、损失判别(考虑误判损失) x错判为来自第j个类的平均损失： 损失判别准则为： 这里 损失。 是样品实际来自第i个类但被错判为属于第j个类的 4 贝页斯判别准则 对于两总体情况损失判别准则可简化为： 这里 4 例4.3 设总体和的概率密度函数分别为和， 又假设误判损失为，根据以

23、往经验给出的先验概 率为。根据贝叶斯判别准则(4.5)得到的划分为 若一个新样品的密度函数值为，则 因此判断属于总体。 4 例4.4 设有三个总体，欲判断某样品属于哪个总体。 已知 属于各个总体的判别概率为： 由于最大，故在不考虑误判损失情况下应判断。 4 例4.5 在例4.4中，假定误判的损失矩阵为 现在采用平均损失最小规则进行判别。各个总体的判别函数值为： 4 由于最小，故在考虑误判损失情况下应判断 这个判别结果与例4.4不同。 。 4 利用R软件进行贝叶斯判别与距离判别方法类似，只需加上先验 概率。在进行贝叶斯判别时，可假定各类方差阵相同，即采用线性 判别方法，或假定各类方差阵不同，即采

24、用非线性判别方法。 例4.6 应用贝叶斯判别方法分析例4.2中的数据。 解 取先验概率为各类比例，即设 4 library(MASS) #加载程序包 利用R li4.6=read.table(biao4.2.txt,head=TRUE) #读入数据 程序 进行 运算。 ld3- lda(G.,prior=c(5,8,7)/20,data=li4.6);ld3 #方差相同条件下的Bayes判别 y3-predict(ld3,data=li4.6) #对原始数据进行预测，即回代 newG3-y3$class#预测原始数据所属类别 cbind(li4.6$G,y3$x,newG3)#显示结果 tab

25、le(li4.6$G,y3$class)#混淆矩阵 z3- predict(ld3,data.frame(Q=8,C=7,P=65);z3 #对新数据进行预测 qd3- qda(G., prior=c(5,8,7)/20,data=li4.6);qd3 #方差不同条件下的二次判别 y4-predict(qd3,data=li4.6) #对原始数据进行预测，即回代 newG4-y4$class#预测原始数据所属类别 cbind(li4.6$G,newG4)#显示结果 table(li4.6$G,y4$class)#混淆矩阵 z4- predict(qd3,data.frame(Q=8,C=7,P

26、=65) ) ;z4 #对新数据进行预测 1 2 3 4 Group means: Q 8.400000 7.712500 5.957143 C 5.900000 7.250000 3.714286 P 48.200 69.875 34.000 线 cbind(li4.1$G,y1$x,newG1) #显示结果 性 判 别 No. 1 2 3 4 5 G 1 1 1 1 1 LD1 -0.1409984 -2.3918356 -0.3704452 -0.9714835 -1.7134891 LD2 2.582951755 0.825366275 1.641514840 0.548448277

27、1.246681993 newG1 1 1 1 1 1 table(li4.6$G,y3$class) #混淆矩阵 结 果 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 -2.4593598 0.3789617 -2.5581070 -1.1900285 -1.7638874 -1.1869165 -0.1123680 0.3399132 2.8456561 1.5592346 0.7457802 3.0062824 2.2511708 2.2108260 1.5210939 1.361571174

28、 -2.200431689 -0.467096091 -0.412972027 -2.382302324 -2.485574940 -0.598883922 0.232863397 0.936722573 0.025668216 -0.209168159 -0.358989534 0.008852067 -0.331206768 0.035984885 1 2 2 2 2 2 2 3 3 3 3 3 3 3 3 1 2 3 1 5 1 0 2 0 6 0 3 0 1 7 4 Group means: P 48.200 69.875 非34.000 线 性 判 别 结 果 1 2 3 Q 8.400000 7.712500 5.957143 C 5.900000 7.250000 3.714286 1 2 3 cbind(li4.1$G,newG2) #显示结果 16 3 17 3 18 3 1 2 3 1 1 1 1 1 1 20 3 11222222233333333 4 1 5 1 6 2 7 2 8 2 9 2 10 2 11 2 12 2 13 2 14 3 15 3 19 No. G newG table(li4.6$G,y4$class) #混淆矩阵 1 5 0 0