第5章判别分析.ppt

《第5章判别分析.ppt》由会员分享，可在线阅读，更多相关《第5章判别分析.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第5章 判别分析 5.1 距离判别5.1.1 判别分析的基本思想与意义 设研究对家用某种方法已划分为若干类型,当得到一个新的样品数据;要确定该样品属于哪一类,此类问题属于判别分析.模型:个总体 ,皆 元总体 对新样品数据 ,来判断它来自哪个总体 的情形较常见.由于判别准则的不同,有各种不同的判断方法,本章主要介绍距离判别与 Bayes判别.5.1.2 两个总体的距离判别 欧氏平方距离 ,欧氏距离 .欧氏距离在判别分析中不甚合适,而是应采用马氏距离.定义 (1)是从均值向量为 协方差矩阵 的总体取出的样品.马氏平方距离 与总体 马氏平方距离 (2)两总体 马氏平方距离 马氏平方距离 与总体 马氏

2、平方距离 马氏距离满足距离三条基本性质.距离判别准则距离判别准则判别样品 ,若 ,若 .1.当 计算可证(自学)其中判别准则:,若 ,若 .证 其中 则 判别准则判别准则(简化简化),若 ,若 训练样本 容量 训练样本 容量 当 时,的一个无偏估计是 (自证)线性判别函数 和 估计各为 其中 其中 其中判别法 若 或 若 若 若2.令判别法 若 若实际中,用 ,分别估计 .判别法 若 若5.1.3 判别法则的评价 考察判别法则的优良性,要考察误判率 1.误判率回代估计 训练样本容量 训练样本容量 全体训练样本逐个代入判别准则确定其归属,称回判,得结果:回判率回代估计 回判实际2.误判率交叉确认

3、估计 步骤:1)对 的 个样品,剔除一个,用剩余 个与 的 个样品建立判别函数 2)用建立的判别函数对剔除的样品作判别 3)重复1),2),直到 中的 个样品依次被剔除,又进行判别,其误判样品个数证为 4)对 的样品重复步骤1),2),3),记误判样品个数为 .误判率交互确认估计例5.2 国家财政历年用于科学研究的支出(单位:亿元)合计 科技三项费用 科学支出 科研基建费 其他科研事业费 历年国家财政用于科学研究的支出(单位:亿元)年份分类197819801985199019911992199319941995199619971998199920002003200420052006 52.89

4、 25.47 15.46 6.66 5.30 64.59 27.57 19.63 11.27 6.12 102.59 44.35 32.00 18.83 7.41 139.12 63.48 44.44 17.47 13.73 160.69 73.32 54.15 18.40 14.82 189.26 89.41 57.16 24.55 18.14 225.61 106.56 65.59 33.95 19.51 268.25 114.22 87.90 36.06 30.07 302.36 136.02 96.86 38.00 31.48 348.60 155.01 109.66 48.55 35

5、.41 408.60 189.97 127.12 42.74 49.03 438.60 189.90 151.92 47.28 49.50 542.85 272.80 168.06 52.89 50.10 575.62 277.22 189.03 61.52 47.85 975.54 416.64 300.79 111.06 147.051095.34 483.98 335.93 95.90 179.531334.91 609.69 389.14 112.50 223.581688.50 779.94 483.36 134.40 290.80111111111111112222待判样品为200

6、1年,2002年数据,如下:2001 703.26 359.64 223.08 63.37 53.17 2002 816.22 398.60 269.85 69.99 77.781)进行距离判别,并计算误判率的回代估计与交叉确认估计.2)对待判样品进行判别.解 1)由 PROC DISCRIM 过程,算得线性判别函数 误差率的回代估计与交叉确定确定估计皆为0 2),计算得到样品2001,2002皆属于总体5.1.4 多个总体的距离判别 个总体1.总体协方差矩阵相等其中距离判别准则距离判别准则:若 满足 判定 训练样本 多总体距离差判别准则多总体距离差判别准则:若 满足 判定2.不全等3.记4.

7、判别准则:若 满足5.判定6.实际中7.判别准则:若 满足8.判定例例 5.3 各地区电力消费量(单位:亿千瓦小时)2000年电力消费量 2002年电力消费量 2003年电力消费量 2004年电力消费量 2005年电力消费量 2006年电力消费量地区分类北京天津河北山西内蒙古辽宁吉林黑龙江上海江苏浙江安徽 384.43 439.96 467.61 513.18 570.54 611.57 234.05 274.39 305.64 340.04 384.84 433.65 809.34 965.83 1099.00 1291.40 1501.92 1734.83 501.99 628.82 72

8、5.20 833.01 946.33 1097.68 254.21 320.43 416.44 530.43 667.72 884.91 748.89 809.45 907.91 1019.78 1110.56 1228.27 291.34 306.29 338.70 371.79 378.23 412.46 442.28 468.45 493.37 525.47 555.85 597.05 559.45 645.71 745.97 821.44 921.97 990.15 971.34 1245.14 1505.11 1820.09 2193.45 2569.75 738.05 1010.7

9、2 1232.54 1383.69 1642.31 1909.23 338.93 389.94 445.42 515.69 582.16 662.18 223323223132福建江西山东河南湖北湖南广东广西海南重庆四川贵州云南陕西甘肃401.51 496.83 585.74 664.36 756.59 866.84 208.15 246.57 299.53 335.54 391.98 446.201000.71 1241.74 1395.72 1639.92 1911.61 2272.07 718.52 916.25 1041.89 1191.03 1352.74 1532.50 503.0

10、2 561.96 629.20 700.21 788.91 876.76 406.12 477.49 545.83 616.80 674.43 768.771334.58 1678.83 2031.29 2387.14 2673.56 3004.03 314.44 356.95 415.83 456.86 510.15 579.46 38.37 49.00 56.62 67.01 81.61 97.68 307.61 248.01 269.26 302.58 347.68 405.20 521.23 660.51 759.80 857.02 942.59 1059.44 287.78 366.

11、63 399.57 458.69 486.97 581.98 273.58 353.20 370.31 454.51 557.25 645.61 292.76 355.97 404.11 477.03 516.03 580.73 295.33 339.66 398.34 451.74 489.48 536.3322 1222122232222待判样品为青海、宁夏、新疆.如下:青海 109.10 125.51 150.16 189.76 206.58 244.41 宁夏 136.17 178.76 212.12 270.01 302.88 377.85 新疆 182.98 214.80 236.

12、10 266.41 310.14 356.20 1)进行距离判别,并计算误判率的回代估计与交叉确认估计.2)对待别样品进行判别.解 1)由 PROC DISCRIM 过程,算得线性判别函数误判率的回代估计为0.交叉确认法河北由“3”判为“1”，上海由“3”判为“2”，河南由“1”判为“3”，湖北由“2”判为“3”，四川由“3”判为“2”，误判率的交互确认估计为（7/3+1/17+3/7）/3=0.27362）三个待判样品皆判为“2”，即属 .5.2 Bayes 判别5.2.1 Bayes 判别的基本思想 设 为k个p元总体.每个总体出现通常有不同的规律,一个待判样品首先考虑判入有较大可能出现的

13、总体之中.上节考虑的距离判别,实际上是认为各个总体出现是等概率的.先从两总体的 Bayes 判别谈起.5.2.2 两个总体的 Bayes 判别 1.一般讨论 概率密度 概率密度 元欧氏空间 ,其一个划分 满足距离判别一个划分 相当于一落千丈个判别准则,在判别准则下,将来自 的样品误判为 的概率将来自 的样品判为 的概率得到样品 ,由 Bayes 公式,总体 的后验概率两个总体的两个总体的 Bayes 判别准则判别准则:若 若定理 最优划 使得平均误判概率达到最小.证证取 可得这时,由后验概率公式,得证.2.两个正态总体的两个正态总体的 Bayes 判别判别(1)证得两个正态总体的 Bayes

14、判别准则 若 若实际中,以 ,代 线性判别函数 其中得实际中,以 代 .其中两个总体 Bayes 判别准则 若 若(2)得到 与 Bayes 判别法则形式,仍如上,其中(3)3.误判率的计算误判率的计算定理 对于最优划分 ,平均误判概率其中 (证略)先验概率选取方法,对于回代估计1)等概率:对应于距离判别.2)按比例分配:3)对交互确认估计类似讨论.例 5.5(续5.2)数据见例5.2,讨论国家财政用于科学研究的支出(单位:亿元).待判样品为2001,2002年数据.1)进行Bayes判别(先验概率按比例分配),并计算误判率的回代估计与交叉确认估计.2)对待判样品进行判别.解 1)由PROC

15、DISCRIM 过程,先验概率按比例分配 算得线性判别函数 它们与距离判别仅常数项不同.误判率回代估计与交叉确认估计皆为0.2)计算得到样品2001,2002皆属于总体 .5.2.3 多个总体的 Bayes 判别 1.一般讨论 设有 个总体 ,概率密度先验概率 一个判别准则相当于 的一个划分 ,满足 来自 的样品误判为 的概率 且 来自 的样品误判为其他总体的概率 误判的平均概率定理 令 则 是 的最优划分.证 则取上述 时,是 的一个划分,且 ,故它是最优分.Bayes 公式 多个总体 Bayes 判别准则 对样品 当 判定 证证 由 Bayes 公式,最优划分例 5.6(续例 5.3)数据

16、见例5.3.讨论各地区电力消费量(单位:亿千瓦小时).待判样品为青海、宁夏、新疆数据 1）进行 Bayes 判别(先验概率按比例分配),并计算误判率的回代估计与交叉确认估计 2)对待判样品进行判别 解 1)由PROC DISCRIM 过程,先验概率按比例分配 线性判别函数各变量系数与距离判别相同(见例5.3)而常数项 为-59.27144,为-4.427784,为-18.61532误判率的回代估计为0.误判率的交叉确认估计为 ,河北由“3”判为“1”,山西由“3”判为“2”,上海由“3”判为“2”,山东由“1”判为“3”,四川由判“3”为“2”(误判情况与距离判别不同）.2)计算得到样品青海、

17、宁夏、新疆皆属于 .回代法回判结果及后验概率 Posterior Probability of Membership in c Classified d From c into c 1 2 3 北京 2 2 0.0000 0.9739 0.0261 天津 2 2 0.0000 0.9995 0.0005 河北 3 3 0.0481 0.0002 0.9571 山西 3 3 0.0000 0.4650 0.5350 内蒙古 2 2 0.0000 0.9983 0.0017 辽宁 3 3 0.0000 0.0293 0.9707 吉林 2 2 0.0000 0.9997 0.0003 黑龙江 2

18、2 0.0000 0.9656 0.0344 上海 3 3 0.0000 0.3679 0.6321 江苏 1 1 1.0000 0.0000 1.0000 浙江 3 3 0.0000 0.0000 1.0000 安徽 2 2 0.0000 0.9958 0.0042 福建 2 2 0.0000 0.9481 0.0519 江西 2 2 0.0000 0.9998 0.0002 山东 1 1 0.9995 0.0000 0.0005 河南 3 3 0.0000 0.0010 0.9990 湖北 2 2 0.0000 0.7318 0.2682 湖南 2 2 0.0000 0.9788 0.02

19、12 广东 1 1 1.0000 0.0000 0.0000 广西 2 2 0.0000 0.9976 0.0024 海南 2 2 0.0000 1.0000 0.0000 重庆 2 2 0.0000 0.9997 0.0003 四川 3 3 0.0000 0.4503 0.5497 贵州 2 2 0.0000 0.9982 0.0018 云南 2 2 0.0000 0.9929 0.0071 陕西 2 2 0.0000 0.9991 0.0009 甘肃 2 2 0.0000 0.9993 0.0007 5.2.4 逐步判别简介 同回归分析中用逐步回归挑选主要变量进行判别分析,可以用PROC

20、STEPDISC 过程挑选主要判别变量,再用PROC DISCRIM 过程利用选出的主要判别变量进行判别分析 例5.7(续5.6)1)对例5.3的数据,用PROC STEPDISC 过程挑选主要判别变量,计算结果主要判别变量是 (2006年电力消费量).2)用PROC DISCRIM 过程(先验概率平均分配)以判别变量 进行判别.线性判别函数 3)误判率的回代估计为0.4)交叉确认法回判结果及后验概率 Classified d From c into c 1 2 3 北京 2 2 0.0000 0.9787 0.0213 天津 2 2 0.0000 0.9969 0.0031 河北 3 3 0

21、.0121 0.0002 0.9877 山西 3 3 0.0000 0.2367 0.7633 内蒙古 2 2 0.0000 0.7163 0.2837 辽宁 3 3 0.0000 0.0660 0.9340 吉林 2 2 0.0000 0.9976 0.0024 黑龙江 2 2 0.0000 0.9817 0.0183 上海 3 2*0.0000 0.5512 0.4488 江苏 1 1 0.9999 0.0000 0.0001 浙江 3 3 0.3117 0.0000 0.6882 安徽 2 2 0.0000 0.9645 0.0355 福建 2 2 0.0000 0.7557 0.2443 江西 2 2 0.0000 0.9964 0.0036 山东 1 1 0.9859 0.0000 0.0141 河南 3 3 0.0003 0.0030 0.9967