基于roc的三元再编码研究-雷蕾.pdf

《基于roc的三元再编码研究-雷蕾.pdf》由会员分享，可在线阅读，更多相关《基于roc的三元再编码研究-雷蕾.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第38卷第10期 电 子 与 信 息 学 报 Vol. 38No.10 2016年10月 Journal of Electronics & Information Technology . Oct. 2016 基于ROC的三元再编码研究 雷 蕾王晓丹*罗 玺(空军工程大学防空反导学院 西安 710051 ) (空军工程大学信息与导航学院 西安 710077) 摘 要：针对三元编码矩阵中基分类器不包含被忽略样本类别先验知识的问题，该文提出一种基于接收机工作特性(ROC)曲线的矩阵再编码方法。首先基于ROC曲线寻找构造拒绝域的阈值对，从而获得最优分类器；然后利用最优分类器对训练样本中被忽略的类别进

2、行分类，将经典的二值输出变为三值输出，从而对初始编码矩阵的码元“0”进行重新编码。在解码阶段，采用经典的汉明距离解码方法对未知样本进行决策。该方法能够避免基分类器的二次训练，适用于任意的三元纠错输出编码，具有良好的普适性和实用性。基于人工和UCI公共数据集的实验结果表明该方法简单高效，在不增加训练时间的基础上，能够提高解码的速度和精度，促进分类效果的提升。 关键词：三元纠错输出编码；二次编码；最优分类器；拒绝域；接收机工作特性 中图分类号：TP391 文献标识码：A 文章编号：1009-5896(2016)10-2515-08 DOI: 10.11999/JEIT151343 Recoding

3、 Error-correcting Output Codes Based on Receiver Operating Characteristics LEI LeiWAGN XiaodanLUO Xi(Institute of Air and Missile Defense, Aire Force Engineering University, Xian 710051, China) (Institute of Information and Navigation, Aire Force Engineering University, Xian 710077, China) Abstract:

4、 As to the problem that the base classifiers in ternary Error Correcting Output Codes (ECOC) matrix do not contain the prior information of classes which are ignored in binary splits, a new recoding ECOC based on Receiver Operating Characteristic (ROC) curve is presented. To recode the ternary matri

5、x, the two thresholds of reject region are obtained based on ROC to build the optimal classifiers. Then, the optimal classifiers are used to classify the ignored classes based on bipartition in training phase. In so doing, the classical two-symbol output expands to three-symbol to recode the zeros.

6、Finally, the Hamming decoding strategy is adopted for decision in decoding. This method can avoid a second training and is applied to any kind of ternary matrix. The experiments based on Synthetic and UCI datasets validate the better efficiency and remarkable promotion without increasing training co

7、mplexity of the proposed approach. Key words: Ternary error-correcting output codes; Recoding; Optimal classifier; Reject option; Receiver Operating Characteristics (ROC) 1 引言纠错输出编码(Error- Correcting Output Codes, ECOC)1，作为一种分而治之的多类与二类分类问题的连接桥梁，已成功应用到生物学数据识别2、疾病诊断3和计算机视觉识别4等诸多领域。而三元纠错输出编码(ternary EC

8、OC )5作为一种更为通用的ECOC类型，几乎能统一现有的所有多类分类框架。收稿日期：2015-12-01；改回日期：2016-06-06；网络出版：2016-08-26 *通信作者：王晓丹 afeu- 基金项目：国家自然科学基金(61273275, 61503407) Foundation Items: The National Natural Science Foundation of China (61273275, 61503407) 矩阵中“0”符号的引入增加了二类划分的多样性和基分类器之间的差异性，使ECOC在多类分类问题领域的性能得以提升，并已受到众多学者的关注。文献6讨论了一种

9、新的编码设计准则最大化三符号编码距离准则(ternary distance)，通过该准则作者提出了一种新的稀疏编码矩阵，实验结果表明基于该准则获得的ECOC分类效果有显著提高，且与解码方法的选取相关性较小。2008年，文献7针对样本集线性不可分问题，提出对基类子集再分割的Subclass ECOC编码方法(SECOC )。文献8利用数据分布的先验知识，基于混淆矩阵和Fisher准则得到最优的子类划分，对子类采用“一对多”划万方数据2516 电 子 与 信 息 学 报 第38卷 分方法；在单个子类内部每次只选择两种类别作为正负类，而子类的其他类别将被忽略，即在矩阵中编码为“0”，从而弥补了单个基

10、分类器识别的误差。文献9认为利用编码矩阵中二类划分的先验原始类结构信息可以提高ECOC分类性能，并给出了在流形假设和聚类假设的情况下将先验结构信息融入基分类器决策函数的方法。文献10针对经典的“一对一”三符号编码矩阵中码元“0”会引入分类偏差的问题，提出了避免二次训练的码元“0”再编码方法，并将该分类结果作为权值融入基于损失函数的解码过程中。文献11利用遗传算法来优化编码矩阵的构造，将初始ECOC编码矩阵看作遗传个体，经过交叉和变异形成新的编码矩阵。相关的研究还有文献12-14等，这些成果都有力地促进了三元 ECOC多类分类的发展。 在三元编码矩阵中，码元“0”所对应的类别不参与训练，因此构造

11、得到的基分类器将不包含此类样本的先验信息。故当该基分类器作用于测试样本时，就有可能因为信息缺失而输出片面的结果，导致分类错误。本文针对此分类偏差问题，提出了一种基于ROC的再编码方法(re-coding error-correcting output codes based on ROC)。该方法能够在不进行二次训练的基础上，通过基于ROC构造的最优基分类器对码元“0”进行重新编码，使得矩阵尽可能包含所有类别样本的结构信息；同时拒绝域的构造实现了三元 ECOC对样本的选择性分类，矩阵中的“0”也在解码过程中变得更为具体，从而减小解码误差。决策时，将输出向量与新的类别编码进行Hamming距离解

12、码。该方法采用的初始编码矩阵可以为任意的三元纠错输出编码矩阵，具有很好的普适性。 论文结构安排如下：第2节首先简要介绍基于ROC的三元再编码思想；第3节提出基于ROC再编码思想的步骤和方法，并对该方法存在的问题进行一一阐述；第4节给出实验结果和分析；最后给出总结说明。 2 再编码思想 ECOC框架中基分类器不能对样本进行选择性分类，而对于未参与基分类器训练的样本而言，直接对其分类将引入误差。 问题1 假设有符合高斯混合分布的5类数据(ecoli数据集1)，如图1所示。当采用“一对一”方法对其进行编码时，由1C和5C作为训练样本产生的基分类器的决策面也能在一定程度上对类别2C ,3C1)对eco

13、li数据集进行了归一化处理，并删除了一些样本数很小的类 和4C进行正确的划分。这样，基分类器15h就能在测试时对其做出正确的硬判决输出。针对此问题，文献10提出了一种不需要重新训练的再编码方法，通过已训练的基分类器对码元“0”所对应的类别进行分类，通过设定分类正确率的阈值，将其重新编码为1, -1。但对于编码矩阵中遗留的码元“0”仍采用传统的损失函数进行解码。 问题2 假设一个三元编码矩阵47M和输出向量x。 从图2中可以看出，根据Hamming距离解码和欧式距离解码，未知样本x被判定为1C。但事实上x属于第2类。因为只有当2C类在基分类器训练中没有被忽略时，其类别属性与2C类一致；当2C类被

14、忽略时基分类器的决策面不能对样本x进行正确识别。出现这样的情况是由于编码矩阵中码元“0”的干扰，使训练得到的分类器不包含对应类别的分布信息，在解码过程中引入了偏差，从而不能做出正确的判决。本文结合问题1和问题2，将“拒绝域”引入每一个基分类器，对样本输出值落入拒绝域中的样本予以拒绝，不对其进行分类识别，使基分类器的输出由二元值扩展到三元值，从而减少基分类器对“0”标识的类别样本直接分类带来的误差。具体来讲：就是用训练好的基分类器对码元0 所对应的样本进行分类，根据一定的拒绝域准则，将“0”重新编码为“1”或“-1”；如果码元“0”所对应样本的输出落入拒绝域，此时选择性拒判就产生了，此类别在新的

15、编码矩阵中码元依旧为“ 0”，这样就从本质上减小了利用Hamming距离解码时带来的误差，从而克服了问题2。 图1 5类数据集分布 12345671247 3HD ED1 1 1 1 1 1 1 1 41 1 0 0 0 0 0 2.5 51 1 1 1 1 1 1 6 h h h hhh hCCC M4120 1 1 0 1 1 1 4 81 1 1 1 1 1 1C x图 2 47M编码矩阵 万方数据第10期 雷 蕾等： 基于ROC的三元再编码研究 2517 要实现选择性拒判，关键是构造拒绝域。作为分类器性能评估的有效手段，ROC曲线判决直观、概念清楚，对样本数据的先验分布知识和错分代价矩

16、阵都不敏感，为解决前面提到的拒绝判决问题提供了强大的工具。为此本文引入ROC来设计拒绝域，构造最优分类器进行再编码设计。根据以上分析，图3给出了基于ROC的三元再编码的多类分类结构框图。其中TS和VS分别代表训练样本的训练子集和验证子集。值得注意的是，再编码过程仍然在样本训练阶段进行，这样就避免了二次训练，减少了训练时间。 3 基于ROC的三元再编码研究方法 本节利用ROC构造阈值对，进而得到带拒绝域的最优分类器，通过其对训练阶段所忽略的类别样本进行分类再编码，最终得到新的编码矩阵。 3.1 基于ROC的最优分类器 为了说明ROC的生成及相关特性，首先简要介绍两类样本混淆矩阵的相关概念。混淆矩

17、阵描绘了样本数据的真实类别属性与识别结果之间的关系，是评价分类器性能的一种常用的有效方法。假定一个二分器的分类结果为一个22的混淆矩阵，如表1所示，其中行元素代表样本的真实属性，列元素代表分类器的分类结果。矩阵中：TP为正确分类的正类样本数；FP为被错误分类的负类样本数；FN为被错误分类的正类样本数；TN为正确分类的负类样本数。定义代价矩阵MC，其中TP和TN的分类代价为0。21 12cr cc为代价矩阵的费效比(cost ratio)。由此定义该分类器的分类损失代价为 12 21FN FPcostTP+FN+FP+TNcc (1) 图 3 基于ROC的三元再编码多类分类结构框图 表1 混淆矩

18、阵和代价矩阵 混淆矩阵C (b) 代价矩阵MC + - + - 0 + TP FN P + 0 12c 13c - FP TN N - 21c 0 23c 其中，FP+TN=N , TP+FN=P。ROC为一个2维图形，如图4所示，y轴表示为 tp=TP/(TP+FN) , x轴表示为fp FP/(FP+TN)。利用式(1)对FP求 导，并令其等于0可得：*ROC(fp ) crNfP。 对于带拒绝域的基分类器而言，要找到最优的阈值对*(fp ,tp )，文献15探讨了一系列算法，本文就对其采用的方法进行简单介绍. 假设ROC曲线上两点(fp ,tp )和(fp ,tp )对应的基分类器为C和

19、C，设fp fa，如图4。C和C是分类器根据不同阈值设定而得到的，属于一个家族，其数据分布具有一致性，即使存在分类不一致的情况，对分类结果也不会产生太大的影响。故通过此ROC曲线得到的最优分类器optC能满足下列条件： opt, ( ) 0, , CCCx C CCC (2) 同时假设C和C的混淆矩阵为(TP ,FN ,FP , TN )和 TP ,FN ,FP ,TN ，分类代价矩阵为MC，式(1)的分类损失代价函数可改写为 23 13, disagree, , disagree,21 12FP for bothFN for both13 21 23rc( ) FP FP FN FNFP F

20、NFN FPCC CCNP c cccc cc 12 13 23ROC 13 21 23ROC 12 13 23FN FNFP1 FPFP1 FPcc cP f c ccNP f cc cN (3) 可以看出式(3)是关于FP和FP两个变量的函数，为了得到局部最小值利用式(3)分别对该两个变量求偏导可得： 图4 ROC曲线特性 万方数据2518 电 子 与 信 息 学 报 第38卷 ROC 13 21 23ROC 12 13 23FPrc( )=FPFPrc( )=FPPNP f c c cNNPNP f c c cNN (4) 令式(4)等于0得到最终结果为 * 21 23ROC13* 23

21、ROC12 13fpfpccNfcPc Nfc cP(5) 由式(5)就可获得ROC曲线上满足要求的两点，以此作为该基分类器产生拒绝域的阈值对*(fp ,fp )。由前面的假设可知*fp fp , *ROC ROC(fp ) (fp )ff。由于ROC的凸包是递增和凸的，所以它的一阶导数是非负和非增的，也就是*ROC ROC(fp ) (fp ) 0ff。所以代价矩阵MC需要满足以下条件： 21 23 12 13 21 12 21 13 23 12( )( )( )c c c c cc cc cc (6) 3.2 新编码矩阵的生成 上一节通过ROC曲线构造出带拒绝域的基分类器并获得阈值对*(f

22、p ,fp )。其再编码过程为 *1, fp( , ) 0, fp fp1, fpjijijicMij cc (7) 其中， jic为利用编码矩阵第 j列对应的最优分类器对“0”标识的第 i类的分类正确率。表2给出了基于再编码的多类分类方法的具体实现步骤。初始编码矩阵经过带拒绝域的基分类器重新编码以后，矩阵中码元“0”的个数会有所下降，而基分类器对未知样本的输出不再只有两种输出，即正类输出和负类输出，而是出现第3种输出结果，即拒绝做出判决(用“0”标示)。对此我们可以直接利用经典的汉明距离进行解码。 下面将重点通过实验验证该方法所得的编码矩阵在分类中的应用效果。 4 实验 本节采用人工数据集和

23、UCI数据集来验证本文方法的分类效果。 4.1 实验数据 实验中所用的第1类数据集为5类2维正态分布人工数据集16，各类别数据的先验概率相同且样本个数为400，其类别分布参数如表3所示。 第2类数据集为UCI数据集，其各类数据描述如表4所示，针对部分UCI数据集，本文对其进行了归一化处理，并删除了一些样本数很小的类，同时为了提高分类速度，实验中对高维数据使用主成分分析法(PCA)进行了降维处理。 表2 基于ROC三元再编码的多类分类方法 表3 5类人工数据集各类别分布参数 class 1C 2C 3C 4C 5C i (0,0) (3,0) (0,5) (7,0) (0,9) 2i 1 4 9

24、 25 64 表4 UCI数据集及数据描述 4.2 实验设计 实验比较了原始“一对一”编码、稀疏随机编码和基于两者的再编码矩阵的分类效果。在选择随机编码方法时，我们将分别从已产生的2000个稀疏随机编码阵集(对应各码元 1 =1/3p , 0 =1/3p , 1 1/3p )中随机选择所需要的编码阵。基分类输入：初始编码矩阵 init1, 0, 1KL M，训练样本集 步骤 1 从训练样本集中随机抽取部分样本作为验证集validate，更新训练样本集validate ，令编码矩阵initMM。 步骤2 基于编码矩阵M和训练样本集训练得到L个基分类器 1, 2, ,ili L ，利用每个基分类器

25、对验证集validate进行分类，保留分类结果。 步骤3 针对上一步每个基分类器画出相应的ROC曲线，同时利用3.1节所示的方法确定构造每个基分类器拒绝域的阈值对*(fp ,fp )，得到编码矩阵各列所对应的最优基分类器 1, 2, ,ifi L 。 步骤4 利用if对编码矩阵M中“0”对应的类别进行分类，根据式( 7)对其进行重新编码，得到新的编码矩阵newM。 步骤 5 利用if对未知样本进行分类，将输出向量与newM进行Hamming距离解码。 输出：分类正确率 数据集 样本书 类别数 维数 Balance Ecoli 625 336 3 8 4 8 Glass 214 6 9 Iris

26、 150 3 4 Satimag 6435 6 36 Segment 2310 7 19 Thyroid 215 3 5 vehicle 846 4 18 Vowel 990 11 10 Wine 178 3 13 Yeast 1484 10 8 Zoo 101 7 18 万方数据第10期 雷 蕾等： 基于ROC的三元再编码研究 2519 器采用了线性逻辑分类器(LOGLC)和多项式核函数支持向量机( 2C )。采用Hamming距离进行解码，输出最后分类决策。 在估计分类错误率时为保证估计的准确性，样本数据个数大于500时我们采用10重交叉验证，小于500时采用5重交叉验证，双边估计t检验法

27、见文献17。 ROC曲线的绘制采用算法2实现18，如图5所示，其中p , n分别为正负样本个数。根据3.1节的方法求出该基分类器对应的阈值对和最优分类器，用于下一步测试样本的分类。 4.3 实验结果及分析 4.3.1 人工数据集 图6展示了基于一对一编码矩阵的线性逻辑基分类器所绘制的ROC曲线。从图6中可以看出，将所有的点根据不同的决策阈值进行分类，得到一条从点(0,0)向点(1,1)方向延伸的ROC曲线，并最终趋于稳定。而对于有限数据集合而言，生成的ROC曲线是阶梯形状的，只有当样本数据趋近无穷时，才能得到理论上的真实ROC曲线。 对于人工数据集而言，正负类样本比例大致为1 : 1，所以得到

28、的最优分类器的阈值为(0.2754, 0.8751)，表5为验证集的分类正确率。其中if为基分类器，classi为类别。 图5 ROC曲线的实现 图 6 ROC实验曲线 表5 基于验证集的分类正确率 1f 2f 3f 4f 5f 6f 7f 8f 9f 10f 1class 0 0 0 0 0.8802 1 1 0.9323 1 0.7188 2class 0 0.9100 0.6050 0.9800 0 0 0 0.3200 1 0.9100 3class 0.6963 0 0.9159 0.3785 0 0.9907 0.3411 0 0 0.1355 4class 0.1256 0.72

29、36 0 0.8543 0.8794 0 0.9095 0 0.9548 0 5class 0.6443 0.2577 0.7577 0 0.2268 0.8247 0 0.8299 0 0 得到新的编码矩阵如表6所示。 表7所示结果为各编码类型在人工数据集下的分类正确率及其置信区间。ROC +编码方法为对应 表6 新编码矩阵行列 行 列 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 1 -1 0 -1 0 1 1 -1 0 -1 1 0 1 -1 0 1 1 0 0 -1 1 1 -1 1 -1 1 1 1 -1 0 1 1 0 1 -1 1 0 1 -1 0 1 1 1 1

30、 -1 0 1 -1 1 -1 的基于ROC的再编码多类分类方法。 从表7可以看出，基于ROC的再编码方法是有效的，其分类得到的结果要优于原始编码方法，而基于一对一编码方法分类精度的提高要高于随机编码，这是因为在一对一编码中，码元“0”所占的比例高，对其进行再编码，能明显地减少“0”的数量，缩小测试样本输出向量与真实类码字的距离，从而提高分类正确率。同时再编码的复杂度也没有明显的增加，所需时间消耗在可接受范围内。 4.3.2 UCI数据集 表8和表9列出了分别以SVM和LOGLC作为基分类器的不同编码方法的分类结果比较。其中Re-为文献10所采用的再编码方法。在每张表中加粗的数据为最大分类正确

31、率。 万方数据2520 电 子 与 信 息 学 报 第38卷 表7 人工数据集分类正确率及置信水平为0.95的置信区间(%) 编码类型 基分类器 线性逻辑分类器 支持向量机 分类正确率&置信区间(%) 时间复杂度(s) 分类正确率&置信区间(%) 时间复杂度(s) 一对一 61.452.19 57 69.801.68 115.00 ROC一对一 63.251.08 102 72.854.79 136.73 一对多 59.701.30 6 67.753.59 59.00 密集编码 55.200.12 18 60.350.12 156.00 稀疏编码 48.903.10 26 63.107.06

32、84.00 ROC稀疏编码 63.901.27 50 64.4514.57 117.54 表8 基于SVM和Hamming距离解码的各数据集分类正确率及置信水平为0.95的置信区间(%) 一对一 Re-一对一 ROC一对一 一对多 密集编码 稀疏编码 Re-稀疏 ROC-稀疏 Balance 95.528.22 95.686.01 96.002.11 96.9610.23 - 96.286.04 95.367.14 96.326.02 Ecoli 74.9314.60 75.342.68 75.885.86 68.756.15 42.560.56 69.649.67 70.798.54 70.

33、6711.81 Glass 96.7018.60 96.2324.65 97.6917.26 96.260.89 32.727.77 80.8310.49 87.958.39 88.308.72 Iris 92.685.38 96.678.47 97.3316.94 94.0025.41 - 64.675.41 64.678.47 65.333.85 Satimag 77.543.03 80.404.59 82.5912.39 62.008.19 67.806.54 72.803.10 71.0913.59 71.631.98 Segment 93.463.85 93.709.90 93.68

34、9.35 92.8114.30 54.298.17 82.342.86 83.8514.85 87.1411.55 Vehicle 74.949.76 75.5312.78 75.6517.29 73.523.80 53.520.80 58.875.28 59.5710.23 60.733.54 Vowel 96.266.42 98.581.36 98.712.89 87.6828.24 82.127.97 79.802.48 80.031.03 79.090.00 Wine 73.126.19 79.813.95 80.352.19 74.7110.75 - 78.094.01 78.891

35、4.12 79.183.86 Yeast 56.335.67 65.732.01 66.6114.90 67.062.56 46.440.84 51.2110.47 52.978.41 53.1622.10 Thyroid 87.935.89 92.096.38 92.575.32 91.6212.31 83.726.87 87.446.65 88.754.78 89.1017.26 表9 基于LOGLC和Hamming距离解码的各数据集分类正确率及置信水平为0.95的置信区间(%) 一对一 Re-一对一 ROC一对一 一对多 密集编码 稀疏编码 Re-稀疏 ROC-稀疏 Balance 88

36、.484.30 90.043.88 91.7212.01 96.9610.23 - 46.080.94 47.0413.15 49.7617.29 Ecoli 80.0717.40 82.7614.08 83.6212.01 77.716.26 42.560.56 72.312.10 71.1212.09 75.3214.72 Glass 84.908.04 87.793.85 89.7014.32 86.913.11 32.727.77 68.272.89 69.621.28 70.903.70 Iris 94.008.47 96.0016.94 97.3316.94 94.670.05 -

37、 74.675.08 75.674.23 76.3316.94 Satimag 86.534.07 86.150.51 86.766.79 79.393.43 63.820.06 79.780.71 80.202.07 80.262.25 Segment 93.1117.05 94.0313.35 93.0311.00 88.012.69 74.2914.29 71.773.30 74.162.80 74.503.52 Vehicle 79.313.21 77.423.83 78.013.66 75.6512.75 23.520.80 71.764.27 68.5617.08 69.863.6

38、0 Vowel 77.175.13 76.3617.97 77.377.70 38.0819.25 - 45.565.05 48.282.84 48.843.85 Wine 94.1213.16 95.0512.98 95.067.70 95.2413.64 - 94.3913.48 92.1614.45 95.4829.20 Yeast 56.7314.21 57.694.68 58.092.98 53.2212.85 46.440.84 55.536.28 53.706.66 54.0513.86 Thyroid 95.825.65 95.8117.98 96.2712.04 95.831

39、4.12 93.9714.01 94.4112.15 93.965.55 92.1017.26 从实验结果可以看出，基于ROC的再编码方法在大部分数据集上能获得较好的分类效果。尽管Re-ECOC有时能取得更好的分类效果，但它不能实现基分类器的选择性分类，对一些错分代价较大 的样本有一定的局限性。同时基于“一对一”编码矩阵的ECOC多类分类方法在大部分数据集上的分类性能提升优于基于随机编码的ECOC分类。而对于Glass数据集而言，基于稀疏随机编码提高的幅万方数据第10期 雷 蕾等： 基于ROC的三元再编码研究 2521 度较大，这是因为此时稀疏编码矩阵为 100 111110001011 11

40、1 11111000 1110 1 10 1 110 1 10 0 1 可以看出，此时的编码矩阵中“0”的数量较多，对其采取再编码策略能够明显地提高分类性能。 为了更直观地体现再编码对码元“0 ”的影响，本文引入拒分率来对编码前后的分类性能进行比较。 011liiiNlN(8) 其中，iN为第i列编码对应的样本总数，0iN为其码元“0”所应对的样本个数，即拒分样本个数，l为分类器个数。图7为不同数据集在原始编码和再编码情况下的拒分率比较。从图7中可以看出，再编码之后拒分率明显下降，且基于一对一编码的拒分率下降幅度大于随机编码。通过对“0”进行再编码能够使三元类码字更加具体，提高了解码速度和精度

41、，从而提升分类效果。 5 结束语 在三符号ECOC多类分类中，码元“0”对应的类别样本将不参与此列基分类器的训练，因此利用该基分类器对未参与训练的类别样本进行分类可能会带来误差。本文提出的再编码 ECOC方法在不进行二次训练的前提下，通过引入“拒绝域”来实现选择性分类，将基分类器的二值输出扩展为三值输出，从而实现编码矩阵中的码元“0”再编码，缩小预测输出与类别码字的距离，提高分类正确率。在为基分类器构造拒绝域时，一种基于ROC曲线的拒绝域构造方法被应用到再编码过程中。最后实验验证了本文方法的有效性。本文为实现多类别的选择性分类提供了新思路。如何从降低误判风险出发，研究有效的带拒绝域的ECOC多

42、类分类方法是下一步的工作重点。 图7 拒分率比较 参 考 文 献 1 DIETTERICH T G and BAKIRI G. Solving multi-class learning problems via error-correcting output codesJ. Journal of Artificial Intelligence Research, 1995, 34(2): 263-286. doi: 10.1613/jair.105. 2 PHYO K S, JIAN G W, and EAM K T. Facial age range estimation with extr

43、eme learning machinesJ. Neurocomputing, 2015, 149A: 364-372. doi: 10.1016/ j.neucom.2014.03.074. 3 ELIF D . ECG beats classification using multiclass support vector machines with error correcting output codesJ. Digital Signal Processing, 2007, 45(17): 675-684. doi: 10.1016/j.dsp. 2006.11.009. 4 SERG

44、IO E, DAVID M, ELOI P, et al. Online error correcting output codesJ. Pattern Recognition Letters, 2011, 32(3): 458-467. doi: 10.1016/j.patrec.2010.11.005. 5 ERIN L A, ROBERT E S, YORAM S, et al. Reducing multiclass to binary: a unifying approach for margin classifiersJ. Journal of Machine Learning Research, 2000, 39(1): 113-141. doi: 10.1162/15324430152733133. 6 SERGIO E, ORIOL P, and PETIA R. Separability of ternary error-correcting output codesJ. Pattern Recognition Letters, 2009, 30(5): 285-297. doi: 10.1016/j.patrec.2008.