半监督学习综述.ppt

《半监督学习综述.ppt》由会员分享，可在线阅读，更多相关《半监督学习综述.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1半监督学习综述(Semi-supervisedLearning)机器学习领域中，传统的学习方法有两种：机器学习领域中，传统的学习方法有两种：监督学习监督监督学习监督学习学习。半监督学习（。半监督学习（Semi-supervised Learning）是模）是模式识别和机器学习领域研究的重点问题，是监督学习与无式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。量的标注样本和大量的未标注样本进行训练和分类的问题。2模式识别n模式识别（英语：Pat

2、ternRecognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息（通过视觉器官来获得）和声学信息（通过听觉器官来获得）的识别。这是模式识别的两个重要方面。市场上可见到的代表性产品有光学字符识别、语音识别系统n模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。3机器学习：机器

3、模拟人的学习机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。4 监督学习（监督学习（Supervised learning） 训练集：标注训练集：标注 非监督学习（非监督学习（Unsupervised learning） 训练集：无需标注（同一分布）训练集：无需标注（同一分布） 半监督学习（

4、半监督学习（Semi-supervised learning） 训练集：标注训练集：标注+未标注未标注(同一分布同一分布)机器学习：按学习方式分类有监督的学习有监督的学习：学习器通过对大量有标记的训练例进行学习，从而建立模型用于预测未见示例的标记(label)。很难获得大量的标记样本。无监督的学习无监督的学习：无标记样本，仅根据测试样本的在特征空间分布情况来进行标记，准确性差。7半监督学习的过程：有少量标记样本，学习机以从标记样本获得的知识为基础，结合有少量标记样本，学习机以从标记样本获得的知识为基础，结合测试样本的分布情况逐步修正已有知识，并判断测试样本的类别测试样本的分布情况逐步修正已有知

5、识，并判断测试样本的类别。人类是否进行半监督学习？人类是否进行半监督学习？9人类是否进行半监督学习？人类是否进行半监督学习？10传统机器学习算法需要利用大量有标记的样本进行学习。随着信息技术的飞速发展，收集大量未标记的（unlabeled）样本已相当容易，而获取大量有标记的示例则相对较为困难，因为获得这些标记可能需要耗费大量的人力物力。如何利用大量的未标记样本来改善学习性能成为当前机器学习研究中备受关注的问题。优点优点：半监督学习（Semi-supervisedLearning）能够充分利用大量的未标记样本来改善学习机的性能，是目前利用未标记样本进行学习的主流技术。半监督学习背景11半监督学习

6、的发展历程u未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意识到了。R.P.Lippmann.Patternclassificationusingneuralnetworks.IEEE Communications,1989,27(11):47-64.u 一般认为，半监督学习的研究始于B. Shahshahani和D. Landgrebe的工作，最早是在这篇文章当中提到的。 B.Shahshahani,D.Landgrebe.Theeffectofunlabeledsamplesinreducingthesmallsamplesizeproblemandmitigatingthe

7、hughesphenomenon.IEEE Transactions on Geoscience and Remote Sensing,1994,32(5):1087-1095.uD.J.Miller和H.S.Uyar认为，半监督学习的研究起步相对较晚，可能是因为在当时的主流机器学习技术（例如前馈神经网络）中考虑未标记示例相对比较困难。随着统计学习技术的不断发展，以及利用未标记示例这一需求的日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。D.J.Miller,H.S.Uyar.Amixtureofexpertsclassifierwithlearningbasedonbothlabelle

8、dandunlabelleddata.In:M.Mozer,M.I.Jordan,T.Petsche,eds.Advances in Neural Information Processing Systems 9,Cambridge,MA:MITPress,1997,571-57712n在进行Web网页推荐时，需要用户标记出哪些网页是他感兴趣的，很少会有用户愿意花大量的时间来提供标记，因此有标记的网页示例比较少，但Web上存在着无数的网页，它们都可作为未标记示例来使用。n这类问题直接来自于实际应用：例如，大量医学影像，医生把每张片子上的每个病灶都标出来再进行学习，是不可能的，能否只标一部分，并

9、且还能利用未标的部分？半监督学习的应用领域13半监督学习应用实例n语音识别（Speechrecognition）n文本分类（Textcategorization）n词义解析（Parsing）n视频监控（Videosurveillance）n蛋白质结构预测（Proteinstructureprediction）基本思想基本思想半监督学习的基本思想是利用数据分布上的模型假设, 建立学习器对未标签样本进行标签。形式化描述为： 给定一个来自某未知分布的样本集S=LU, 其中L 是已标签样本集L=(x1,y1),(x2,y2), ,(x |L|,y|L|), U是一个未标签样本集U=x1,x2,x|U|

10、,希望得到函数f:X Y可以准确地对样本x预测其标签y，这个函数可能是参数的，如最大似然法；可能是非参数的，如最邻近法、神经网络法、支持向量机法等；也可能是非数值的，如决策树分类。其中, x与x 均为d 维向量, yiY 为样本x i 的标签, |L| 和|U| 分别为L 和U 的大小, 即所包含的样本数。半监督学习就是在样本集S 上寻找最优的学习器。如何综合利用已标签样例和未标签样例,是半监督学习需要解决的问题。两个基本假设两个基本假设n半监督学习问题从样本的角度而言是利用少量标注样本和大量未标注样本进行机器学习，从概率学习角度可理解为研究如何利用训练样本的输入边缘概率P(x)和条件输出概率

11、P(y|x)的联系设计具有良好性能的分类器。这种联系的存在是建立在某些假设的基础上的，即聚类假设(clusterassumption)和流形假设(manifordassumption)。聚类假设聚类假设：是指处在相同聚类中的样本示例有较大的可能拥有相同的标记。根据该假设，决策边界就应该尽量通过数据较为稀疏的地方，从而避免把稠密的聚类中的数据点分到决策边界两侧。在这一假设下,大量未标记样本的作用就是帮助探明样本空间中数据分布的稠密和稀疏区域,从而指导学习算法对利用有标记样本学习到的决策边界进行调整,使其尽量通过数据分布的稀疏区域。流形假设流形假设：是指处于一个很小的局部区域内的示例具有相似的性质

12、，因此，其标记也应该相似。这一假设反映了决策函数的局部平滑性。和聚类假设着眼整体特性不同，流形假设主要考虑模型的局部特性。在该假设下,大量未标记示例的作用就是让数据空间变得更加稠密,从而有助于更加准确地刻画局部区域的特性,使得决策函数能够更好地进行数据拟合。两个基本假设两个基本假设17半监督学习的主要方法n从不同的学习场景看，SSL可分为四大类：n1)半半 监监 督督 分分 类类 (Semi-SupervisedClassification)：在无类标签的样例的帮助下训练有类标签的样本，获得比只用有类标签的样本训练得到的分类器性能更优的分类器，弥补有类标签的样本不足的缺点n2)半半 监监 督督

13、 回回 归归 (Semi-SupervisedRegression)：在无输出的输入的帮助下训练有输出的输入，获得比只用有输出的输入训练得到的回归器性能更好的回归器n3)半半 监监 督督 聚聚 类类 (Semi-SupervisedClustering)：在有类标签的样本的信息帮助下获得比只用无类标签的样例得到的结果更好的簇，提高聚类方法的精度；n4)半监督降维半监督降维(Semi-SupervisedDimensionalityReduction)n：在有类标签的样本的信息帮助下找到高维输入数据的低维结构，同时保持原始高维据和成对约束(Pair-WiseConstraints)的结构不变，即

14、在高维空间中满足正约束(Must-LinkConstraints)的样例在低维空间中相距很近，在高维空间中满足负约束(Cannot-LinkConstraints)的样例在低维空间中距离很远。18半监督学习的主要方法n半监督学习算法按照不同的模型假设,可以大致将现有的半监督学习算法分为五类：n自学习(Self-training)n基于生成模型的方法(EMwithgenerativemixturemodels)n协同训练(Co-training)n直推式支持向量机(TransductiveSupportVectorMachines)n基于图的方法(Graph-basedmethods)19 自训

15、练（Self-training）n定义定义：首先利用已标记的样本训练分类器，然后利用已有未标记训练样本建立的模型标记，使用分类器选出置信度高的样本加入训练集中重新训练，迭代这个过程，得到一个比较理想的分类器。n适用适用：用监督学习分类器时很复杂或者是很难修正n优点优点：简单、容易实现。n缺点：缺点：误差也同时会自我迭代放大。返回20 协同训练（Co-training）n1998年，Blum和Mitchell11提出了协同训练n方法。如图3所示，协同训练方法的基本训练过程n为：在有类标签的样本的两个不同视图(View)上分n别训练，得到两个不同的学习机，然后用这两个学n习机预测无类标签的样例的类

16、标签，每个学习机选n择标记结果置信度最高的样例和它们的类标签加n入另一个学习机的有类标签的样本集中。这个过程n反复迭代进行，直到满足停止条件。这个方法需要n满足两个假设条件：(1)视图充分冗余(SufficientandnRedundant)假设，即给定足够数量的有类标签的样n本，基于每个视图都能通过训练得到性能很好的学n习机；(2)条件独立假设，即每个视图的类标签都条n件独立于另一视图给定的类标签。n21当前半监督学习面临的问题当前半监督学习面临的问题第一，半监督学习分类算法的现实价值半监督学习从诞生以来，主要用于处理人工合成数据、只在实验室试用，还没办法在某个现实领域得到应用，也就是说，其现实意义没体现出来；因此，半监督学习的实际应用价值问题值得更多的研究。第二，新假设的提出文中前面叙述到的各种半监督分类算法的假设，提出新的模型假设可能会改进半监督分类算法。所以对半监督学习分类算法的模型假设的研究将是十分有价值的。第三，半监督学习的抗干扰性比较弱无噪声干扰的样本数据是当前大部分半监督学习方法使用的数据，而在实际生活中用到的数据却大部分不是无干扰的，通常都比较难以得到纯样本数据。上面谈论的三个基本假设显然是有效的，不过过于简约，这些假设没能把噪声干扰下未标记样本数据分布的不确定性以及它的复杂性充分的考虑全。谢谢观看！