贝叶斯分类ppt课件.pptx

《贝叶斯分类ppt课件.pptx》由会员分享，可在线阅读，更多相关《贝叶斯分类ppt课件.pptx（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据挖掘分类之贝叶斯分类目录贝叶斯网络贝叶斯网络 2贝叶斯分类贝叶斯分类 1总结总结 4基于基于weka的贝叶斯仿真的贝叶斯仿真 3致谢致谢 51.1分类的基本概念1.2贝叶斯分类概述1.贝叶斯分类1.1分类的基本概念 近几十年来，Internet互联网的普及使得人们获得和存储数据的能力得到逐步的提高，数据规模不断壮大。面对“数据丰富而知识匮乏”的挑战，数据挖掘技术应运而生。数据挖掘是一门多学科的交叉领域，涉及统计学，机器学习、神经网络、模式识别、知识库系统、信息检索、高性能计算和可视化等学科。而数据挖掘中的分类技术是一项非常重要的技术。Q1 什么是分类 超市中的物品分类 生活中的垃圾分类Q1

2、 什么是分类 生活信息的分类由此可见，分类是跟我们的生活息息相关的东西，分类让生活更加有条理，更加精彩.Q1 什么是分类 分类就是把一些新的数据项映射到给定类别的中的某一个类别，比如说当我们发表一篇文章的时候，就可以自动的把这篇文章划分到某一个文章类别。 分类也称为有监督学习(supervised learning),与之相对于的是无监督学习(unsupervised learning),比如聚类。 分类与聚类的最大区别在于，分类数据中的一部分的类别是已知的，而聚类数据的类别未知。 Q2 分类问题名称胎生 会飞水中生活有腿类别Human是否否是哺乳动物python否否否否非哺乳动物salmon

3、否否是否非哺乳动物whale是否是否哺乳动物frog否否有时是非哺乳动物komodo否否否是非哺乳动物bat是是否是哺乳动物pigeon否是否是非哺乳动物cat是否否是哺乳动物leopard_shark 是否是否非哺乳动物turtle否否有时是非哺乳动物penguin否否有时是非哺乳动物porcupine是否否是哺乳动物eel否否是否非哺乳动物salamander否否有时是非哺乳动物gila_monster否否否是非哺乳动物platypus否否否是哺乳动物owl否是否是非哺乳动物dolphin是否是否哺乳动物eagle否是否是非哺乳动物胎生会飞水中生活有腿类别是否是否？Q2 分类问题税号去年退

4、税婚姻状况可征税收入逃税1是单身125k否2否婚姻中100k否3否单身70k否4是婚姻中120k否5否离婚95k是6否婚姻中60k否7是离婚220k否8否单身85k是9否婚姻中75k否10否单身90k是(,120K)X 对于去年退税否 婚姻状况婚姻中可征税收入Q2 分类的流程 动物种动物种类类体型体型翅膀数翅膀数量量脚的只数脚的只数是否产是否产蛋蛋是否有毛是否有毛类别类别狗中04否是哺乳动物猪大04否是哺乳动物牛大04否是哺乳动物麻雀小22是是鸟类天鹅中22是是鸟类大雁中22是是鸟类动物A大02是无？动物B中22否是？根据现有的知识，我们得到了一些根据现有的知识，我们得到了一些关于关于哺乳哺乳

5、动物动物和鸟类的信息，和鸟类的信息，我们能否对新发现的物种，比如动物我们能否对新发现的物种，比如动物A，动物，动物B进行分类？进行分类？动物种动物种类类体型体型翅膀数量翅膀数量脚的只数脚的只数是否产是否产蛋蛋是否有毛是否有毛类别类别狗中04否是哺乳动物猪大04否是哺乳动物牛大04否是哺乳动物麻雀小22是是鸟类天鹅中22是是鸟类大雁中22是是鸟类 步骤一：将样本转化为等维的数据特征（特征提取）。 所有样本必须具有相同数量的特征 兼顾特征的全面性和独立性Q2 分类的流程动物种动物种类类体型体型翅膀数量翅膀数量脚的只数脚的只数是否产是否产蛋蛋是否有毛是否有毛类别类别狗中0 04 4否否是哺乳动物猪大

6、0 04 4否否是哺乳动物牛大0 04 4否否是哺乳动物麻雀小2 22 2是是是鸟类天鹅中2 22 2是是是鸟类大雁中2 22 2是是是鸟类 步骤二：选择与类别相关的特征（特征选择）。 比如，绿色代表与类别非常相关，黑色代表部分相关，浅蓝色代表完全无关Q2 分类的流程 步骤三：建立分类模型或分类器（分类）。 分类器通常可以看作一个函数，它把特征映射到类的空间上iiniiiyxxxxf),.,(321Q2 分类的流程Q3 分类的方法 对数据挖掘中心的可信技术分类算法的内容及其研究现状进行综述。认为分类算法大体可以分为传统分类算法传统分类算法和基于软件计算基于软件计算的分类法两类，主要包括相似函数

7、，关联规则分类算法，K近邻分类算法，决策树分类算法，贝叶斯分类算法和基于模糊逻辑，遗传算法，粗糙集和神经网络的分类算法。 分类的算法有很多种，他们都有各自的优缺点和应用范围，本次我就贝叶斯分类算法展开我的演讲。1.2 贝叶斯分类概述 贝叶斯分类基于贝叶斯定理，贝叶斯定理是由18世纪概率论和决策论的早起研究者Thomas Bayes发明的，故用其名字命名为贝叶斯定理。 分类算法的比较研究发现，一种称为朴素贝叶斯分类法的简单贝叶斯分类法可以与决策树和经过挑选的神经网络分类器相媲美。用于大型数据库，贝叶斯分类法也已表现出高准确率和高速度。 目前研究较多的贝叶斯分类器主要有四种，分别是：Naive B

8、ayes、TAN、BAN和GBN。Thomas Bayes贝叶斯定理 贝叶斯定理贝叶斯定理（Bayes theorem）是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理能够告知我们如何利用新证据修改已有的看法。 通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。 贝叶斯公式提供了从先验概率P(A)、P(B)和P(B|A)计算后验概率P(A|B)的方法：P(A|B)=P(B|A)*P(A)/P(B) ，P(A|B)随着P(A)和P(B|A)的增长而增长

9、，随着P(B)的增长而减少，即如果B独立于A时被观察到的可能性越大，那么B对A的支持度越小。 贝叶斯公式贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。贝叶斯分类的原理 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意

10、义上的优化。根据贝叶斯定理：根据贝叶斯定理： 由于由于P(X)对于所有类为对于所有类为常数常数，只需要，只需要P(X|H)*P(H)最大即可。最大即可。)()()|()()()|(XPHPHXPXPXHPXHP 朴素贝叶斯 朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲

11、人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。 概率最大 第一阶段第一阶段准备工作阶段准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。 第二阶段第二阶段分类器训练阶段分类器训练阶段，这个阶段的任务就是生成分类器，

12、主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。 第三阶段第三阶段应用阶段应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。 朴素贝叶斯分类实例检测检测SNS社区中不真实账号社区中不真实账号 下面讨论一个使用朴素贝叶斯分类解决实际问题的例子。 这个问题是这样的，对于SNS社区来说，不真实账号（使用虚假身份或用户的小号）是一个普遍存在的问题

13、，作为SNS社区的运营商，希望可以检测出这些不真实账号，从而在一些运营分析报告中避免这些账号的干扰，亦可以加强对SNS社区的了解与监管。 如果通过纯人工检测，需要耗费大量的人力，效率也十分低下，如能引入自动检测机制，必将大大提升工作效率。这个问题说白了，就是要将社区中所有账号在真实账号和不真实账号两个类别上进行分类。 下面我们一步一步实现这个过程。 首先设C=0表示真实账号，C=1表示不真实账号。 1、确定特征属性及划分、确定特征属性及划分 这一步要找出可以帮助我们区分真实账号与不真实账号的特征属性，在实际应用中，特征属性的数量是很多的，划分也会比较细致，但这里为了简单起见，我们用少量的特征属

14、性以及较粗的划分，并对数据做了修改。 我们选择三个特征属性：a1：日志数量/注册天数 a2：好友数量/注册天数 a3：是否使用真实头像 在SNS社区中这三项都是可以直接从数据库里得到或计算出来的。 下面给出划分：a1：a=0.05, 0.05a=0.2 a2：a=0.1, 0.1a=0.8 a3：a=0（不是）,a=1（是） 2、获取训练样本、获取训练样本 这里使用运维人员曾经人工检测过的1万个账号作为训练样本。 3、计算训练样本中每个类别的频率、计算训练样本中每个类别的频率 用训练样本中真实账号和不真实账号数量分别除以一万，得到： P(C = 0) = 8900/10000 = 0.89P(

15、C = 1) = 1100/10000 = 0.11 4、计算每个类别条件下各个特征属性划分的频率、计算每个类别条件下各个特征属性划分的频率P(a1=0.05| C = 0) = 0.3 P(a1=0.05| C = 1) = 0.8 P(0.05a10.2|C = 0) = 0.5 P(0.05a10.2| C = 0) = 0.2 P(a10.2| C = 1) = 0.1P(a2=0.1| C = 0) = 0.1 P(a2=0.1| C = 1) = 0.7P(0.1a20.8 | C=0) = 0.7 P(0.1a20.8| C = 0) = 0.2 P(a20.8| C = 0)

16、= 0.1P(a3 = 0|C = 0) = 0.2 P(a3 = 1|C = 0) = 0.8 P(a3 = 0|C = 1) = 0.9 P(a3 = 1|C = 1) = 0.1 5、使用分类器进行鉴别、使用分类器进行鉴别 下面我们使用上面训练得到的分类器鉴别一个账号，属性如下 a1:日志数量与注册天数的比率为0.1 a2 :好友数与注册天数的比率为 0.2 a3:不使用真实头像 (a = 0) P(C = 0)P( x|C = 0)= P(C = 0) P(0.05a10.2|C = 0)P(0.1a20.8|C = 0)P(a3=0|C = 0)= 0.89*0.5*0.7*0.2=

17、 0.0623 P(C = 1)P( x|C = 1)= P(C = 1) P(0.05a10.2|C = 1)P(0.1a20.8|C = 1)P(a3=0|C = 1)= 0.11*0.1*0.2*0.9= 0.00198 可以看到，虽然这个用户没有使用真实头像，但是通过分类器的鉴别，可以看到，虽然这个用户没有使用真实头像，但是通过分类器的鉴别，更倾向于将此账号归入真实账号类别。更倾向于将此账号归入真实账号类别。 朴素贝叶斯模型朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以 及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模

18、型与其他分类方法相比具有最小的误差率。但是朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。于是诞生了一种更高级、应用范围更广的贝叶斯网络贝叶斯网络。2.1贝叶斯网络概述2.2贝叶斯网络学习2.贝叶斯网络2.3贝叶斯网络应用 在上一篇文章中我们讨论了朴素贝叶斯分类。 这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更高级、应用范围更广的一种算法贝叶斯网络（又称贝叶斯信念

19、网络或信念网络）。复杂的网络2.1贝叶斯网络概述 上一篇文章我们使用朴素贝叶斯分类实现了SNS社区中不真实账号的检测。在那个解决方案中，我做了如下假设： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。 ii、日志密度、好友密度和是否使用真实头像在账号真实性给定的条件下是独立的。 但是，上述第二条假设很可能并不成立。一般来说，好友密度除了与账号是否真实有关，还与是否有真实头像有关，因为真实的头像会吸引更多人加其为好友。因此，我们为了获取更准确的分类，可以将假设修改如下： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。

20、 ii、日志密度与好友密度、日志密度与是否使用真实头像在账号真实性给定的条件下是独立的。 iii、使用真实头像的用户比使用非真实头像的用户平均有更大的好友密度。上述假设更接近实际情况，但问题随之也来了，由于特征属性间存在依赖关系，使得朴素贝叶斯分类不适用了。既然这样，我去寻找另外的解决方案。 下图表示特征属性之间的关联：左图是一个有向无环图，其中每个节点代表一个随机变量，而弧则表示两个随机变量之间的联系，表示指向结点影响被指向结点。不过仅有这个图的话，只能定性给出随机变量间的关系，如果要定量，还需要一些数据，这些数据就是每个节点对其直接前驱节点的条件概率，而没有前驱节点的节点则使用先验概率表示

21、。 例如，通过对训练数据集的统计，得到下表（R表示账号真实性，H表示头像真实性）： 纵向表头表示条件变量，横向表头表示随机变量。第一张表为真实账号和非真实账号的概率，而第二张表为头像真实性对于账号真实性的概率。这两张表分别为“账号是否真实”和“头像是否真实”的条件概率表。有了这些数据，不但能顺向推断，还能通过贝叶斯定理进行逆向推断。例如，现随机抽取一个账户，已知其头像为假，求其账号也为假的概率： 也就是说，在仅知道头像为假的情况下，有大约35.7%的概率此账户也为假。 如果给出所有节点的条件概率表，则可以在观察值不完备的情况下对任意随机变量进行统计推断。上述方法就是使用了贝叶斯网络。贝叶斯网络

22、的简介简介 贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很的优势，在多个领域中获得广泛应用。 贝叶斯网络又称信度网络，是Bayes方法的扩展，目前不确定知识表达和推理领域最有效的理论模型之一。从1988年提出后，已经成为近几年来研究的热点.。贝叶斯网络的定义贝叶斯网络是一个二元组，即BN=(G,P), G=

23、(V,E),为有向无圈图(Directed Acyclic Graph) ,其中V为节点集合，与领域的随机变量一一对应，E为有向边集，反映节点变量之间的因果依赖关系；P为节点的概率分布，表示节点之间因果影响强度从定性和定量两个角度来理解在定性层面：贝叶斯网络是一个有向无圈图，其中的节点代表随机变量，节点之间的边代表变量之间的直接依赖关系；在定量层面：每个节点都有一个条件概率表(Conditional Probability Table) P(Xi|Parents(Xi) ,刻画了父变量对子变量的影响程度。12(,)nXXXX=K 贝叶斯网络示例（1）贝叶斯网络示例（2）贝叶斯网络又名：信念网(

24、Belief Network)、概率网络(Probability Network)、因果网络(Causal Network)、图模型(Graphical Model)或概率图模型(PGM)、决策网络(Decision Network)、影响图(Influence Diagram)、知识图(Knowledge Map)贝叶斯网络作为不确定性知识表示的理想模型，具有以下主要特点： 1.具有坚实的数学基础：贝叶斯理论是贝叶斯概率和经典的统计学理论相结合的结果，它给出了信任函数在数学上的计算方法，刻画了信任度与样本数据的一致性以及信任度随数据而变化的增量学习特性，长期的理论研究和实践应用，证明了其有效

25、性和正确性。 2.贝叶斯网络是有向无循环图，能够清晰和直观地显示变量之间的因果关系。 3.贝叶斯网络可以图形化表示随机变量间的联合概率，利用概率理论能够处理各种不确定性信息。 4. 贝叶斯网络可以处理不完整和带噪音的数据集。 贝叶斯网络的特点贝叶斯网络的研究现状20世纪80年代，随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。Pearl等于1988年提出贝叶斯网络，并将贝叶斯网络成功地应用于专家系统，成为不确定专家知识和推理的流行方法，90年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习，近年来，贝叶斯学习理论方面的文章更是层出不穷，内

26、容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA。随着人工智能的发展，贝叶斯理论的内涵也比以前有了很大的变化。目前，贝叶斯网络研究领域主要集中在以下四个方面：贝叶斯网络的学习、利用贝叶斯网络进行推理，计算和基于贝叶斯网络的应用。2.2贝叶斯网络的学习1. 结构学习：发现变量之间的图关系 2 .参数学习：决定变量之间互相关联的量化关系 贝叶斯网络的学习是指从大量的样本数据集或应用领域中构造贝叶斯网络，主要涉及三个步骤：分辨出所要建模领域中具有重要性变量的所有可能取值，并以节点表示；判断节点间的依赖或独立关系，

27、并以图方式表示；获得网络定量部分所需要的概率参数。即结构学习和参数学习。参数学习是在给定贝叶斯网络拓扑结构的情况下，确定各节点处的条件概率，分为完备数据集下的参数学习和缺失数据集下的参数学习；结构学习的方法有两种，一种是通过咨询专家进行手工构造，一种是利用计算机从数据集中学习。前者一般不采用，因为当数据量较大时，仅仅依赖于专家知识构造网络是费时费力，甚至是不可能的。因此国内外的学者主要兴趣集中在如何从数据中学习贝叶斯网，并且根据网络结构和数据集就可以确定参数，因此网络结构学习是贝叶斯网络学习的核心，成为当今的一个热门研究领域。 贝叶斯网络结构学习结构学习是利用训练样本集，尽可能结合先验知识，确

28、定和样本数据集合D匹配最好的的贝叶斯网络拓扑结构；对于含有n个变量的数据集进行网络结构学习，可能的结构数目为：因此贝叶斯网络结构的学习是一个NP难问题。在计算机学科中，存在多项式时间的算法的一类问题，称之为P类问题；而像梵塔问题、推销员旅行问题、（命题表达式）可满足问题这类，至今没有找到多项式时间算法解的一类问题，称之为NP类问题。目前贝叶斯网络结构学习方法主要分成两类：基于搜索和评分的方法(score and search method）；基于约束的方法(constraint-based method).基于评分和搜索的方法将结构学习视为结构优化的过程，即利用一个评分函数寻找与样本数据匹配程

29、度最高的网络结构 ，即主要由两部分组成：评分函数和空间搜索策略 该算法的主要思想是从一个给定的网络出发(比如一个没有任何弧的网络),利用搜索方法对该网络进行一些操作(增加边，删除边，逆转边的方向)，根据评分函数对网络进行评分，计算这一操作对网络评分函数的贡献度，检验新的网络结构是否优于旧的网络结构，如果优于则保留新加入的边并继续该操作，直到找到得分最大的网络结构作为最优的网络结构。 主要的评分函数和搜索机制 评分函数：最早是由Cooper and Herskovits等人在1992年提出的K2评分函数，K2评分函数假设观测到的数据是完备的，且服从多项式分布：基于K2评分函数，Heckerman

30、等人在1995年，假设观测数据服从Dirichlet（狄利克雷）分布，给出了BD评分函数：主要的搜索机制：贪婪搜索、模拟退火、最优最先搜索、基于智能优化的搜索等 经典算法 K2算法 1992年，Cooper和Herskovits建立了著名的基于贝叶斯评分函数（Bayesian score）和爬山法搜索策略的K2算法。K2算法要求事先确定节点的次序，应用贝叶斯评分，通过不断向网络中增加能提高评分函数的边的贪婪搜索方法贪婪搜索方法发现最评分最高的的信念网络结构，找出最佳网络结构。K2算法是结合先验信息进行贝叶斯网络结构学习的一个有实际意义的重要算法，在整个贝叶斯网络结构学习算法的研究发展过程中占有

31、重要地位。贪婪搜索基于约束的方法 将结构学习视为约束满足问题，即通过卡方假设检验或互信息量对变量间的条件独立性关系进行测试来构造贝叶斯网络结构 .核心思想是：通过样本集D验证条件独立性I（Xi，Xj|C）是否成立，若成立，则在网络S中节点Xi和Xj被C有向分割，节点Xi和Xj 之间不存在边，若不成立，变量Xi和Xj是依赖的，网络中节点Xi和Xj 之间存在边。然后，利用节点集之间的条件独立性，建造一个有向无环图，以尽可能多地覆盖这些条件独立性.每一点对之间的互信息yx,Pp(x)p(y)y)p(x,y)logP(x,Y)(X;I经典算法 TPDA第一阶段：Drafting，计算每对节点间的互信息

32、，建立完整的无向图；第二阶段：Thickening，如果节点对不是d-分割的话，把这一点对加入到边集中；第三阶段：Thinning，检察边集中的每个点对，如果两个节点是d-分割的，则移走这条边。 2002年，Cheng将信息论与统计测试相结合，使用相互信息代替了条件独立测试，经过Drafting、Thickening、Thinning三个步骤，通过计算相互信息量(Mutual Information)来确定结点间的条件独立性，从而构造多连接有向图模型。被称为TPDA算法。贝叶斯网络的参数学习贝叶斯网络的参数学习实质上就是在已知网络结构的条件下，通过样本学习获取每个节点的概率分布表。针对完整数据

33、与不完整数据，贝叶斯网络的参数学习也分为两种不同的情况。 第一，基于完整数据的贝叶斯网络参数学习 对完备数据集D进行条件概率学习的目标是找到能以概率形式p(x| )概括样本D的参数 。 通常有两种学习方法：最大似然估计MLE方法和贝叶斯方法。 第二，不完整数据下的参数学习 当训练样本集不是完整的情况下，一般借助近似方法，目前比较流行的学习算法是Gibbs抽样算法和EM算法。贝叶斯网络的参数学习u 最大似然估计最大似然估计u 在已知试验结果的情况下，用来估计满足这些样本分布的参数，把可能在已知试验结果的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数性最大的那个参数 作为作为 真实

34、真实的参数估计。的参数估计。 完全基于数据，忽略参数的先验概率，实质上就是通过计算给定父节点完全基于数据，忽略参数的先验概率，实质上就是通过计算给定父节点集合的值时，节点不同取值的出现概率，并将其作为该节点的条件概率。集合的值时，节点不同取值的出现概率，并将其作为该节点的条件概率。 u 缺值数据最大似然估计：缺值数据最大似然估计：EM算法算法 （迭代算法）（迭代算法） 1 期望（期望（Expectation Step）用现有的参数来估计未观察参数）用现有的参数来估计未观察参数 2 最大化最大化 （Maximization Step） 利用估计参数进行参数的利用估计参数进行参数的ML(最大似然最

35、大似然)或者或者MAP（极大后验概率）估计，将估计值赋给参数。（极大后验概率）估计，将估计值赋给参数。3 重复重复EM操作，直到收敛操作，直到收敛 于本地最大可能假设。于本地最大可能假设。 贝叶斯网络的参数学习 可以有一些比较形象的比喻说法把这个算法讲清楚。比如说食堂的大师傅炒了一份菜，要等分成两份给两个人吃，显然没有必要拿来天平一点一点的精确的去称分量，最简单的办法是先随意的把菜分到两个碗中，然后观察是否一样多，把比较多的那一份取出一点放到另一个碗中，这个过程一直迭代地执行下去，直到大家看不出两个碗所容纳的菜有什么分量上的不同为止。 EM算法就是这样，假设我们估计知道A和B两个参数，在开始状

36、态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。贝叶斯网络举例给定下表的训练集，数据样本属性为X0 = age，X1= income， X2= student，X3=credit_rating描述。类别标号属性C=buy_computer,且有两个不同值（yes，no）。设C0对应于类buy_computer=yes，C1对应与no。 待分类样本为（age = “ = 30”, income = “medium”, student = “ye

37、s”, credit_rating = “fair” ），判断他是否会买电脑。由于贝叶斯网络建立过程计算量比较大，这里应用数据挖掘软件weka进行结构学习。利用weka得到的贝叶斯网络结构如下结构学习incomestudentBuy_computeragecredit_rating参数学习建立贝叶斯网络的参数分别建立各节点的条件概率表，即CPT。贝叶斯网络的知识推理待分类样本为age = “ = 30”, income = “medium”, student = “yes”, credit_rating = “fair” ）由于P(C|X) = P(C,X)/P(X) 。所以分类时只需要计算P

38、(C0,X)和P(C1,X). 因此，对于样本X，贝叶斯网络分类器预测 buy_computer = “yes”.l 医疗诊断，l 工业，l 金融分析，l 计算机（微软Windows,Office），l 模式识别：分类，语义理解l 军事（目标识别，多目标跟踪，战争身份识别等），l 生态学，l 生物信息学（贝叶斯网络在基因连锁分析中应用），l 编码学，l 分类聚类，l 时序数据和动态模型2.3贝叶斯网络应用 贝叶斯网络已经在故障诊断、通信行业、金融风险预测、生物医学等众多领域内得到成功的应用，如微软公司在产品Windows 2000和0ffice系列中已经在很多方面应用了贝叶斯网络，将贝叶斯网络

39、成功地用于软件智能化。sillanp龃等将贝叶斯网络模型应用到生物邻域中DINA图谱的研究分析工作。Giudici将贝叶斯方法应用到金融风险评估等邻域，进行信用等级评分等工作。Rodrigues等将贝叶斯网络用于制造过程中故障快速诊断等邻。Wooff等人利用贝叶斯图模型进行软测试。我国在贝叶斯网络研究领域仍属起步阶段，国内关于贝叶斯网络的应用较国外方面的应用稍晚一些，一些科研院所和高等院校对贝叶斯网络进行了大量研究，取得了不少成果。 3.基于Weka的贝叶斯实例仿真3.1贝叶斯网络实例描述3.2贝叶斯网络仿真实现3.1贝叶斯网络实例描述 交易方式的演变是经济发展的重要标志之一。从原始的物物交换

40、到货币、票据的流通，再到发达国家普遍流行的信用消费，交易成本随着交易方式的进步不断降低。近年来，随着我国经济的飞速发展，信用消费已逐步浮出水面，住房按揭、汽车贷款、信用卡等各种个人消费贷款都亟待信用作保。信用评估的主要目的就是对可能引起信用风险的因素进行定性分析、定量计算，以测量消费者的违约概率，为授信方决策提供依据。 国外商业银行通常采用所谓的“经验主义方法论”，即把信用评估看成是模式识别中的分类问题，将贷款人划分为能够按期还本付息和违约两类。其具体做法是根据历史上每个类别（按期还本付息、违约）的若干样本，从已知的数据中发现其规律，从而总结出分类的规则，建立判别模型，用于对新样本的识别。贝叶

41、斯网络的个人信用分类模型 目前常用的方法有：统计方法、专家系统、数学规划、决策树、邻近方法和神经网络等。 由于信用评估通常被认为是非线性问题，而神经网络又适于描述指标间的非线性特征。 虽然神经网络用于信用等级分类取得了一定的效果，但网络结构设计的不确定性、复杂性以及模型本身缺乏较好的可解释性和理解性造成了使用上的困难，并且一个好的神经网络搭建往往过分依赖于技巧，也容易产生过学习问题，作为分类模型通常在训练集上表现较好而测试集上分类精度较低。基于上述原因，迫切需要一种新的方法来弥补神经网络作为信用评估工具的缺陷，为信用评估提供更科学的工具。 贝叶斯网络分类模型继承了贝叶斯网络的优点并具有良好的分

42、类精度正受到越来越多的研究者关注，并积极拓展它的应用领域。现已广泛应用于模式识别、数据挖掘、垃圾邮件处理和医学诊断。 本次针对现有信用评估模型存在的问题，结合贝叶斯网络对信用评估问题进行研究。3.2贝叶斯网络仿真实现 仿真软件-Weka WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。 WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。数据

43、描述 以德国为例进行实证研究。其中，德国信用数据记录1000条，定义了两类人，第一类(GoodCredit)样本700个，第二类（BadCredit）样本300个，每个样本用21个变量描述，表给出了数据矩阵结构。其中个是二值变量，表示信用的可信任度（，表示信任，表示不信任），将其作为响应变量或目标变量，其余的变量为信用指标集，即特征属性变量。详细指标如表所示。表1 数据结构矩阵表2 德国信用数据集指标（属性）名称用贝叶斯算法对上述数据集进行训练，仿真一系列统计量，描述分类器预测属性的准确程度更详细地给出了关于每一类的预测准确度的描述给出了预测结果中每个类的实例数矩阵的行是实际的类列为预测的类R

44、OC曲线ROC曲线越靠近左上角，说明模型的准确度越高，这个模型的ROC值位0.7796，模型的准确率较强，但或许还不是最佳的模型。FPRTPR我们试下其他模型的仿真J48决策树rules.ZeroR算法 观察上述三个模型，相比较而言，还是BayesNet训练得到的模型较为准确。 同时贝叶斯网络分类模型具有处理混合属性变量的能力，便于在个人信用数据中采用混合属性（连续的和离散的指标变量）对分类对象进行更全面的描述，是信用分类问题的理想选择模型。 较高的分类准确率说明贝叶斯网络分类器适合用于解决类似信用评价这样的具有复杂非线性关系的分类问题，在个人信用评估领域具有广阔的应用前景。 模型模型 准确率

45、准确率 ROC BayesNet 75.5% 0.7769 决策树J48 70.5% 0.639 rule.Zeros 70% 0.54. 总结 贝叶斯(Bayesian)网络近年成为数据采掘引人注目的研究方向。通过剖析Bayesian网络的结构和建造步骤，着重讨论用Bayesian方法从先验信息和样本数据进行学习以确定网络的结构和概率分布的基本方法，分析Bayesian网络学习的特点，探讨Bayesian网络的适用性。 与数据采掘的其它方法相比， Bayesian网络的优点是可以综合先验信息和样本信息，这在样本难得时特别有用； 可以发现数据之间的因果关系，适合于处理不完整数据集，这是其适合于

46、处理不完整数据集，这是其它模型难以做到的它模型难以做到的。其缺点是计算开销较大； 确定合理的先验密度比较困难； 如何判定实际问题是否满足所要求的假设，没有现成的规则。任职要求：1、熟悉数据挖掘常用的算法和工具,对机器学习算法和相 关理论有深入的了解和掌握 2、 熟练的数据库知识和经验，至少熟悉mysql、oracle 数据库的使用，并了解一定的技巧3、 扎实的数学知识基础，深厚的模式识别功底4、熟悉一门开发语言，熟悉SQL语句的编写及性能分析5、 熟练掌握一门BI工具的搭建和管理使用；6、 计算机或者相关专业毕业，五年以上工作经验。7、有大规模数据分析的经验 8、有分布式计算方面的开发经验。数据分析员数据挖掘工程师数据挖掘专家数据挖掘之路刚毕业时毕业后5年毕业后10年,20年，N年。非常感谢大家的耐心倾听，道一声 谢谢！5.致谢