第06章-贝叶斯网络优秀PPT.ppt

《第06章-贝叶斯网络优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第06章-贝叶斯网络优秀PPT.ppt（117页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2022/11/51高级人工智能高级人工智能第六章第六章 贝叶斯网络贝叶斯网络概概 率率 推推 理理2022/11/52内容提要内容提要6.1 6.1 概述概述 6.2 6.2 贝叶斯概率基础贝叶斯概率基础6.3 6.3 贝叶斯问题的求解贝叶斯问题的求解6.4 6.4 简洁贝叶斯学习模型简洁贝叶斯学习模型6.5 6.5 贝叶斯网络的建立贝叶斯网络的建立6.6 6.6 贝叶斯潜在语义模型贝叶斯潜在语义模型6.7 6.7 半监督文本挖掘算法半监督文本挖掘算法2022/11/536.1 概概 述述l贝叶斯网络是用来表示变量间连接概率的图形贝叶斯网络是用来表示变量间连接概率的图形模式，它供应了一种自然

2、的表示因果信息的方模式，它供应了一种自然的表示因果信息的方法，用来发觉数据间的潜在关系。在这个网络法，用来发觉数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依中，用节点表示变量，有向边表示变量间的依靠关系。靠关系。l贝叶斯方法以其独特的不确定性学问表达形式、贝叶斯方法以其独特的不确定性学问表达形式、丰富的概率表达实力、综合先验学问的增量学丰富的概率表达实力、综合先验学问的增量学习特性等成为当前数据挖掘众多方法中最为引习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。人注目的焦点之一。2022/11/546.1 概概 述述6.1.1 贝叶斯网络的发展历史贝叶斯（Rev

3、erend Thomas Bayes,1702-1761）学派奠基性的工作是贝叶斯的论文“关于几率性问题求解的评论”。或许是他自己感觉到它的学说还有不完善的地方，这一论文在他生前并没有发表，而是在他死后，由他的挚友发表的。著名的数学家拉普拉斯（Laplace P.S.）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方法和理论渐渐被人理解和重视起来。但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。2022/11/556.1 概概 述述6.1.1 贝叶斯网络的发展历史二十世纪初，意大利的菲纳特（B.de Finetti）以及英国的杰弗莱（Jeffreys

4、 H.）都对贝叶斯学派的理论作出重要的贡献。其次次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年头，以罗宾斯（Robbins H.）为代表，提出了阅历贝叶斯方法和经典方法相结合，引起统计界的广泛留意，这一方法很快就显示出它的优点，成为很活跃的一个方向。2022/11/566.1 概概 述述6.1.1 贝叶斯网络的发展历史随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用供应了更为广袤的空

5、间。贝叶斯理论的内涵也比以前有了很大的变更。80年头贝叶斯网络用于专家系统的学问表示，90年头进一步探讨可学习的贝叶斯网络，用于数据采掘和机器学习。近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确定性学问表达、模式识别和聚类分析等。并且出现了特地探讨贝叶斯理论的组织和学术刊物International Society Bayesian Analysis。2022/11/576.1 概概 述述6.1.2 贝叶斯方法的基本观点贝叶斯分析方法的特点是用概率去表示全部形式的不确定性，学习或其它形式的推理都用概率规则来实现。贝叶斯学习的结果表示为随机变量的

6、概率分布，它可以说明为我们对不同可能性的信任程度。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设。贝叶斯定理将事务的先验概率与后验概率联系起来。2022/11/586.1 概概 述述6.1.2 贝叶斯方法的基本观点 假定随机向量x，的联合分布密度是p(x,)，它们的边际密度分别为p(x)、p()。一般状况下设x是观测向量，是未知参数向量，通过观测向量获得未知参数向量的估计，贝叶斯定理记作：()是是的先验分布的先验分布 (6.1)2022/11/596.1 概概 述述6.1.2 贝叶斯方法的基本观点 贝叶斯方法对未知参数向量估计的一般过程为：将未知参数看成随机向量，这是贝叶斯方法与传

7、统的参数估计方法的最大区分。依据以往对参数的学问，确定先验分布()，它是贝叶斯方法简洁引起争议的一步，因此而受到经典统计界的攻击。计算后验分布密度，做出对未知参数的推断。在第步，假如没有任何以往的学问来帮助确定()，贝叶斯提出可以接受匀整分布作为其分布，即参数在它的变更范围内，取到各个值的机会是相同的，称这个假定为贝叶斯假设。2022/11/5106.1 概概 述述6.1.3 贝叶斯网络的应用领域贝叶斯网络的应用领域l 协助智能决策l 数据融合l 模式识别l 医疗诊断l 文本理解l 数据挖掘1.贝叶斯方法用于分类及回来分析贝叶斯方法用于分类及回来分析2.用于因果推理和不确定学问表达用于因果推理

8、和不确定学问表达3.用于聚类模式发觉用于聚类模式发觉2022/11/5史忠植 高级人工智能116.2 6.2 贝叶斯贝叶斯概率基础概率基础 6.2.1 概率论基础概率论基础 概率论是探讨随机现象规律性的数学。随机现象是概率论是探讨随机现象规律性的数学。随机现象是指在相同的条件下，其出现的结果是不确定的现象。随指在相同的条件下，其出现的结果是不确定的现象。随机现象又可分为个别随机现象和大量的随机现象。对大机现象又可分为个别随机现象和大量的随机现象。对大量的随机现象进行视察所得到的规律性，被人们称为统量的随机现象进行视察所得到的规律性，被人们称为统计规律性。计规律性。在统计上，我们习惯把一次对现象

9、的视察、登记或在统计上，我们习惯把一次对现象的视察、登记或试验叫做一次试验。随机性试验是指对随机现象的视察。试验叫做一次试验。随机性试验是指对随机现象的视察。随机试验在完全相同的条件下，可能出现不同的结果，随机试验在完全相同的条件下，可能出现不同的结果，但全部可能结果的范围是可以估计的，即随机试验的结但全部可能结果的范围是可以估计的，即随机试验的结果具有不确定性和可预料性。在统计上，一般把随机试果具有不确定性和可预料性。在统计上，一般把随机试验的结果，即随机现象的具体表现称为随机事务，简称验的结果，即随机现象的具体表现称为随机事务，简称事务。事务。随机事务是指试验中可能出现，也可能不出现的结随

10、机事务是指试验中可能出现，也可能不出现的结果。果。2022/11/5126.2 6.2 贝叶斯贝叶斯概率基础概率基础 6.2.1 概率论基础概率论基础 定义定义6.1 统计概率统计概率 若在大量重复试验中，事若在大量重复试验中，事务务A发生的频率稳定地接近于一个固定的常数发生的频率稳定地接近于一个固定的常数p，它表明事务它表明事务A出现的可能性大小，则称此常数出现的可能性大小，则称此常数p为为事务事务A发生的概率，记为发生的概率，记为P(A),即即 pP(A)(6.2)可见概率就是频率的稳定中心。任何事务可见概率就是频率的稳定中心。任何事务A的概率的概率为不大于为不大于1的非负实数，即的非负实

11、数，即0P(A)1 2022/11/5史忠植 高级人工智能136.2 6.2 贝叶斯贝叶斯概率基础概率基础 定义定义6.2 古典概率古典概率 我们设一种次试验有且仅有我们设一种次试验有且仅有有限的有限的N个可能结果，即个可能结果，即N个基本事务，而个基本事务，而A事务包事务包含着含着K个可能结果，则称个可能结果，则称K/N为事务为事务A的概率，记为的概率，记为P(A)。即。即P(A)K/N 定义定义6.3 几何概率几何概率 假设假设是几何型随机试验的是几何型随机试验的基本事务空间，基本事务空间，F是是中一切可测集的集合，则对于中一切可测集的集合，则对于F中的随意事务中的随意事务A的概率的概率P

12、(A)为为A与与的体积之比，即的体积之比，即 P(A)V(A)/V()(6.3)2022/11/5史忠植 高级人工智能146.2 6.2 贝叶斯贝叶斯概率基础概率基础 定义定义6.4 条件概率条件概率 我们把事务我们把事务B已经出已经出现的条件下，事务现的条件下，事务A发生的概率记做为发生的概率记做为P(A|B)。并称为在并称为在B出现的条件下出现的条件下A出现的条件概率，出现的条件概率，而称而称P(A)为无条件概率。为无条件概率。若事务若事务A与与B中的任一个出现，并不影响中的任一个出现，并不影响另一事务出现的概率，即当另一事务出现的概率，即当P(A)P(AB)或或P(B)P(BA)时，时，

13、则称则称A与与B是相互独立的事务。是相互独立的事务。2022/11/5史忠植 高级人工智能156.2 6.2 贝叶斯贝叶斯概率基础概率基础 定理定理6.1 加法定理加法定理 两个不相容两个不相容(互斥互斥)事事务之和的概率，等于两个事务概率之和，即务之和的概率，等于两个事务概率之和，即P(A+B)P(A)P(B)两个互逆事务两个互逆事务A和和A-1的概率之和为的概率之和为1。即。即当当A+A-1，且，且A与与A-1互斥，则互斥，则P(A)P(A-1)1，或常有，或常有P(A)1P(A-1)。若若A、B为两随意事务，则为两随意事务，则P(A+B)P(A)P(B)P(AB)2022/11/5史忠植

14、 高级人工智能166.2 6.2 贝叶斯贝叶斯概率基础概率基础 定理定理6.2 乘法定理乘法定理 设设A、B为两个不相为两个不相容容(互斥互斥)非零事务，则其乘积的概率等于非零事务，则其乘积的概率等于A和和B概率的乘积，即概率的乘积，即P(AB)P(A)P(B)或或 P(AB)P(B)P(A)设设A、B为两个随意的非零事务，则其乘为两个随意的非零事务，则其乘积的概率等于积的概率等于A(或或B)的概率与在的概率与在A(或或B)出现出现的条件下的条件下B(或或A)出现的条件概率的乘积。出现的条件概率的乘积。P(AB)P(A)P(B|A)或或 P(AB)P(B)P(A|B)2022/11/5史忠植

15、高级人工智能176.2 6.2 贝叶斯贝叶斯概率基础概率基础6.2.2 贝叶斯概率 (1)先验概率。先验概率是指依据历史的资料或主观推断所确定的各事务发生的概率，该类概率没能经过试验证明，属于检验前的概率，所以称之为先验概率。先验概率一般分为两类，一是客观先验概率，是指利用过去的历史资料计算得到的概率；二是主观先验概率，是指在无历史资料或历史资料不全的时候，只能凭借人们的主观阅历来推断取得的概率。2022/11/5史忠植 高级人工智能186.2 6.2 贝叶斯贝叶斯概率基础概率基础 (2)后验概率。后验概率一般是指利用贝后验概率。后验概率一般是指利用贝叶斯公式，结合调查等方式获得了新的附加叶斯

16、公式，结合调查等方式获得了新的附加信息，对先验概率进行修正后得到的更符合信息，对先验概率进行修正后得到的更符合实际的概率。实际的概率。(3)联合概率。联合概率也叫乘法公式，联合概率。联合概率也叫乘法公式，是指两个随意事务的乘积的概率，或称之为是指两个随意事务的乘积的概率，或称之为交事务的概率。交事务的概率。2022/11/5史忠植 高级人工智能196.2 6.2 贝叶斯贝叶斯概率基础概率基础 (4)全概率公式。设全概率公式。设B1,B2,Bn是两两互斥的是两两互斥的事务，且事务，且P(Bi)0，i=1,2,n，B1+B2+,+Bn=。另有一事务另有一事务A=AB1+AB2+,+ABn称满足上述

17、条件的称满足上述条件的B1,B2,Bn为完备事务组。为完备事务组。B1B2B3BnA6.2 6.2 贝叶斯贝叶斯概率基础概率基础 由由此此可可以以形形象象地地把把全全概概率率公公式式看看成成为为“由由缘缘由由推推结结果果”，每每个个缘缘由由对对结结果果的的发发生生有有确确定定的的“作作用用”，即即结结果果发发生生的的可可能能性性与与各各种种缘缘由由的的“作作用用”大大小小有有关关。全全概概率率公公式式表表达达了了它它们们之之间的关系。间的关系。诸诸Bi是缘由是缘由A是结果是结果B1B2B3B4B5B6B7B8A6.2 6.2 贝叶斯贝叶斯概率基础概率基础 该公式于该公式于1763年由贝叶斯年由

18、贝叶斯(Bayes)给出。它给出。它是在视察到事务是在视察到事务A已发生的条件下，找寻导致已发生的条件下，找寻导致A发生的每个缘由的概率。发生的每个缘由的概率。(5)贝贝叶叶斯斯公公式式。贝贝叶叶斯斯公公式式也也叫叫后后验验概概率率公公式式，亦亦叫叫逆逆概概率率公公式式，其其用用途途很很广广。设设先先验验概概率率为为P(Bi)，调调 查查 所所 获获 的的 新新 附附 加加 信信 息息 为为 P(Aj|Bi)(i=1,2,n;j=1,2,m),则则贝贝叶叶斯斯公公式式计计算算的的后后验验概率为概率为(6.5)2022/11/5史忠植 高级人工智能22贝叶斯规则贝叶斯规则l基于条件概率的定义lp

19、(Ai|E)是在给定证据下的后验概率lp(Ai)是先验概率lP(E|Ai)是在给定Ai下的证据似然lp(E)是证据的预定义后验概率=iiiiiiii)p(AA|p(E)p(AA|p(Ep(E)p(AA|p(EE)|p(A=p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E2022/11/5史忠植 高级人工智能23贝叶斯网络的概率说明贝叶斯网络的概率说明l任何完整的概率模型必需具有表示（干脆或间接）该领域变量联合分布的实力。完全的枚举须要指数级的规模（相对于领域变量个数）l贝叶斯网络供应了这种联合概率分布的紧凑表示：分解联合分布为几个局部分布的乘积：l l从公

20、式可以看出，须要的参数个数随网络中节点个数呈线性增长，而联合分布的计算呈指数增长。l网络中变量间独立性的指定是实现紧凑表示的关键。这种独立性关系在通过人类专家构造贝叶斯网中特殊有效。2022/11/5史忠植 高级人工智能246.4 6.4 简洁贝叶斯学习模型简洁贝叶斯学习模型 简洁贝叶斯（简洁贝叶斯（nave Bayes或或simple Bayes）学习模）学习模型将训练实例型将训练实例I分解成特征向量分解成特征向量X和决策类别变量和决策类别变量C。简洁。简洁贝叶斯模型假定特征向量的各重量间相对于决策变量是相贝叶斯模型假定特征向量的各重量间相对于决策变量是相对独立的，也就是说各重量独立地作用于

21、决策变量。尽管对独立的，也就是说各重量独立地作用于决策变量。尽管这一假定确定程度上限制了简洁贝叶斯模型的适用范围，这一假定确定程度上限制了简洁贝叶斯模型的适用范围，然而在实际应用中，不仅以指数级降低了贝叶斯网络构建然而在实际应用中，不仅以指数级降低了贝叶斯网络构建的困难性，而且在很多领域，在违反这种假定的条件下，的困难性，而且在很多领域，在违反这种假定的条件下，简洁贝叶斯也表现出相当的健壮性和高效性简洁贝叶斯也表现出相当的健壮性和高效性111，它已，它已经成功地应用到分类、聚类及模型选择等数据挖掘的任务经成功地应用到分类、聚类及模型选择等数据挖掘的任务中。目前，很多探讨人员正致力于改善特征变量

22、间独立性中。目前，很多探讨人员正致力于改善特征变量间独立性的限制的限制54，以使它适用于更大的范围。，以使它适用于更大的范围。2022/11/5史忠植 高级人工智能25简洁贝叶斯简洁贝叶斯 Nave Bayesian Nave Bayesian结构简洁只有两层结构推理困难性与网络节点个数呈线性关系2022/11/5史忠植 高级人工智能26设样本A表示成属性向量，假如属性对于给定的类别独立，那么P(A|Ci)可以分解成几个重量的积：ai是样本A的第i个属性 6.4 6.4 简洁贝叶斯学习模型简洁贝叶斯学习模型2022/11/5史忠植 高级人工智能27简洁贝叶斯分类模型这个过程称之为简洁贝叶斯分类

23、这个过程称之为简洁贝叶斯分类(SBC:Simple Bayesian (SBC:Simple Bayesian Classifier)Classifier)。一般认为，只有在独立性假定成立的时候，。一般认为，只有在独立性假定成立的时候，SBCSBC才能获得精度最优的分类效率；或者在属性相关性较小才能获得精度最优的分类效率；或者在属性相关性较小的状况下，能获得近似最优的分类效果。的状况下，能获得近似最优的分类效果。6.4 6.4 简洁贝叶斯学习模型简洁贝叶斯学习模型6.4.1 简洁贝叶斯学习模型的介绍简洁贝叶斯学习模型的介绍2022/11/5史忠植 高级人工智能286.4.2 简洁贝叶斯模型的提

24、升简洁贝叶斯模型的提升 提升方法（提升方法（Boosting）总的思想是学习一）总的思想是学习一系列分类器，在这个序列中每一个分类器对它系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类例子给与更大的前一个分类器导致的错误分类例子给与更大的重视。尤其是在学习完分类器重视。尤其是在学习完分类器Hk之后，增加了之后，增加了由由Hk导致分类错误的训练例子的权值，并且通导致分类错误的训练例子的权值，并且通过重新对训练例子计算权值，再学习下一个分过重新对训练例子计算权值，再学习下一个分类器类器Hk+1。这个过程重复。这个过程重复T次。最终的分类器次。最终的分类器从这一系列的分类器中综合得

25、出。从这一系列的分类器中综合得出。6.4 6.4 简洁贝叶斯学习模型简洁贝叶斯学习模型2022/11/5史忠植 高级人工智能296.5 6.5 贝叶斯网络的建立贝叶斯网络的建立6.5.1 贝叶斯网络的建构及建立方法贝叶斯网络的建构及建立方法 贝叶斯网络是表示变量间概率依靠关系的有向无贝叶斯网络是表示变量间概率依靠关系的有向无环图，这里每个节点表示领域变量，每条边表示变环图，这里每个节点表示领域变量，每条边表示变量间的概率依靠关系，同时对每个节点都对应着一量间的概率依靠关系，同时对每个节点都对应着一个条件概率分布表个条件概率分布表(CPT)，指明白该变量与父节点，指明白该变量与父节点之间概率依靠

26、的数量关系。之间概率依靠的数量关系。2022/11/5史忠植 高级人工智能30贝叶斯网的表示方法贝叶斯网的表示方法=P(A)P(S)P(T|A)P(L|S)P(B|S)P(C|T,L)P(D|T,L,B)P(A,S,T,L,B,C,D)条件独立性假设有效的表示CPT:T L B D=0 D=10 0 0 0.1 0.90 0 1 0.7 0.30 1 0 0.8 0.20 1 1 0.9 0.1 .LungCancerSmokingChestX-rayBronchitisDyspnoeaTuberculosisVisittoAsiaP(D|T,L,B)P(B|S)P(S)P(C|T,L)P(L

27、|S)P(A)P(T|A)贝叶斯网络是表示变量间概率依靠关系的有向无环图2022/11/5史忠植 高级人工智能31BoostingBoosting背景背景l来源于:PAC-Learning Model l Valiant 1984-11l提出问题:l强学习算法:精确率很高的学习算法l弱学习算法:精确率不高,仅比随机揣测略好l是否可以将弱学习算法提升为强学习算法2022/11/5史忠植 高级人工智能32BoostingBoosting背景背景l最初的boosting算法 Schapire 1989lAdaBoost算法 Freund and Schapire 19952022/11/5史忠植 高

28、级人工智能33Boostingconcepts(3)Boostingl弱学习机（weak learner):对确定分布的训练样本给出假设（仅仅强于随机揣测）l依据有云揣测可能会下雨l强学习机（strong learner):依据得到的弱学习机和相应的权重给出假设（最大程度上符合实际状况：almost perfect expert)l依据CNN,ABC,CBS以往的预料表现及实际天气状况作出综合精确的天气预料l弱学习机 强学习机2022/11/5史忠植 高级人工智能34BoostingBoosting流程流程(loop1)(loop1)强学习机弱学习机原始训练集加权后的训练集加权后的假设X1?1

29、:-1弱假设2022/11/5史忠植 高级人工智能35BoostingBoosting流程流程(loop2)(loop2)强学习机弱学习机原始训练集加权后的训练集加权后的假设Y3?1:-1弱假设2022/11/5史忠植 高级人工智能36BoostingBoosting流程流程(loop3)(loop3)强学习机弱学习机原始训练集加权后的训练集加权后的假设Z7?1:-1弱假设2022/11/5史忠植 高级人工智能37Boostingl过程:l在确定的权重条件下训练数据，得出分类法Ctl依据Ct的错误率调整权重Set of weightedinstances Classifier Ct train

30、 classifier adjust weights2022/11/5史忠植 高级人工智能38流程描述流程描述lStep1:原始训练集输入，带有原始分布lStep2:给出训练集中各样本的权重lStep3:将变更分布后的训练集输入已知的弱学习机，弱学习机对每个样本给出假设lStep4:对此次的弱学习机给出权重lStep5:转到Step2,直到循环到达确定次数或者某度量标准符合要求lStep6:将弱学习机按其相应的权重加权组合形成强学习机2022/11/5史忠植 高级人工智能39核心思想核心思想l样本的权重l没有先验学问的状况下，初始的分布应为等概分布，也就是训练集假如有N个样本，每个样本的分布概

31、率为1/Nl每次循环一后提高错误样本的分布概率，分错样本在训练集中所占权重增大，使得下一次循环的弱学习机能够集中力气对这些错误样本进行推断。l弱学习机的权重l精确率越高的弱学习机权重越高l循环限制：损失函数达到最小l在强学习机的组合中增加一个加权的弱学习机，使精确率提高，损失函数值减小。2022/11/5史忠植 高级人工智能40简洁问题演示（简洁问题演示（BoostingBoosting训练过程）训练过程）2022/11/5史忠植 高级人工智能41算法算法问题描述问题描述l训练集 (x1,y1),(x2,y2),(xN,yN)lxi Rm,yi -1,+1lDt 为第t次循环时的训练样本分布（

32、每个样本在训练集中所占的概率，Dt总和应当为1）lht:X-1,+1 为第t次循环时的Weak learner，对每个样本给出相应的假设，应当满足强于随机揣测：lwt为ht的权重l 为t次循环得到的Strong learner2022/11/5史忠植 高级人工智能42算法算法样本权重样本权重l思想：提高分错样本的权重l 反映了strong learner对样本的假设是否正确l接受什么样的函数形式？l 2022/11/5史忠植 高级人工智能43算法算法弱学习机权重弱学习机权重l思想：错误率越低，该学习机的权重应当越大l 为学习机的错误概率l接受什么样的函数形式？l l 和指数函数遥相呼应：202

33、2/11/5史忠植 高级人工智能44算法算法-Adaboost-Adaboost2022/11/5史忠植 高级人工智能45AdaBoost.M1l初始赐予每个样本相等的权重1/N；lFor t=1,2,T Do l学习得到分类法Ct；l计算该分类法的错误率Etl Et=全部被错误分类的样本的权重和；lt=Et/（1-Et）l依据错误率更新样本的权重；l 正确分类的样本：Wnew=Wold*tl 错误分类的样本：Wnew=Woldl调整使得权重和为1；l每个分类法Ct的投票价值为log 1/t 2022/11/5史忠植 高级人工智能46AdaBoost Training Errorl将t=1/2

34、-Et;lFreund and Schapire 证明:最大错误率为:l即训练错误率随t的增大呈指数级的减小.2022/11/5史忠植 高级人工智能47AdaBoost Generalization Error(1)l最大总误差:lm:样本个数ld:VC维lT:训练轮数lPr:对训练集的阅历概率l假如T值太大,Boosting会导致过适应（overfit）2022/11/5史忠植 高级人工智能48AdaBoost Generalization Error(2)l很多的试验表明:l Boosting不会导致overfit2022/11/5史忠植 高级人工智能49AdaBoost Generali

35、zation Error(3)l说明以上试验现象;l样本(X,Y)的margin:l margin(x,y)=lt=1/2 ln(1-t)/t)l较大的正边界表示可信度高的正确的预料l较大的负边界表示可信度高的错误的预料2022/11/5史忠植 高级人工智能50AdaBoost Generalization Error(4)l说明:当训练误差降低后,Boosting接着提高边界,从而增大了最小边界,使分类的牢靠性增加,降低总误差.l总误差的上界:l该公式与T无关2022/11/5史忠植 高级人工智能51BoostingBoosting其它应用其它应用lBoosting易受到噪音的影响;lAda

36、Boost 可以用来鉴别异样;l 具有最高权重的样本即为异样.2022/11/5史忠植 高级人工智能52是表示变量间连结关系的有向无环图贝叶斯网络的学习结构学习参数学习基于评分函数的结构学习基于条件独立性检验的结构学习构建贝叶斯网络构建贝叶斯网络2022/11/5史忠植 高级人工智能53构建贝叶斯网络构建贝叶斯网络BayesianNetworkBayesianNetworkBayesianNetworkProblemDomainProblemDomainProblemDomainExpertKnowledgeExpertKnowledgeTrainingDataTrainingDataProb

37、abilityElicitorLearningAlgorithmLearningAlgorithm2022/11/5史忠植 高级人工智能546.3 贝叶斯问题的求解贝叶斯问题的求解 贝叶斯学习理论利用先验信息和样本数据来获贝叶斯学习理论利用先验信息和样本数据来获得对未知样本的估计，而概率（联合概率和条件概得对未知样本的估计，而概率（联合概率和条件概率）是先验信息和样本数据信息在贝叶斯学习理论率）是先验信息和样本数据信息在贝叶斯学习理论中的表现形式。如何获得这些概率（也称之为密度中的表现形式。如何获得这些概率（也称之为密度估计）是贝叶斯学习理论争议较多的地方。估计）是贝叶斯学习理论争议较多的地方

38、。探讨如何依据样本的数据信息和人类专家的先探讨如何依据样本的数据信息和人类专家的先验学问获得对未知变量（向量）的分布及其参数的验学问获得对未知变量（向量）的分布及其参数的估计。它有两个过程：一是确定未知变量的先验分估计。它有两个过程：一是确定未知变量的先验分布；二是获得相应分布的参数估计。假如以前对全布；二是获得相应分布的参数估计。假如以前对全部信息一窍不通，称这种分布为无信息先验分布；部信息一窍不通，称这种分布为无信息先验分布；假如知道其分布求它的分布参数，称之为有信息先假如知道其分布求它的分布参数，称之为有信息先验分布。验分布。2022/11/5史忠植 高级人工智能556.36.3 贝叶斯

39、问题的求解贝叶斯问题的求解 选取贝叶斯先验概率是用贝叶斯模型求解的第选取贝叶斯先验概率是用贝叶斯模型求解的第一步，也是比较关键的一步。常用的选取先验分布一步，也是比较关键的一步。常用的选取先验分布的方法有主观和客观两种。主观的方法是借助人的的方法有主观和客观两种。主观的方法是借助人的阅历、专家的学问等来指定其先验概率。而客观的阅历、专家的学问等来指定其先验概率。而客观的方法是通过干脆分析数据的特点，来视察数据变更方法是通过干脆分析数据的特点，来视察数据变更的统计特征，它要求有足够多的数据才能真正体现的统计特征，它要求有足够多的数据才能真正体现数据的真实分布。数据的真实分布。2022/11/5史

40、忠植 高级人工智能566.36.3 贝叶斯问题的求解贝叶斯问题的求解l共轭分布族l先验与后验属于同一分布族l预先给定一个似然分布形式l对于变量定义在0-1之间的概率分布，存在一个离散的样本空间lBeta 对应着 2 个似然状态l多变量 Dirichlet 分布对应 2个以上的状态从数据中学习从数据中学习6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.1几种常用的先验分布选取方法 1.共轭分布族 Raiffa和Schaifeer提出先验分布应选取共轭分布，即要求后验分布与先验分布属于同一分布类型。它的一般描述为:定义6.7 设样本X1,X2,Xn 对参数的条件分布为p(x1,x2,xn|)，假如

41、先验分布密度函数()确定的后验密度(|x)与()同属于一种类型，则称()为p(x|)的共轭分布。6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.1几种常用的先验分布选取方法 2.最大熵原则 熵是信息论中描述事物不确定性的程度的一个概念。假如一个随机变量只取与两个不同的值，比较下面两种状况：(1)p(x=a)=0.98，p(x=a)=0.02；(2)p(x=a)=0.45，p(x=a)=0.55。很明显，(1)的不确定性要比(2)的不确定性小得多，而且从直觉上也可以看得出当取的两个值得概率相等时，不确定性达到最大。6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.1几种常用的先验分布选取方法 定义

42、6.9 设随机变量x是离散的，它取a1,a2,ak,可列个值，且p(x=ai)=pi(i=1,2,)，则H(x)=-pilnpi称为x的熵。对连续型随机变量x，它的概率密度函数为p(x)，若积分H(x)=-p(x)lnp(x)dx有意义，称它为连续型随机变量的熵。最大熵原则：无信息先验分布应取参数的变更范围内熵最大的分布。6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.1几种常用的先验分布选取方法 3.杰弗莱原则 杰弗莱对于先验分布的选取做出了重大的贡献，它提出一个不变原理，较好地解决了贝叶斯假设中的一个冲突，并且给出了一个寻求先验密度的方法。杰弗莱原则由两个部分组成：一是对先验分布有一合理要

43、求；二是给出具体的方法求得适合于要求的先验分布。6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.2 计算学习机制 任何系统经过运行能改善其行为，都是学习。究竟贝叶斯公式求得的后验是否比原来信息有所改善呢？其学习机制是什么？现以正态分布为例进行分析，从参数的变更看先验信息和样本数据在学习中所起的作用。（P170）6.3 贝叶斯问题的求解贝叶斯问题的求解6.3.3 贝叶斯问题的求解步骤 贝叶斯问题求解的基本步骤可以概括为：(1)定义随机变量。将未知参数看成随机变量（或随机向量），记为。将样本x1,x2,xn的联合分布密度p(x1,x2,xn;)看成x1,x2,xn对的条件分布密度，记为p(x1,x

44、2,xn|)或p(D|)。(2)确定先验分布密度p()。接受共轭分布先验分布。假如对先验分布没有任何信息，就接受无信息先验分布的贝叶斯假设。(3)利用贝叶斯定理计算后验分布密度。(4)利用计算得到的后验分布密度对所求问题做出推断。2022/11/5史忠植 高级人工智能631)n(nm/n)m(1variance+-=nmmean=x)(1xm)(n(m)(n)n)m,|(xp1mn1mBeta-=-G GG GG G先验分布的选取先验分布的选取betabeta分布分布2022/11/5史忠植 高级人工智能64先验分布的选取多项先验分布的选取多项DirichletDirichlet分布分布1)m

45、(m)m/m(1mstatei theofvariancemmstatei theofmean.xxx)(m).(m)(m)m()m,.,m,m|(xpN1iiN1iiN1iiiithN1iiith1m1-m1mN21N1iiN21DirichletN21+-=GGGG=-=2022/11/5史忠植 高级人工智能65不完全数据的密度估计不完全数据的密度估计期望最大化方法（ExpectationMaximizationEM）Gibbs抽样（GibbsSamplingGS）Bound and Collapse(BC)2022/11/5史忠植 高级人工智能66期望最大化方法期望最大化方法分为以下几个

46、步骤：（1）含有不完全数据的样本的缺项用该项的最大似然估计代替；（2）把第一步中的缺项值作为先验信息，计算每一缺项的最大后验概率，并依据最大后验概率计算它的志向值。（3）用志向值替换（1）中的缺项。（4）重复（13），直到两次相继估计的差在某一固定阀值内。2022/11/5史忠植 高级人工智能67GibbsGibbs抽样抽样lGibbs抽样（Gibbs Sampling GS）lGS是最为流行的马尔科夫、蒙特卡罗方法之一。GS把含有不完全数据样本的每一缺项当作待估参数，通过对未知参数后验分布的一系列随机抽样过程，计算参数的后验均值的阅历估计。2022/11/5史忠植 高级人工智能68贝叶斯网络

47、的结构学习贝叶斯网络的结构学习l基于搜寻评分的方法:l初始化贝叶斯网络为孤立节点l运用启发式方法为网络加边l运用评分函数评测新的结构是否为更好l 贝叶斯评分（Bayesian Score Metric）l 基于墒的评分l 最小描述长度MDL(Minimal Description Length)l重复这个过程，直到找不到更好的结构 l基于依靠分析的方法:l通过运用条件独立性检验conditional independence(CI)找到网络的依靠结构2022/11/5史忠植 高级人工智能69基于基于MDLMDL的贝叶斯网结构学习的贝叶斯网结构学习l计算每一点对之间的互信息：l l建立完全的无向

48、图，图中的顶点是变量，边是变量之间的互信息l建立最大权张成树l依据确定的节点序关系，设置边的方向2022/11/5史忠植 高级人工智能70基于条件独立性的贝叶斯网络学习基于条件独立性的贝叶斯网络学习l假定：节点序已知假定：节点序已知l第一阶段第一阶段(Drafting)l计算每对节点间的互信息，建立完整的无向图计算每对节点间的互信息，建立完整的无向图.l其次阶段其次阶段(Thickening)l假如接点对不行能假如接点对不行能d-可分的话，把这一点对加可分的话，把这一点对加入到边集中。入到边集中。l第三阶段第三阶段(Thinning)l检查边集中的每个点对，假如两个节点是检查边集中的每个点对，

49、假如两个节点是d-可可分的，那么移走这条边。分的，那么移走这条边。2022/11/5史忠植 高级人工智能71基于条件独立性检验基于条件独立性检验(CI)(CI)的的贝叶斯网络结构学习贝叶斯网络结构学习1）初始化图结构B=,A=,R=,S=;2）对每一节点对，计算它们的互信息，并将互信息大于某一域值的节点对按互信息值的大小依次加入到S中；3）从S中取出第一个点对，并从S中删除这个元素，把该点对加入到边集A中；4）从S中剩余的点对中，取出第一个点对，假如这两各界点之间不存在开放路径，再把该点对加入A到中，否则加入到R中；5）重复4),直到S为空；6）从R中取出第一个点对；7）找出该点对的某一块集，

50、在该子集上做独立性检验，假如该点对的两个节点，仍旧相互依靠，则加入到A中；8）重复6),直到R为空；9）对A中的每一条边，假如除这条边外，照旧含有开放路径，则从A中临时移出，并在相应的块集上作独立性测试，假如仍旧相关，则将其返回到A中，否则从A中删除这条边。2022/11/5史忠植 高级人工智能72树增广的朴实贝叶斯网树增广的朴实贝叶斯网TANTAN的结构学习的结构学习2022/11/5史忠植 高级人工智能73主动贝叶斯网络分类器主动贝叶斯网络分类器主动学习：主动在候选样本集中选择测试例子，并将这些实例以确定的方式加入到训练集中。选择策略抽样选择投票选择随机抽样相关抽样不确定性抽样2022/1