人工智能20课件优秀PPT.ppt
0871-503130130 十月 20221/信 息 学 院人工智能 一种现代方法其次十章其次十章 统计学习方法统计学习方法20.1 统计学习20.2 完整数据下的学习20.3 隐变量学习：EM算法20.4 无参数学习20.5 支持向量机0871-503130130 十月 20222/信 息 学 院人工智能 一种现代方法统计学习方法概述统计学习方法概述 统计方法是从事物的外在数量上的表现去推断该事物可统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。能的规律性。统计学习方法：统计学习方法：传统方法传统方法模糊集模糊集粗糙集粗糙集支持向量机支持向量机 0871-503130130 十月 20223/信 息 学 院人工智能 一种现代方法贝叶斯学习贝叶斯学习贝叶斯学习：利用视察结果更新在假设上的先验分布，贝叶斯学习：利用视察结果更新在假设上的先验分布，把学习形式化地表示为概率推理的一种形式。由全部把学习形式化地表示为概率推理的一种形式。由全部可能的假设进行预料。可能的假设进行预料。H为为假假设变设变量，取量，取值值h1,h2,h3,假假设设的先的先验验概率概率P(hi)第第j个个视视察数据察数据dj为为随机随机变变量的量的Dj的取的取值值训练训练数据数据 d=d1，,dn每个假每个假设设的后的后验验概率概率预预料：料：假设hi下数据的似然0871-503130130 十月 20224/信 息 学 院人工智能 一种现代方法H：糖果包的：糖果包的类类型型 h1:100%樱桃樱桃h2:75%樱桃樱桃+25%酸橙酸橙h3:50%樱桃樱桃+50%酸橙酸橙h4:25%樱桃樱桃+75%酸橙酸橙h5:100%酸橙酸橙P(H)=(0.1,0.2,0.4,0.2,0.1)连续取出连续取出10颗酸橙颗酸橙应当是什么包袱？下一颗取出的会是什么？应当是什么包袱？下一颗取出的会是什么？贝叶斯学习贝叶斯学习0871-503130130 十月 20225/信 息 学 院人工智能 一种现代方法贝叶斯学习贝叶斯学习i.i.d.过程，即过程，即0871-503130130 十月 20226/信 息 学 院人工智能 一种现代方法为真的假设主导了贝叶斯预料，且预料是最优的，和数据集的大为真的假设主导了贝叶斯预料，且预料是最优的，和数据集的大小无关。小无关。贝叶斯预料假设空间通常很大（6个属性，226）0871-503130130 十月 20227/信 息 学 院人工智能 一种现代方法近似方法：由单一的最可能假设进行预料，即选择近似方法：由单一的最可能假设进行预料，即选择hMAP=argmaxP(hi|d)=P(d|hi)P(hi)，由，由hMAP 预料预料 最大后验假设（最大后验假设（MAP）最大后验假设（最大后验假设（MAPMAP假设）假设）hMAP=argmax logP(d|hi)+logP(hi)=argmin-logP(d|hi)-logP(hi)-logP(hi)：指定假：指定假设设hi 所需的位数所需的位数-logP(d|hi)：在：在给给定假定假设设下指定数据所需的附加位数下指定数据所需的附加位数MAP学学习习就是要就是要选择选择供供应应最大的数据最大的数据压缩压缩的假的假设设 最小描述最小描述长长度学度学习习算法。算法。当先验概率分布为匀整分布，则当先验概率分布为匀整分布，则MAP退化为：退化为：hML=argmaxP(d|hi)最大似然假设最大似然假设0871-503130130 十月 20228/信 息 学 院人工智能 一种现代方法樱樱桃的比例桃的比例，一组连续假设，一组连续假设h剥开剥开N颗糖，颗糖，c 颗樱桃，颗樱桃，l=N-c 颗酸橙，则颗酸橙，则似然概率：似然概率：P(d|h)=c(1-)l (独立同分布）独立同分布）贝叶斯网络的最大似然参数学习贝叶斯网络的最大似然参数学习1、写出数据的似然表达式，它是待学习参数的一个函数。、写出数据的似然表达式，它是待学习参数的一个函数。2、对每个参数的对数似然进行求导。、对每个参数的对数似然进行求导。3、找到满足导数为、找到满足导数为0的对应参数值。的对应参数值。0871-503130130 十月 20229/信 息 学 院人工智能 一种现代方法多参数状况多参数状况视察视察N颗糖，颗糖，rc颗樱桃是红色糖纸，颗樱桃是红色糖纸，gc颗是绿色糖纸；颗是绿色糖纸；rl颗酸橙是红色糖颗酸橙是红色糖纸，纸，gl颗是绿色糖纸。颗是绿色糖纸。0871-503130130 十月 202210/信 息 学 院人工智能 一种现代方法最大似然学习最大似然学习连续模型：学习线性高斯模型（具有连续的父变量连续模型：学习线性高斯模型（具有连续的父变量X和连续的子变量和连续的子变量Y）最大化最大化最小化误差平方和：最小化误差平方和：当被视察到的数据集很小时最大似然假设学习方法有较大缺陷。当被视察到的数据集很小时最大似然假设学习方法有较大缺陷。0871-503130130 十月 202211/信 息 学 院人工智能 一种现代方法贝叶斯学习贝叶斯学习Flavor1Flavor2Flavor3Wrapper1Wrapper2Wrapper312对对参数的可能参数的可能值设值设置一个假置一个假设设先先验验P()(即即是随机是随机变变量量的取的取值值)，随着数据的到达更新，随着数据的到达更新该该先先验验分布。分布。匀整密度分布：匀整密度分布：a,b()=a-1(1-)b-1视视察到察到樱樱桃糖：桃糖：P(|D1=cherry)=a+1,b()贝叶斯学习过程可形式化贝叶斯学习过程可形式化表示为贝叶斯网络的推理表示为贝叶斯网络的推理问题。不须要额外的问题。不须要额外的“学学习理论习理论”。0871-503130130 十月 202212/信 息 学 院人工智能 一种现代方法隐变量（潜变量）隐变量（潜变量）期望最大化（期望最大化（EMEM）算法）算法0871-503130130 十月 202213/信 息 学 院人工智能 一种现代方法期望最大化（期望最大化（EMEM）算法）算法EM算法：假设已知模型参数，推断出每个数据点属于每种成份的算法：假设已知模型参数，推断出每个数据点属于每种成份的概率。再用每种成份针对整个数据集进行拟合，依据每个数据点属概率。再用每种成份针对整个数据集进行拟合，依据每个数据点属于每种成份的概率对其加权。迭代直到收敛为止。于每种成份的概率对其加权。迭代直到收敛为止。学习混合高斯分布学习混合高斯分布数据由混合分布数据由混合分布P 生成，混合分布有生成，混合分布有k种成分：种成分：0871-503130130 十月 202214/信 息 学 院人工智能 一种现代方法期望最大化（期望最大化（EMEM）算法）算法 EM算法步骤：算法步骤：1、计算期望；、计算期望；2、找寻最大化数据似、找寻最大化数据似然的参数。然的参数。E步骤（期望步骤）：计算数据步骤（期望步骤）：计算数据xj由成分由成分i 生成的概率生成的概率M步骤（最大化步骤）：计算高斯分布的参数步骤（最大化步骤）：计算高斯分布的参数即找寻使对数似然最大化的参数值。即找寻使对数似然最大化的参数值。x:全部视察值；全部视察值；Z全部隐含变量；全部隐含变量；模型的参数。模型的参数。EM算法：算法：0871-503130130 十月 202215/信 息 学 院人工智能 一种现代方法无参数学习无参数学习 邻域包含邻域包含k个点，即由距个点，即由距x点最近的点最近的k个点的特性估计个点的特性估计x的特性。的特性。核模型：核模型：将每个训练实例当做一个密度函数将每个训练实例当做一个密度函数核函数核函数K(x,xi)，密度估计：密度估计：最近邻模型：特定输入点最近邻模型：特定输入点x的特性和的特性和x的近邻点的近邻点相像。相像。0871-503130130 十月 202216/信 息 学 院人工智能 一种现代方法支持向量机（支持向量机（SVMSVM）训练集训练集T=(x1,y1,xn,yn)0871-503130130 十月 202217/信 息 学 院人工智能 一种现代方法支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202218/信 息 学 院人工智能 一种现代方法支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202219/信 息 学 院人工智能 一种现代方法支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202220/信 息 学 院人工智能 一种现代方法分类间隔：到分类分类间隔：到分类面最近的样本和分面最近的样本和分类面之间的距离类面之间的距离支持向量机：具有最大分类间隔支持向量机：具有最大分类间隔支持向量：支持向量：距离分类面最近的点距离分类面最近的点支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202221/信 息 学 院人工智能 一种现代方法最大间隔：最大间隔：1.尽可能将两类训练数据分开尽可能将两类训练数据分开2.学习得到的线性分类器，其对未知样本的预料学习得到的线性分类器，其对未知样本的预料实力和分类器间隔有如下关系：实力和分类器间隔有如下关系：R(w)=Remp(w)+(1/margin)结构风险最小化结构风险最小化支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202222/信 息 学 院人工智能 一种现代方法支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202223/信 息 学 院人工智能 一种现代方法最大间隔问题可转化为求解二次优化问题最大间隔问题可转化为求解二次优化问题求出最优解求出最优解w*，b*后，构造分类面（后，构造分类面（w*x+b*）=0决策函数决策函数f(x)=sgn(w*x+b*)对对x的类别做出推断。的类别做出推断。支持向量机（支持向量机（SVMSVM）0871-503130130 十月 202224/信 息 学 院人工智能 一种现代方法不等式约束条件下的二次函数寻优问题，存在唯一解不等式约束条件下的二次函数寻优问题，存在唯一解*=(1*,2*,n*)T0871-503130130 十月 202225/信 息 学 院人工智能 一种现代方法线性近似可分线性近似可分引入松弛变量引入松弛变量i0，将约束条件放松为：，将约束条件放松为：两个目标：两个目标：1.间隔间隔2/|w|尽量大尽量大 2.错分错分i 尽可能小尽可能小0871-503130130 十月 202226/信 息 学 院人工智能 一种现代方法对偶问题：对偶问题：线性近似可分线性近似可分0871-503130130 十月 202227/信 息 学 院人工智能 一种现代方法线性不行分线性不行分0871-503130130 十月 202228/信 息 学 院人工智能 一种现代方法求解最优化问题：求解最优化问题：核函数：核函数：0871-503130130 十月 202229/信 息 学 院人工智能 一种现代方法
