第六章 模式识别与机器学习.pptx

《第六章 模式识别与机器学习.pptx》由会员分享，可在线阅读，更多相关《第六章 模式识别与机器学习.pptx（126页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1第6章模式识别与机器学习模式识别与机器学习模式识别与机器学习06062第2章脑与认知目录目录/ContentsContents6.46.46.56.5回归算法支持向量机6.66.66.76.7深度学习降维6.16.16.26.2基本概念分类算法6.36.3聚类算法第6章模式识别与机器学习目录目录/ContentsContents6.16.1基本概念一、研究分类二、研究模型三、研究内容第6章模式识别与机器学习一、研究分类模式识别：模式识别是指对表征事物或现象地各种形式地(数值地、文字地和逻辑关系地)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释地过程。模式识别侧重于利用计算机对要

2、分析的客观事物通过某种模式算法对其进行分类,使识别到地结果最接近于待识别地客观事实。机器学习：对于某类任务和性能度量参数，如果一个计算机程序在任务上以度量参数衡量的性能随着经验而自我完善，那么我们称这个计算机程序在从经验中学习。随着技术和应用的发展，它们越来越融合解决的很多共同问题（分类、聚类、特征选择、信息融合等）,这两个领域的界限也越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题,其中包括图像/视频分析、文档分析、信息检索和网络搜索等。第6章模式识别与机器学习研究分类机器学习目前领域内的主流学习策略可以分为三类：搜索型策略、构造型策略和规划型策略。从机器学习

3、的方式划分，机器学习可以分为五种：记忆学习、传授学习、演绎学习、归纳学习、类比学习。从机器学习的形式来说，机器学习可以分为四类：监督学习、无监督的学习、半监督学习、强化学习。第6章模式识别与机器学习研究模型机器学习基本模型在这个模型中，“学习环节”和“执行环节”是两个过程，“学习环节”通过对“环境”的学习构建“知识库”，同时不断学习改进“知识库”，而“执行环节”就是利用已有的“知识库”来解决当前的问题。第6章模式识别与机器学习研究模型环境：系统外部的信息源，主要为学习提供信息和样本，环境信息的表现形式决定了机器学习能够解决的问题。信息表现的质量决定了学习过程的难易和效果，如果环境向系统提供的信

4、息表述准确，机器在学习过程中就能比较容易归纳总结，取得不错的效果，否则达不到预期效果。学习环节：通过对外部环境所提供的信息进行学习，归纳总结出知识，并不断反馈完善知识。环境所提供的信息必须经过学习环节反复的分析，对比，归纳，总结等过程才能获得相关知识。知识库：机器学习模型中用于存放学习环节获得知识的地方，知识库的表现形式和存储结构也是影响模型好坏的重要因素，在知识的表示方面应要要参照以下基本原则：表达能力的强弱，推理的难度大小，修改的难易程度，是否便于扩充。执行环节：学习系统最重要的环节，执行环节的最终效果也是衡量个系统是否成功的指标这个坏节主要是解决当前所面临的现实问题，将知识库中的知识应用

5、于解决实际问题中去。同时，每次执行环节的结果都将反馈回学习环节中，进一步元善系统的学习。第6章模式识别与机器学习研究内容给定一个样本特征,我们希望预测其对应的属性值,如果是离散的,那么这就是一个分类问题，反之，如果是连续的实数,这就是一个回归问题。如果给定一组样本特征,我们没有对应的属性值,而是想发掘这组样本在维空间的分布,比如分析哪些样本靠的更近，哪些样本之间离得很远,这就是属于聚类问题。分类问题最常用的学习算法包括Bayes(贝叶斯估计),SVM(支持向量机),SGD(随机梯度下降算法),Ensemble,KNN，决策树学习等；聚类算法包括k-means(K-均值)，GMM(高斯混合模型)

6、，DBSCAN等几种；回归问题能使用最小二乘法，logistic回归等算法，以及其它线性回归算法.第6章模式识别与机器学习目录目录/ContentsContents6.26.2分类算法一、二分类二、多类别分类三、贝叶斯分类四、决策树学习第6章模式识别与机器学习一、二分类首先考虑2类别分类问题y+1，-1.这种情况下，分类器的学习问题可以近似地定义为取值为+1、-1的二值函数问题，如下图所示：第6章模式识别与机器学习二分类二值函数可以使用最小二乘法进行与回归算法相同的学习。测试模式x所对应的类别y的预测值y是由学习后的输出结果的符号决定的：是指实际上不会发生的事件，也就是小概率事件。如果利用输入

7、为线性的模型为：训练输出表示为。其中和分别代表正负训练样本个数。通过设定，利用最小二乘学习进行模式识别，与线性判别分析算法一致的。第6章模式识别与机器学习二分类分类问题使用函数的正负符号来进行模式判断，函数值本身的大小并不重要。因此，分类问题中应用如下式所示的0/1损失，比L2损失得到的结果更佳。函数结果为1表示分类错误的；函数结果为0表示分类正确。因此，0/1损失可以用来对错误分类的样本个数进行统计。上式0/1损失等价为：第6章模式识别与机器学习二、多类别分类1.一对多法：对于所有与y=1,.,c相对应的类别，设其标签为+1，剩余的y以外的所有类别，则设其标签为-1.在对样本x进行分类时，利

8、用从各个2类别分类问题中得到的c个识别函数：对训练样本进行预测，并计算其函数值，其预测类别y即为函数值最大的对应类。在一对多方法中，从各个2类别的分类问题中训练得到c个识别函数f1(x),f2(x),.,fc(x)的输出，表示的是测试样本x属于类别y的概率，概率最大即为测试样本x所属的类别。第6章模式识别与机器学习二、多类别分类2.一对一法：/类别类别1 1类别类别2 2类别类别3 3类别类别c c类别类别1 1/类别类别2 2/类别类别3 3/类别类别c c/在该方法如表所示。首先对于所有与y,y=1,.,c相对应的类别，在任意两类之间训练一个分类器，属于类别y的标签设为+1，属于类别y的标

9、签设置为-1，通过这样的方式，利用二分类算法进行求解。第6章模式识别与机器学习二、多类别分类对样本x进行分类时，利用从各个二分类问题中得到的c(c-1)/2个识别函数对训练样本进行预测，再用投票法决定其最终类别，得票数最多的类别就是样本x所属的类别。在一对多方法中，对2类别问题进行了c次求解，而一对一方法进行了c(c-1)/2次求解。另一方面，对于每个2类别分类器，一对一方法中需要2类的训练样本即可完成训练。而在一对多方法中，每个2类别分类器需要所有类别的训练样本都参与才能完成。第6章模式识别与机器学习三、贝叶斯分类贝叶斯（NaiveBayesian）分类算法是基于贝叶斯定理和特征条件独立假设

10、原则的分类方法，用概率统计的观点和方法来解决模式识别问题。通过给出的特征计算分类的概率，选依据概率情况进行分类，是基于概率论的一种机器学习分类方法。贝叶斯分类算法必须满足如下条件：要决策分类的类别数是一定的；各类别总体的概率分布是已知的。基本概念：样本：；类别：；先验概率：；样本分布密度：；类密度概率密度：；后验概率密度：；错误概率：；平均错误率：；正确率：。第6章模式识别与机器学习最小错误率贝叶斯分类该方法是是统计模式识别的基本方法和基础，决策出发点是使分类的平均错误率最小，具体如下，假设需要分类的类别为,已知类先验概率和类条件概率密度，则满足平均错误率最小为最佳分类策略。第6章模式识别与机

11、器学习最小错误率贝叶斯分类下面以下面以2 2分类为例，讲解贝叶斯求解公式分类为例，讲解贝叶斯求解公式:已知：因为：分类判决是使得最小，即后验概率：第6章模式识别与机器学习最小错误率贝叶斯分类哪一类的后验概率大，则判决为哪一类。后验概率第6章模式识别与机器学习最小错误率贝叶斯分类计算后验概率，由贝叶斯全概率公式可得：根据上述全概率公式，可以得到2分类贝叶斯判决的4种格式：贝叶斯公式可以有几种形式的判别法则，针对具体问题可以选取合适的形式。不管选取何种形式，其基本思想均是要求判别归属时依概率最大作出决策，这样的结果就是分类的错误率最小第6章模式识别与机器学习最小错误率贝叶斯分类上述分类推广到多类分

12、类情况：根据全概率公式，可得第2种表示形式：其中，判决的错误率为:第6章模式识别与机器学习最小风险贝叶斯决策在某些实际情况下，引入风险的概念，以求风险最小的决策则更为合理，比如对癌细胞的识别中，将正常人判别为癌症患者和将癌症患者判别为正常人判别，后果损失是完全不一样的，直接关系到病人的身体甚至生命。因此引入风险概念比仅仅依靠错误率似乎更恰当。首先引入损失函数表示当处于状态时且判决为所带来的损失。表示为如下决策表，来描述各种情况下的决策损失。第6章模式识别与机器学习最小风险贝叶斯决策当引入“损失”的概念，考虑错判所造成的损失时，就不能只根据后验概率的大小来作决策，而必须考虑所采取的决策是否使损失

13、最小。因此在采取决策情况下的条件期望损失即条件风险为：期望风险R:反映对整个特征空间所有x的取值采取相应的决策(x)所带来的平均风险。如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x作出决策时，其期望风险也必然最小。（条件平均损失最小的判决也必然使总的平均损失最小。因此最小风险贝叶斯决策规则为:第6章模式识别与机器学习最小风险贝叶斯决策计算步骤：（1）计算后验概率：（2）计算风险：（3）决策：第6章模式识别与机器学习四、决策树学习决策树学习是根据数据样本的属性建立树状结构的一种决策模型，解决分类和回归问题。常见的算法包括CART(ClassificationAndRegressi

14、onTree),ID3,C4.5等。关键是根据数据中蕴含的只是信息提取出一系列的规则，这些规则就是树结构的创建过程，即机器学习的过程。决策树模型应用广泛，其余机器学习算法都以树模型为基础，例如，随机森林,Xgboost等算法。第6章模式识别与机器学习决策树分类的原理如图是一个预测人是否会购买电脑的决策树。利用这棵树，对新记录进行分类，从根节点（年龄）开始，有如下判断：（1）如果某个人的年龄为中年，直接判断该人会买电脑；（2）如果是青少年，则需要进一步判断是否是学生；（3）如果是老年则需要进一步判断其信用等级，直到叶子结点可以判定记录的类别。第6章模式识别与机器学习决策树分类的原理决策树能够建立

15、人能直接理解的规则，但贝叶斯、神经网络等算法没有的特性；决策树的准确率也比较高，不需要了解背景知识方可进行分类，一个非常有效的算法。决策树算法的优点有：决策树算法的优点有：第6章模式识别与机器学习决策树分类的原理决策树算法的基本思想：决策树算法的基本思想：1）输入：数据记录D，包含类标的训练数据集；2）过程：建立决策树模型主要分为两部分：（1）属性列表attributeList，候选属性集，用于在内部结点中作判断的属性.（2）属性选择方法AttributeSelectionMethod()，选择最佳分类属性的方法.3）输出：一棵决策树.4）最佳属性选择函数会在后续做介绍，现在只有知道能找到一个

16、准则，根据判断结点得到的子树的类别只含有一个类标.5）根据分裂准则设置结点N的测试表达式。6）对应构建多叉决策树时，离散的属性在结点N及其子树中只用一次，用过之后就从可用属性列表中删掉。第6章模式识别与机器学习决策树分类的原理（1）构造一个节点N；（2）如果数据记录D中的所有记录的类标都相同（记为C类）：则将节点N作为叶子节点标记为C，并返回结点N；（3）如果属性列表为空：则将节点N作为叶子结点标记为D中类标最多的类，并返回结点N；（4）调用AttributeSelectionMethod(D,attributeList)选择最佳的分裂准则splitCriterion;（5）将节点N标记为最佳

17、分裂准则splitCriterion；（6）如果分裂属性取值是离散的，并且允许决策树进行多叉分裂：从属性列表中减去分裂属性，attributeLsit-=splitAttribute；（7）对分裂属性的每一个取值j：记D中满足j的记录集合为；如果为空：则新建一个叶子结点F，标记为D中类标最多的类，并且把结点F挂在N下；（8）否则：递归调用GenerateDecisionTree(Dj,attributeList)得到子树结点，将挂在N下；（9）返回结点N。决策树模型的建立过程：决策树模型的建立过程：第6章模式识别与机器学习决策树的属性选择方法属性选择方法指选择最好的属性作为分裂属性，即让每个分

18、支的记录的类别尽可能单一。它将所有属性列表的属性进行按某个标准排序，从而选出最好的属性。属性选择方法常用的为：信息增益（Informationgain）、增益比率（gainratio）、基尼指数（Giniindex）。第6章模式识别与机器学习决策树的属性选择方法（1）信息增益信息增益基于香浓的信息论，找出的属性R具有这样的特点：以属性R分裂前后的信息增益比其他属性最大。信息的定义如下：其中m表示数据集D中类别C的个数，表示D中任意一个记录属于的概率，计算时中属于类的集合的记录个数。表示将数据集D不同的类分开需要的信息量。第6章模式识别与机器学习决策树的属性选择方法Info是信息论中的熵Entr

19、opy，表示不确定度的度量，如果某个数据集的类别的不确定程度越高，则其熵就越大。熵定义为:（1）将一个立方体A抛向空中，记落地时着地的面为，的取值为，的熵（2）现把立方体A换为正四面体B，记落地时着地的面为,的取值为1,2,3,4，的熵（3）如果换成一个球C，记落地时着地的面为，显然不管怎么扔着地都是同一个面，即的取值为1，故其熵entropy(f3)=-1*log(1)=0。面数越多，熵值越大，当只有一个面的球时，熵值为0，表示不确定程度为0，即着地时向下的面是确定的。第6章模式识别与机器学习决策树的属性选择方法信息增益：假设选择属性R作为分裂属性，数据集D中，R有k个不同的取值，将D根据R

20、的值分成k组，按R进行分裂后，将数据集D不同的类分开还需要的信息量为：信息增益的定义为分裂前后，两个信息量只差：信息增益Gain(R)表示属性R给分类带来的信息量，我们寻找Gain最大的属性，就能使分类尽可能的纯，即最可能的把不同的类分开。ID3算法使用的就是基于信息增益的选择属性方法。第6章模式识别与机器学习决策树的属性选择方法（2）增益比率信息增益选择方法有一个很大的缺陷，倾向于选择属性值多的属性。例如，在上述数据记录加姓名属性，假设14条记录中的每个人姓名不同，那么信息增益选择姓名作为最佳属性。按姓名属性分裂后，每个组只包含一条记录，每个记录只属于一类（要么购买电脑要么不购买），因此纯度

21、最高，以姓名作为测试分裂的结点下面有14个分支。但是这样的分类没有意义，没有任何泛化能力。增益比率对此进行改进，引入一个分裂信息：增益比率定义为信息增益与分裂信息的比率：第6章模式识别与机器学习决策树的属性选择方法GainRatio最大的属性作为最佳分裂属性。如果一个属性的取值很多，那么SplitInfoR(D)会大，从而使GainRatio(R)变小。但增益比率也有缺点：（1）SplitInfo(D)可能取0，此时没有计算意义；（2）当SplitInfo(D)趋向于0时，GainRatio(R)的值变得不可信。改进的措施就是在分母加一个平滑，对所有的分裂信息取平均值：第6章模式识别与机器学习

22、决策树的属性选择方法（3）基尼指数基尼指数是另外一种数据的不纯度的度量方法，其定义如下：为D的一个非空真子集，为在D的补集，即，对于属性R来说，有多个真子集，即GiniR(D)有多个值，但我们选取最小的那么值作为R的基尼指数。最后：Gini(R)增量最大的属性作为最佳分裂属性。第6章模式识别与机器学习目录目录/ContentsContents6.36.3聚类算法一、聚类算法的原理二、K-means算法原理三、GMM算法四、DBSCAN算法第6章模式识别与机器学习聚类算法clustering(聚类),聚类英文为Clustering，它就是我们说的典型的“无监督学习”的一种，就是把物理对象或抽象对

23、象的集合分组为由彼此类似的对象组成的多个类的分析过程。聚类分析是按某一特征，对研究对象进行分类的多元统计方法，忽略特征及变量间的因果关系。分类结果应使类别间个体差异大，同类的个体差异要小。与回归、支持向量机和决策树不同，聚类分析是在没有输出信息和给定划分类别的条件下，只利用输入样本信息，根据样本相似度进行样本分组，属于非监督学习，该算法基于数据的内部结构寻找观察样本的自然族群（即集群）。使用案例包括细分客户、新闻聚类、文章推荐等。聚类算法包括k-means(K-均值)，AP，层次聚类，DBSCAN，GMM(高斯混合模型)等几种。第6章模式识别与机器学习一、聚类算法的原理聚类是根据样本之间的相似

24、性对数据点进行分类，同一簇类的数据点类似，否则反之。相似性衡量标准的选择，对于聚类(clustering)的结果十分重要，通常基于某种形式的距离来定义相似度度量的，距离越大，则相似度越小。良好的聚类效果如图所示。聚类效果示意图第6章模式识别与机器学习一、聚类算法的原理聚类类型的区分依据是被划分好的聚类是否嵌套，如果嵌套称作层次聚类，反之称其划分聚类，分别如图所示。(a)层次聚类 (b)划分聚类第6章模式识别与机器学习二、K-means算法原理K-Means算法属于划分聚类是通过不断地取离种子点最近均值的算法，主要解决的问题如下图所示。从图中可以看出有四个点群，如何让机器找出该群点呢？于是引入K

25、-means算法。K-Means要解决的问题第6章模式识别与机器学习二、K-means算法原理算法原理如下图所示，A，B，C，D，E是五个未知的输入点，灰色是聚类的中心点，有两个中心点，及k=2，所以K-means的算法步骤如下：1.在图中随机取K（这里K=2）个聚类中心点。2.求图中所有未知点（A，B，C，D，E）到K个中心点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）3.移动种子点到属于他的“点群”的中心，得到更新后的聚类中心。（见图中的第三步）4.然后重复第2和第3步，直到，种子点没有移动（我们可以

26、看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。第6章模式识别与机器学习二、K-means算法原理所以得到k-mean的伪代码如下所示：1.给各个簇中心适当的初值2.更新样本对应的簇标签3.更新各个簇中心上式中，为属于簇y的样本总数。4.直到簇标签达到收敛精度为止，重复上述2,3步的计算。第6章模式识别与机器学习二、K-means算法原理一般来说，求点群中心点的算法可以使用各个点的X/Y坐标的平均值，这里给出常用的距离公式：1.EuclideanDistance公式2.CityBlockDistance公式第6章模式识别与机器学习二、K-means算法原理K均值聚类算

27、法的初始质心是随机选择或用户指定的，将会导致聚类的结果可能不是最优解，通常产生如下问题：（1）用随机方式选择时，可能是选取孤立点、簇边缘点作为初始质心；（2）用户指定初始质心，由于其对文档集了解有限，指定初始质心时会带有主观性或随意性。因此初始质心的选择对聚类结果的影响很大，优质的初始质心的在效率和结果上更胜一筹。从上面的论述中，k均值算法对初始质心敏感，因此怎样确定初始质心是优化k均值算法的关键。下面讲述的K-means+算法可以优化初始中心点的选择，其选择初始中心点的基本思想是初始中心点之间的相互距离要尽可能的远，具体的思路如下所示：1.从输入的数据点集合中随机选择一个点作为第一个中心点2

28、.计算每个点与最近一个中心点的距离对于一个点，计算其与所有已有中心点的距离，选出最短的距离，保存到数组中。计算这个数组中元素的总和3.取一个随机值，用权重的方式来计算下一个中心点。先取一个大于等于0、小于等于的随机值Random；将Random依次减去数组元素，若Random=MinPoints，则将其纳入核心点列表，并将其密度直达的点形成对应的临时聚类簇。算法步骤算法步骤：第6章模式识别与机器学习四、DBSCAN算法2，合并临时聚类簇得到聚类簇。对于每一个临时聚类簇，检查其中的点是否为核心点，如果是，将该点对应的临时聚类簇和当前临时聚类簇合并，得到新的临时聚类簇。重复此操作，直到当前临时聚类

29、簇中的每一个点要么不在核心点列表，要么其密度直达的点都已经在该临时聚类簇，该临时聚类簇升级成为聚类簇。继续对剩余的临时聚类簇进行相同的合并操作，直到全部临时聚类簇被处理。65第2章脑与认知目录目录/ContentsContents6.46.4回归算法一、回归算法原理二、最小二乘法三、logistic回归66第6章模式识别与机器学习6.4.16.4.1回归算法原理回归算法原理回归方法是一种对数值型连续随机变量进行预测和建模的监督学习算预测和建模的监督学习算法法。使用案例一般包括房价预测、股票走势或测试成绩等连续变化的案例。回归任务的特点是标注的数据集具有数值型的目标变量标注的数据集具有数值型的目

30、标变量。也就是说，每一个观察样本都有一个数值型的标注真值以监督算法。在机器学习领域，最常用的回归是两大类一类是线性回归线性回归，一类是非线性回归非线性回归。基本概述基本概述67第6章模式识别与机器学习6.4.16.4.1回归算法原理回归算法原理概念：概念：线性回归期望使用一个超平面拟合数据集（只有两个变量的时候就是一条直线）。在实践中，简单的线性回归通常被使用正则正则化化的回归方法（LASSO、Ridge和Elastic-Net）所代替。优点：优点：线性回归的理解与解释都十分直观直观，还能通过正则化来降低过拟合的风险。线性模型很容易使用随机梯度下降和新数据更新模随机梯度下降和新数据更新模型权重

31、型权重。缺点：缺点：线性回归在变量是非线性关系的时候表现很差。并且其也不够灵活以捕捉更复杂的模式，添加正确交互项或使用多项式很困难并需要大量时间大量时间。线性回归线性回归68第6章模式识别与机器学习6.4.16.4.1回归算法原理回归算法原理回归树：回归树：（决策树的一种）通过将数据集重复分割为不同的分支而实现分层学习，分割的标准是最大化每一次分离的信息增益。算法思想：算法思想：就是组合多个弱学习算法而成为一种强学习算法，不过这里并不会具体地展开。在实践中RF通常很容易有出色的表现，而GBM则更难调参，不过通常梯度提升树具有更高的性能上限。优点：优点：决策树能学习非线性关系，对异常值也具有很强

32、的鲁棒性。缺点：缺点：无约束的，单棵树很容易过拟合，因为单棵树可以保留分支（不剪枝），并直到其记住了训练数据。回归树回归树69第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法最小二乘学习法属于有监督回归。机器学习的监督学习模型的任务重点在于，根据已有经验的知识对未知样本的目标预测。根据目标预测变量的类别不同，监督学习任务分为：（1）分类学习 （2）回归预测本节主要介绍回归中最基本的算法最小二乘学习法，但是由于过拟合可能降低模型的性能，在最小二乘学习增加约束条件。回归的关键是找到一个目标函数，目标函数会把每个属性集 映射到一个连续值。利用最小误差判断目标函数拟合输入数据的优劣。回

33、归的误差函数分为：（1）绝对误差 （2）平方误差70第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法最小二乘是一种进行线性回归的方法，是对模型的输出 和训练集输出 的平方误差为最小时的参数进行学习，即该直线尽可能的拟合这组点。核心原理如下公式所示：1 1、最小二乘学习法的原理、最小二乘学习法的原理注：LS是LeastSquare的。其中1/2是为了约去对进行微分时得到的2。平方误差为每一次观测残差的L2范数。最小二乘学习法也称为L2范数损失最小化学习法。71第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法如果线性模型为：1 1、最小二乘学习法的原理、最小二乘学习

34、法的原理训练样本的平方差 表示为：其中，是训练输入的n维向量,是下式中定义的nb阶矩阵，也称设计矩阵。训练样本的平方差 的参数向量的偏微分可以计算得到：72第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法1 1、最小二乘学习法的原理、最小二乘学习法的原理令偏微分等于0，取极值，最小二乘关系可以表示为：方程式 的使用设计矩阵的广义逆矩阵来计算，得出:方阵、非奇异矩阵才能定义逆矩阵，广义逆矩阵是奇异矩阵都可以定义，是对逆矩阵的推广。若 有逆矩阵，广义逆矩阵 可以表示为。对顺序为 i 的训练样本的平方差通过权重 进行加权，然后再采用最小二乘学习，这称为加权最小二乘学习法。加权最小二乘

35、学习法，与没有权重时相同。通过下式可以进行求解，其中W是以 为对角元素的对角阵。73第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法2 2、最小二乘法的优化、最小二乘法的优化最小二乘学习法是机器学习算法中的基础算法。但其对含有噪声的学习经常有过拟合的弱点。因为学习模型对于训练样本而言过于复杂。因此，将介绍能够控制模型复杂程度的、带有约束条件的最小二乘学习法。参数线性模型：参数 可自由设置，使用的是如下图所示的全体参数空间：图6-17一般的最小二乘学习法74第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法2 2、最小二乘法的优化、最小二乘法的优化部分空间约束的最小

36、二乘法是通过把参数空间限制在一定范围内，来防止过拟合现象，表示为：其中，P是满足 和 的b*b维矩阵，表示矩阵P的值域R(P)的正交投影矩阵。如下图所示：图6-18 部分空间约束的最小二乘学习法75第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法2 2、最小二乘法的优化、最小二乘法的优化通过 约束条件，参数就不会偏移到值域R(P)的范围外。部分统建约束的最小二乘学习法的解是将最小二乘学习的设计矩阵置换为P的方式求得：部分空间约束的最小二乘学习法中，只使用参数空间的一部分，但是正交投影矩阵P的设置有很大的自由度，因此实际操作有很大难度。因此，引入L2约束的最小二乘学习法。如下图所

37、示：图6-19 约束的最小二乘学习法的参数空间76第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法2 2、最小二乘法的优化、最小二乘法的优化 L2约束的最小二乘学习法是以参数空间的原点为圆心，在一定半径范围的圆内（大部分是超球）进行求解。R表示的就是圆的半径。L2约束的最小二乘学习法的解就可以通过下式求得：上式的第一项 表示的是对训练样本的拟合程度，通过与第二项的“约束”相结合，来防止对训练样本的过拟合。对上述目标函数进行关于的偏微分，并设为零，即可求得最小的训练损失。L2约束的最小二乘学习法的解为：其中，I 是单位矩阵，在L2约束的最小二乘学习法中，通过将矩阵和 I 相加提高

38、其正则性，进而就可以更稳定地进行逆矩阵求解。因此，L2约束的最小二乘学习法也称为L2正则化的最小二乘学习法，其实我们刚才讲的“约束”项正是正则项，为正则化参数。77第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法3 3、最小二乘解的性质、最小二乘解的性质首先来考虑设计矩阵的奇异值分解：上述三个参量分别称为奇异值、左奇异向量、右奇异向量。奇异值全部是非负的，奇异向量满足正交性：进行奇异值分解后，的广义矩阵就可以表示为下式：78第6章模式识别与机器学习6.4.26.4.2最小二乘法最小二乘法3 3、最小二乘解的性质、最小二乘解的性质 设计矩阵的维数为n*b，当训练样本数n或参数个数

39、b是非常大的数值的时候，经常会出现计算机内存不足的现象。在这种情况下，使用随机梯度算法（SGD）。随机梯度是指，沿着训练平方误差 的梯度下降，对参数一次进行学习的算法。其原理可以用下图表示：图6-20 梯度下降示意图线性模型的训练平方误差 为凸函数。凸函数是指，对于任意的两点1，2和任意的t0,1；都有下式成立：因为凸函数是只有一个峰值的函数，所以通过梯度法就可以得到训练平方误差 在值域范围内的最优解，即全局最优解。79第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归1 1、logisticlogistic回归算法原理回归算法原理Logistic regre

40、ssion可以用来回归和分类，主要是二分类，logistic regression给出的这个样本属于正类或负类的概率。假设数据集 其中 ，logistic 回归试图学习一个模型尽可能地预测实数输出标记，线性回归的模型得分的计算方法如下:写成向量形式为：同时“广义线性回归”模型为：其中 是单调可微函数。80第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归1 1、logisticlogistic回归算法原理回归算法原理 线性回归模型只能进行回归学习，若要做的分类任务需在“广义线性回归”模型中找一个单调可微函数，将分类任务的真实标记y与线性回归模型的预测值联系起来

41、。logistic回归是处理二分类问题的，输出标记y=0,1，且线性回归模型的预测值 Z=WX +b是一个实值，将实值z转化成0/1，使用单位阶跃函数：81第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归1 1、logisticlogistic回归算法原理回归算法原理 预测值大于0判断为正例，小于0则判断为反例，等于0则可任意判断。但是单位阶跃函数是非连续的函数，因此利用连续的函数Sigmoid函数，取代单位阶跃函数：sigmoid函数近似单位阶跃函数，同时单调可微，图像如下所示：在原来的线性回归模型外套上sigmoid函数便实现logistic回归模型的预

42、测函数，用于二分类问题：图6-21 sigmoid函数变化后y视样本x为正例的概率，则1-y便是其反例的可能性。二者的比值便被称为“几率”，反映了x作为正例的相对可能性，这也是logistic回归又被称为对数几率回归的原因。82第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归2 2、logisticlogistic模型优化模型优化logistic回归的预测函数：将式子中的y视为类后验概率估计 ，则上式可以重写为：求解上式有：83第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归2 2、logisticlogistic模型优化

43、模型优化下面先给出求解参数w的思路：(1)建立目标函数定义一个准则函数 ，利用准则函数求解参数W合并上述两个式子可得：在式中y=0,1，是个二分类问题，所以y只是取两个值0或是1，可得似然函数为：对式取对数有：因此定义准则函数为：目标函数为最大化似然函数，即最大化准则函数：84第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归2 2、logisticlogistic模型优化模型优化(2)梯度上升算法求解参数w使用梯度上升算法求解参数w，因此参数w的迭代式为：其中是正的比例因子，设定步长的“学习率”，对准则函数J(W)进行微分可得：所以得到最终参数w的迭代式为：

44、上式将（1/m）去掉不影响结果，等价于下式：至此得出w的迭代公式，按说是可以在引入数据的情况下进行w的计算，进而进行分类。但是数据基本都是以矩阵和向量的形式引入的，所以需对上面w的迭代时进行向量化，以方便实例应用中的使用。85第6章模式识别与机器学习6.4.3logistic6.4.3logistic回归回归2 2、logisticlogistic模型优化模型优化(3)w迭代公式向量化首先对于引入的数据集x来说，均是以矩阵的形式引入的，如下：其中m数据的个数，n是数据的维度，即数据特征的数量。标签y也是以向量的形式引入的：参数w向量化为：86第6章模式识别与机器学习6.4.3logistic6

45、.4.3logistic回归回归2 2、logisticlogistic模型优化模型优化(3)w迭代公式向量化定义 ，所以：定义上面说的sigmoid函数为：定义估计的误差损失为：在此基础上，可以得到步骤二中得到的参数迭代时向量化的式子为：87第2章脑与认知目录目录/ContentsContents6.56.5支持向量机一、支持向量机原理二、点到超平面的距离公式三、最大间隔的优化模型四、松弛变量五、支持向量机的优化88第6章模式识别与机器学习6.56.5支持向量机支持向量机 支持向量机(Support Vector Machine，SVM)可以使用一个称之为核函数的技巧扩展到非线性分类问题，而

46、该算法本质上就是计算两个称之为支持向量的观测数据之间的距离。SVM 算法寻找的决策边界即最大化其与样本间隔的边界，因此支持向量机又称为大间距分类器。从线性可分模式分类角度看，SVM的主要思想是：建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。根据cover定理：将复杂的模式分类问题非线性地投射到高维特征空间可能是线性可分的，因此只要特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。89第6

47、章模式识别与机器学习6.5.16.5.1支持向量机原理支持向量机原理 在二维空间中的样本分布，如果可以用一个线性还属能将样本分开，则称这些样本数据是线性可分的，反之称为线性不可分。在一维线性空间中，线性函数是一个点，二维空间中是一条线，三维空间是一个平面，统称超平面。在二维空间中仅有两类样本的分类问题为例，如图所示，一条线能够将圆圈和叉叉两类样本给分开，这条线就是超平面：图6-22 两类样本分类问题这条线可以表示为：如果推广到更高维空间，以便让我们推到更有普遍性，在N维空间，分类函数表示为。90第6章模式识别与机器学习6.5.16.5.1支持向量机原理支持向量机原理 在二维空间中，当测试点带入

48、到 f(x)使 f(x)0 时，该点再直线上方，则说明属于圆圈相反；若使f(x)1时，数据点进入分类超平面的错误一侧；当p=0时，相应的数据点即为精确满足公式的支持向量Xs。如果让任意大的话，那么任意的超平面都是符合条件的了。所以在原有目标的基础之上，我们也尽可能的让的总量也尽可能地小。所以新的目标函数变为：其中的C是用于控制“最大化间隔”和“保证大部分的点的函数间隔都小于1”这两个目标的权重。98第6章模式识别与机器学习6.5.46.5.4松弛变量松弛变量将上述模型整理，得到支持向量机的表示：新的拉格朗日函数变为：接下来将拉格朗日函数转化为其对偶函数，首先让L分别分别对w、b和求偏导，并令其

49、为0,结果如下：代入原式化简之后得到和原来一样的目标函数：经过添加松弛变量的方法，我们现在能够解决数据更加混乱的问题。通过修改参数C，得到不同的结果而C的大小到底取多少比较合适，根据实际问题进行调节。99第6章模式识别与机器学习6.5.56.5.5支持向量机的优化支持向量机的优化 对于非线性情况，可以通过非线性变换，将原空间的非线性问题转化为高维空间中的线性题，在变换的空间内再求最优超平面。但这种非线性变换一般比较复杂不易实现。式中最大化目标函数 Q()和分类函数式(7-63)中的运算都只涉及到样本间的内积运算即 。根据泛函数的理论，核函数 满足 Mercer 条件，它就对应某一变换空间中的内

50、积。高维空间中的内积运算可以用原空间内的核函数来实现，在最优超平面中采用适当的核函数 可以将样本映射到高维空间，在高维空间实现线性分类，计算复杂度没有增加，这就是 SVM 的理论基础。一般的情况下，SVM 引入松弛项 和惩罚因子C表示允许错分样本的存在，期望分类器在经验风险和推广性能间能获得好的折中。此时：相应的分类函数变为：100第6章模式识别与机器学习6.5.56.5.5支持向量机的优化支持向量机的优化 以上为 SVM 的最的表述。不同的核函数会形成不同的支持向量机算法。常用的核函数有：（1）线性核函数：（2）多项式核函数：，其中 s,c,d 为参数。显然，线性核函数是多项式核函数的特例。