机器学习算法 综述入门.docx

《机器学习算法 综述入门.docx》由会员分享，可在线阅读，更多相关《机器学习算法 综述入门.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、机器学习算法综述（入门）1.决策树这个监视式学习算法通常被用于分类问题。它同时适用于分类变量以及连续因变量。在这个算法中我们将总体分成两个或者更多的同类群。这是根据属性或自变量来分成尽可能不同的组别。如下图根据一些feature特征进展分类每个节点提一个问题通过判断将数据分为两类再继续提问。这些问题是根据已有数据学习出来的再投入新数据的时候就可以根据这棵树上的问题将数据划分到适宜的叶子上。经典的决策书是ID3其中有两个重要的概念熵以及信息增益熵是描绘混乱的程度在模型中熵越小较好信息增益是描绘属性非子叶节点对模型的奉献信息增益越大对模型的奉献越大优点计算复杂度不高输出结果易于理解对中间值的缺失不

2、敏感可以处理不相关特征数据。缺点可能会产生过度匹配问题。2.线性回归线性回归是用于回归的对某一现象或者类进展归纳为线性模型通过连续的输入变量预测出一个值通过拟合最正确直线来建立自变量以及因变量的关系而这条最正确直线就叫做回归线并且可以用Ya*Xb线性等式来表示一元线性回归Y:因变量X:自变量a:斜率b:截距一元线性回归的特点是只有一个自变量。多元线性回归Ya1*X1a2*X2a3*X3an*Xnb多元线性回归存在多个自变量找最正确拟合直线的时候可以拟合到多项或曲线回归。线性回归不像Logistic回归是用于分类其根本思想是用梯度下降法对最小二乘法形式的误差函数进展优化当然可以以用normale

3、quation直接求得参数的解结果为而在LWLR部分加权线性回归中参数的计算表达式为:由此可见LWLR与LR不同LWLR是一个非参数模型因为每次进展回归计算都要遍历训练样本至少一次。优点实现简单计算简单缺点不能拟合非线性数据.3.逻辑回归这是一个分类算法通过将数据拟合进一个逻辑函数来预估一个事件出现的概率。对于01之间的概率值当概率大于0.5预测为1小于0.5预测为0。它属于判别式模型有很多正那么化模型的方法L0L1L2etc。假如需要一个概率架构比方简单地调节分类阈值指明不确定性或是要获得置信区间或你祈望以后将更多的训练数据快速整合到模型中去可以使用逻辑回归。Sigmoid函数使用算法首先我

4、们需要输入一些数据并将其转换成对应的构造化数值接着基于训练好的回归系数就可以对这些数值进展简单的回归计算断定它们属于哪个类别在这之后我们就可以夺输出的类别上做一些其他分析工作。优点实现简单广泛的应用于工业问题上分类时计算量非常小速度很快存储资源低便利的观测样本概率分数对逻辑回归而言多重共线性并不是问题它可以结合L2正那么化来解决该问题缺点当特征空间很大时逻辑回归的性能不是很好容易欠拟合一般准确度不太高只能处理两分类问题在此根底上衍生出来的softmax可以用于多分类且必须线性可分对于非线性特征需要进展转换4.支持向量机SVM这是一种分类方法。在这个算法中我们将每个数据在N维空间中用点标出N是你

5、所有的特征总数每个特征的值是一个坐标的值。SVM算法的本质是找出一个可以将某个值最大化的超平面这个值就是超平面离所有训练样本的最小间隔。这个最小间隔用SVM术语来讲叫做间隔(margin)。假设给定一些分属于两类的2维点这些点可以通过直线分割我们要找到一条最优的分割线支持向量机将向量映射到一个更高维的空间里在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个相互平行的超平面分隔超平面使两个平行超平面的间隔最大化。假定平行超平面间的间隔或者差距越大分类器的总误差越小。算法训练算法SVM的大局部时间都源自训练该经过主要实现两个参数的调优。测试算法特别简单的计算经过就可以实现。使用

6、算法几乎所有分类问题都可以使用SVM值得一提的是SVM本身是一个二类分类器对多类问题应用SVM需要对代码做一些修改。线性支持向量机求解线性支持向量机的经过是凸二次规划问题所谓凸二次规划问题就是目的函数是凸的二次可微函数约束函数为仿射函数知足而我们讲求解凸二次规划问题可以利用对偶算法即引入拉格朗日算子利用拉格朗日对偶性将原始问题的最优解问题转化为拉格朗日对偶问题这样就将求wbwb的原始问题的极小问题转化为求的对偶问题的极大问题即求出在通过KKT条件求出对应的参数w,bw,b进而找到这样的间隔最大化超平面进而利用该平面完成样本分类。目的函数如下近似线性支持向量机当数据集并不是严格线性可分时即知足绝

7、不局部样本点是线性可分存在极少局部异常点这里也就是讲存在局部样本不能知足约束条件此时我们可以引入松弛因子这样这些样本点到超平面的函数间隔加上松弛因子就能保证被超平面分隔开来当然添加了松弛因子我们也会添加对应的代价项使得非线性支持向量机显然当数据集不是线性可分的即我们不能通过前面的线性模型来对数据集进展分类。此时我们必须想方法将这些样本特征符合线性模型才能通过线性模型对这些样本进展分类。这就要用到核函数核函数的功能就是将低维的特征空间映射到高维的特征空间而在高维的特征空间中这些样本进过转化后变成了线性可分的情况这样在高维空间中我们就可以利用线性模型来解决数据集分类问题优点泛化错误率低计算开销不大

8、结果易解释。缺点对参数调节以及核函数的选择敏感原始分类器不加修改仅适用于处理二类问题。5.朴素贝叶斯朴素贝叶斯分类算法那么是给出一个最优的猜想结果同时给出猜想的概率估计值。这个定理解决了现实生活里经常遇到的问题已知某条件概率怎样得到两个事件交换后的概率也就是在已知P(A|B)的情况下怎样求得P(B|A)。这里先解释什么是条件概率P(B|A)表示事件B已经发生的前提下事件A发生的概率称为事件B发生下事件A的条件概率。公式模型使用条件概率进展分类假设这里要被分类的类别有两类类c1以及类c2那么我们需要计算概率p(c1|x,y)以及p(c2|x,y)的大小并进展比拟假如p(c1|x,y)p(c2|x

9、,y),那么(x,y)属于类c1在p(x,y|c)p(x,y|c)的条件概率所表示的含义为已知类别c条件下取到点(xy)的概率那么p(c|x,y)p(c|x,y)所要表达的含义呢显然我们同样可以按照条件概率的方法来对概率含义进展描绘即在给定点(x,y)的条件下求该点属于类c的概率值。那么这样的概率该怎样计算呢显然我们可以利用贝叶斯准那么来进展变换计算代近相关参数即优点朴素贝叶斯模型发源于古典数学理论有着坚实的数学根底和稳定的分类效率。对小规模的数据表现很好能个处理多分类任务合适增量式训练对缺失数据不太敏感算法也比拟简单常用于文本分类。缺点需要计算先验概率分类决策存在错误率对输入数据的表达形式很敏感。这里先讲5个算法下一编补充完好。假如有错误的地方欢送指出。