(4.1.1)--第四章_感知机.pdf

《(4.1.1)--第四章_感知机.pdf》由会员分享，可在线阅读，更多相关《(4.1.1)--第四章_感知机.pdf（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据机器学习第四讲：感知机 感知机模型 感知机学习策略 感知机学习算法目录一、感知机 针对：二分类问题 实质：分离超平面，判别模型；策略：基于误分类的损失函数；方法：利用梯度下降法对损失函数进行极小化；特点：感知机学习算法具有简单而易于实现的优点，分类：分为原始形式和对偶形式；感知机(Perceptron)定义(感知机):假设输入空间(特征空间)是输出空间是 输入表示实例的特征向量，对应于输入空间（特征空间）的点，输出表示实例的类别，由输入空间到输出空间的函数：称为感知机，模型参数：w x，内积，权值向量，偏置，符号函数：感知机模型 感知机几何解释：线性方程：对应于超平面S，w为法向量，b截

2、距，分离正、负类：分离超平面：感知机模型 点到直线距离：Ax+By+C=0二、感知机学习策略 如何定义损失函数？自然选择：误分类点的数目，但损失函数不是w,b 连续可导，不宜优化。另一选择：误分类点到超平面的总距离：距离：误分类点：误分类点距离：总距离：感知机学习策略 损失函数：M为误分类点的数目感知机学习策略 概念 相关学术资源 应用 发展历程 国内外研究者 与数据挖掘的关系 相关学术期刊和会议 与统计学习的关系三、感知机学习算法 求解最优化问题：随机梯度下降法，首先任意选择一个超平面，w，b，然后不断极小化目标函数,损失函数L的梯度：选取误分类点更新：三、感知机学习算法 感知机学习算法的原

3、始形式：感知机学习算法 例：正例：负例：感知机学习算法 解：构建优化问题：求解：w，b，得线性模型：感知机学习算法 得到线性模型：如此继续下去：分离超平面：感知机模型：感知机学习算法 算法的收敛性：证明经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。将b并入权重向量w，记作：感知机学习算法 定理：则：感知机学习算法 证明:(1)由线性可分,存在超平面：,由 有限的点，均有：存在 使：感知机学习算法感知机算法在训练集的误分类次数k满足不等式,证明：令是第k个误分类实例之前的扩充权值向量，即：第k个误分类实例的条件是：则w和b的更新：即：感知机学习算法感知机算法在训练集

4、的误分类次数k满足不等式,推导两个不等式:(1)由：得：感知机学习算法感知机算法在训练集的误分类次数k满足不等式,(2)则：感知机学习算法感知机学习算法感知机算法在训练集的误分类次数k满足不等式,结合两个不等式：得：感知机学习算法 定理表明：误分类的次数k是有上界的，当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的。感知机算法存在许多解，既依赖于初值，也依赖迭代过程中误分类点的选择顺序。为得到唯一分离超平面，需要增加约束，如SVM。线性不可分数据集，迭代震荡。感知机学习算法 感知机算法的对偶形式：类似SVM 对偶形式：基本想法：将w和b表示为实例xi和标记yi的线性组合的形式，通过求解其系数而求得w和b，对误分类点：感知机学习算法 问题：实例点更新次数越多，意味着该点离分离超平面？感知机学习算法 感知机学习算法的对偶形式：感知机学习算法感知机学习算法 例：感知机学习算法 例：END