AI-第6章 机器学习(3)-统计学习.pptx





《AI-第6章 机器学习(3)-统计学习.pptx》由会员分享,可在线阅读,更多相关《AI-第6章 机器学习(3)-统计学习.pptx(30页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、人工智能导论6.1 概述6.2 决策树学习6.3 贝叶斯学习6.4 统计学习6.5 聚类6.6 特征选择与表示学习6.7 其他学习方法第六章第六章 机器学习机器学习6.4 6.4 统计学习统计学习u已知准确的样本分布函数u并且采样无穷多为 u小样本统计学习理论基于对学习错误(过学习,overfitting)和泛化能力之间关系的定量刻画,u不仅避免了对样本点分布的假设和数目要求,u还产生了一种新的统计推断原理结构风险最小化原理。46.4.1 6.4.1 统计学习理论统计学习理论(1)G表示产生器,用于产生输入向量x;(2)S表示被观测的系统或者称为训练器。训练器对每个输入x产生相应的输出y,并且
2、输入和输出遵从某个未知联合概率F(x,y);(3)LM表示学习机。学习机能够实现一定的函数集f(x,a),a,其中是学习参数集合,学习参数既可能是向量也可能是函数。不同的a值就决定了不同的学习函数。学习的问题就是从给定的函数集f(x,a),a中选择出能最好地逼近训练器响应的函数。5期望风险 6常见损失函数常见损失函数经验风险 9小样本统计学习理论u在什么条件下,当样本数目趋于无穷时,经验风险Remp(a)最优值趋于期望风险R(a)最优值(能够推广),其收敛速度又如何。也就是在经验风险最小化原则下的学习一致性条件。u如何从经验风险估计出期望风险的上界,即关于统计学习方法推广性的界。u在对期望风险
3、界估计的基础上选择预测函数的原则,即小样本归纳推理原则。u实现上述原则的具体方法。例如支持向量机(Support vector machine,SVM)就是一个具体的方法。10VCVC维 u对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的2h种形式分开,则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。u若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大。u有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。11实数平面的VCVC维12u因为总能找出n+1个点,选择其中一个作为原点,剩余n个点的位置向量是线性独立的。但无法选择
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- AI-第6章 机器学习3-统计学习 AI 机器 学习 统计

限制150内