机器学习3周志华ppt课件.pptx

《机器学习3周志华ppt课件.pptx》由会员分享，可在线阅读，更多相关《机器学习3周志华ppt课件.pptx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用三、线性模型 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性模型分类回归线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数简单、基本、可理解性好经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性回归(linear regression)对进行最小二乘参数估计使得离散

2、属性的处理：若有“序”(order)，则连续化；否则，转化为 k 维向量令均方误差最小化，有经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性回归分别对和求导：令导数为 0,得到闭式(closed-form)解：经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用多元(multi-variate)线性回归使得把和吸收入向量形式，数据集表示为经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消

3、费者购买商品的价款或接受服务的费用多元线性回归同样采用最小二乘法求解，有令，对求导：令其为零可得然而，麻烦来了：涉及矩阵求逆！若若满秩或正定，则不满秩，则可解出多个此时需求助于归纳偏好，或引入 正则化(regularization)第6、11章经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性模型的变化对于样例若希望线性模型的预测值逼近真实标记，则得到线性回归模型令预测值逼近 y 的衍生物？若令则得到对数线性回归(log-linear regression)实际是在用逼近 y经营者提供商品或者服务有欺诈行为的，

4、应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用广义(generalized)线性模型一般形式:单调可微的 联系函数(link function)令则得到 对数线性回归 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用二分类任务找 z 和 y 的联系函数性质不好,需找“替代函数”(surrogate function)线性回归模型产生的实值输出期望输出理想的“单位阶跃函数”(unit-step function)常用单调可微、任意阶可导对数几率函数(logistic

5、function)简称“对率函数”经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用对率回归以对率函数为联系函数:变为即:几率(odds),反映了 x 作为正例的相对可能性“对数几率”无需事先假设数据分布 可得到“类别”的近似概率预测 可直接应用现有数值优化算法求取最优解(log odds,亦称 logit)“对数几率回归”(logistic regression)简称“对率回归”注意：它是分类学习算法！经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价

6、款或接受服务的费用求解思路若将 y 看作类后验概率估计可写为于是，可使用“极大似然法”,则第7章(maximum likelihood method)给定数据集最大化“对数似然”(log-likelihood)函数经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用令，则可简写为求解思路再令则似然项可重写为于是，最大化似然函数等价为最小化高阶可导连续凸函数，可用经典的数值优化方法如梯度下降法/牛顿法 Boyd and Vandenberghe,2004经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其

7、受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性模型做“分类”回归广义线性模型；通过“联系函数”例如，对率回归分类如何“直接”做分类？经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用线性判别分析(Linear Discriminant Analysis)由于将样例投影到一条直线（低维空间），因此也被视为一种“监督降维”技术 降维第10章经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LDA的目标给定数据集第 i

8、类示例的集合第 i 类示例的均值向量第 i 类示例的协方差矩阵两类样本的中心在直线上的投影：和两类样本的协方差：和尽可能小尽可能大同类样例的投影点尽可能接近 异类样例的投影点尽可能远离 于是，最大化经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用LDA的目标类内散度矩阵(within-class scatter matrix)类间散度矩阵(between-class scatter matrix)LDA的目标：最大化广义瑞利商(generalized Rayleigh quotient)w 成倍缩放不影响 J 值

9、仅考虑方向经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用实践中通常是进行奇异值分解然后求解思路令，最大化广义瑞利商等价形式为运用拉格朗日乘子法，有的方向恒为，不妨令于是附录经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用推广到多类假定有 N 个类 全局散度矩阵 类内散度矩阵 类间散度矩阵特征值所对应的特征向量组成的矩阵多分类LDA有多种实现方法：采用例如，的闭式解是中的任何两个的 N-1 个最大广义经营者提供商品或者服务有欺诈行为

10、的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用训练N(N-1)/2个分类器，存储开销和测试时间大训练只用两个类的样例，训练时间短训练N个分类器，存储开销和测试时间小训练用到全部训练样例，训练时间长多分类学习拆解法：将一个多分类任务拆分为若干个二分类任务求解预测性能取决于具体数据分布，多数情况下两者差不多经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用纠错输出码(ECOC)多对多(Many vs Many,MvM):将若干类作为正类，若干类作为反类一种常见方法：纠

11、错输出码编码：对 N 个类别做 M 次划分，每次将一部分类别划为正类，一部分划为反类解码：测试样本交给 M 个分类器预测(Error Correcting Output Code)M 个二类任务；(原)每类对应一个长为 M 的编码距离最小的类为最终结果长为 M 的预测结果编码经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用纠错输出码 ECOC编码对分类器错误有一定容忍和修正能力，编码越长、纠错能力越强 对同等长度的编码，理论上来说，任意两个类别之间的编码距离越远，则纠错能力越强Dietterich and Bak

12、iri,1995Allwein et al.2000经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用类别不平衡(class-imbalance)不同类别的样本比例相差很大；“小类”往往更重要基本思路：基本策略“再缩放”(rescaling)：然而，精确估计 m-/m+通常很困难！常见类别不平衡学习方法：过采样(oversampling)例如：SMOTE 欠采样(undersampling)例如：EasyEnsemble 阈值移动(threshold-moving)经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用前往第四站