(7.5)--7.5 模型训练策略.ppt

《(7.5)--7.5 模型训练策略.ppt》由会员分享，可在线阅读，更多相关《(7.5)--7.5 模型训练策略.ppt（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Model Training模型模型评估与估与训练CHAPTER ONE整体方案Overall Scheme一、整体方案一、整体方案三要素PET模型任任务：Task分类、回归、聚类、异常检测、概率估计经验：Experience样本、数据、标签、知识、偏好性能：性能：Performance度量、指标、统计机器学机器学习机器根据经验E在任务T上使得性能P得到提升的过程一、整体方案一、整体方案机器学习整体流程数据采集任务分析模型选择模型训练模型评估性能度量CHAPTER TWO模型分析Analysis of Model二、模型分析二、模型分析经验误差与泛化误差规律：律：数据量 越大，经验误差越逼近泛

2、化误差模型越复杂，经验误差越小，泛化误差越大训练过程，经验误差一直减小，泛化误差先小后大10020030040050000.51训练过程误差曲线经验误差泛化误差二、模型分析二、模型分析过拟合 vs.欠拟合欠拟合过拟合较小的经验误差较大的泛化误差复杂模型小数据集较大的经验误差较大的泛化误差简单模型大数据集CHAPTER THREE误差估计Error Evaluation三、误差估计三、误差估计用测试集估计泛化误差如何估如何估计泛化泛化误差？差？收集测试集(Testing set)统计训练好的模型在测试集上的误差如何构建如何构建测试集？集？测试集与训练集应满足独立同分布假设(iid)测试样本应尽可

3、能与训练样本不同如果只有如果只有训练集怎么集怎么办？三、误差估计三、误差估计留出法(hold-out)分层采样Stratified sampling保持类别比例不变，将原始数据 分为训练集 和测试集例如：二分类问题，原始数据为1000个样本，两类各500S包含700个样本，正负类各350个T包含300个样本，正负类各150个 集从原始数据集 中随机抽样获得，“留出”的集合则为 的样本数占 的总样本数的比例一般在2/3,4/5误差估计每次分层采样后，用 集训练，用 集测试，统计误差重复上述过程 次，用 集平均误差来估计算法的泛化误差三、误差估计三、误差估计交叉验证法(Cross validati

4、on)可采用分层采样法实现测试集选择与误差估计三、误差估计三、误差估计自助法(Bootstrapping)自助抽样(bootstrap sampling)：从数据集 中产生新数据集 抽样效果分析某些样本会被重复采样，有些样本一直没被抽到CHAPTER FOUR训练策略Training Strategy四、训练策略四、训练策略训练流程训练集表现如何测试集表现如何改进模型模型训练模型诊断增加数据任务完成数据不足过拟合差好好差欠拟合起点四、训练策略四、训练策略方法与技巧评估训练集表现性能度量/损失函数的收敛情况在训练集上的经验误差评估测试集表现在测试集上的经验误差模型诊断与改进过拟合：增加数据、正则

5、化欠拟合：算法调整，参数调整，扩充容量，改进优化算法四、训练策略四、训练策略方法与技巧正则化策略约束模型复杂度：正则化项、结构风险项、剪枝、约束规模数据增强：新增数据，数据重采样，数据重赋权，数据变形噪声扰动：输入数据加噪，输出数据加噪，噪声对抗提前终止：交叉验证，参数经验参数调整策略模型容量参数正则化项比例系数学习率总结模型模型训练训练整体方案误差估计数据集方法留出法交叉验证自助法机器学习三要素机器学习整体流程任务T经验E性能P模型分析经验误差与泛化误差过拟合与欠拟合训练集测试集验证集训练策略训练流程方法与技巧基于训练集的评价基于测试集的评价模型诊断模型改进过拟合欠拟合增加数据正则化算法调整参数调整优化算法改进LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听