(4.3.1)--第4章作业-多元线性回归方法原理详解.ppt

《(4.3.1)--第4章作业-多元线性回归方法原理详解.ppt》由会员分享，可在线阅读，更多相关《(4.3.1)--第4章作业-多元线性回归方法原理详解.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归目 录C O N T E N T SC O N T E N T S1回归定义2算法流程3超参数4解题思路3定义定义1PART ONE回归分析回归分析回归分类回归分类线性回归线性回归回归预测回归预测4回回归分析分析回归分析：确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。也就是根据数据集D，拟合出近似的曲线，所以回归也常称为拟合（Fit）。5回归分析后将得到回归方程，与具体数据结合后可得到对应的预测结果。回回归预测6回回归分分类一元回归分析回归分析因变量和自变量的个数因变量和自变量的函数表达式多元回归分析线性回归分析非线性回归分析7线性回性回归一元线性回归因变量和自变量

2、的个数多元线性回归定义：仅用一个特征进行的线性回归定义:通过n个特征进行的线性回归公式：y=wx+b例子：学分绩点=（综合成绩-60）/10+1.58算法流程算法流程2数据预处理数据预处理算法模型算法模型模型评估模型评估PART TWO模型预测模型预测9算法流程算法流程10算法流程算法流程打个形象的比喻：训练集学生的课本；学生根据课本里的内容来掌握知识。验证集作业，通过作业可以知道不同学生学习情况、进步的速度快慢。测试集考试，考的题是平常都没有见过，考察学生举一反三的能力。说明：一般三者切分的比例是6：2：2，验证集并不是必须的。11数据数据预处理理数据预处理（datapreprocessin

3、g）是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。常用的数据预处理方式有数据归一化、数据增强、缺失值处理、异常点/离群点检测等。最大最小值归一化方法：将不同量纲的数据统一归一化为0,1之间的数据。缺点：这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。最大最小值归一化方法：将不同量纲的数据统一归一化为0,1之间的数据。12模型模型训练多元多元线性回性回归公式公式13损失函数失函数损失函数（lossfunction）又称代价函数（cost function），是预测结果和实际结果之间的差别，如平方损失函数。14模型模型训练-损失函数失函数由于

4、该函数为凸函数，只有一个全局最优解，因此使用此函数作为损失函数有利于使用梯度下降法进行模型训练时取得全局最优解。15凸函数（下凸）凸函数（下凸）设f(x)在区间D上连续，如果对D上任意两点a、b恒有：f(a+b)/2)(f(a)+f(b)/2则f(x)在D上的图形是（向下）凸的（或凸弧）。凸函数:只有一个局部最低点。非凸函数：有多个局部最低点，一个全局最低点。16优化器化器优化器能指引损失函数的各个参数往正确的方向更新合适的大小，使得更新后的各个参数能让损失函数值不断逼近全局最小。优化器化器梯度下降法梯度下降法动量量优化法化法自适自适应学学习率率优化算法化算法标准梯度下降法（GradientD

5、escent，GD）MomentunAdagrad算法NAGRMSprop算法AdaDleta算法Adam算法批量梯度下降法（(BatchGradientDescent，BGD）随机梯度下降法（StochasticGradientDescent）17标准梯度下降准梯度下降梯度下降法的计算过程就是沿梯度下降的方向求解极小值的过程（也可以沿梯度上升方向求解极大值），公式如下：18学学习率率学习率大学习率小19超参数超参数超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。参数与超参数的区别：l模型参数：根据数据自动估算的，由数据来驱动调整，如线性回归中的系数w。l模型超参数：手动

6、设置的，并且在过程中用于帮助估计模型参数，如模型的训练次数、学习率、损失函数。20模型模型训练-梯度下降梯度下降代入代入将（2）式代入（1）式可得：21模型模型评估估性能性能评估指估指标回回归准确率（Accuracy）错误率（Errorrate）灵敏度（sensitive）特异度（specificity）精确率、精度（Precision）召回率（recall）综合评价指标（F-Measure）平均绝对误差（MeanAbsoluteError，MAE）均方误差（MeanSquaredError，MSE）均方根误差（RootMeanSquareError,RMSE）分分类22模型模型评估估23解题

7、思路4数据预处理数据预处理模型训练模型训练模型评估模型评估PART FOUR数据集划分数据集划分24数据数据预处理理-分析数据集分析数据集25数据数据预处理理-皮皮尔逊相关系数相关系数皮尔逊相关系数(Pearsoncorrelationcoefficient），又称皮尔逊积矩相关系数（Pearsonproduct-momentcorrelationcoefficient，简称PPMCC或PCCs），是用于度量两个变量X和Y之间的相关性（线性相关），可用于特征挑选。其值介于-1与1之间，两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商，公式如下：26例子：求解平时分预测问题。现

8、有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，求该数据集课堂回答次数和作业上交次数与平时分的相关系数。1487259501733394根据数据集可知：数据数据预处理理-皮皮尔逊相关系数相关系数27数据数据预处理理-归一化一化归一化公式如下：特征值=（特征值-特征最小值）/（特征最大值-特征最小值）如果缺少归一化步骤，由于不同特征值的不同取值范围，可能会导致利用梯度下降法训练的结果异常，出现缺失值。例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构

9、建一个平时分预测模型，求问该数据集归一化后的结果。14872595017333941/33/47/112/31100011/221/22归一化28数据集划分数据集划分将数据集D划分成两个互斥集合，常用的是将训练集和测试集比例选取为7:3。291/33/47/112/31100011/221/22模型模型训练-多元多元线性回性回归公式公式例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，求问该模型的回归方程形式。根据数据集可知，自变量应为课堂回答次数、作业上交次数与偏置，因变量为平时分，因此多元线性

10、回归方程如下：30模型模型训练-梯度下降梯度下降例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，优化器使用学习率为0.04的标准梯度下降，求问训练1000次后的系数。系数变化公式：训练结果：10.9434090.9686110.96475420.8905030.9393420.93186430.8410380.9120520.90117610000.0006950.6788910.547003系数系数训练次数次数31模型模型评估估例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，优化器使用学习率为0.04的标准梯度下降，求问训练1000次后的RMSE。3485.98087584.01085787.95089282.04084086848882RMSE=0.033775测试集（不同于训练集）i参数参数32模型模型预测模型构建完成后可进行预测。因为模型训练时采用的数据集为归一化后的数据集，所以可通过反归一化获得新的系数，产生新的多元线性回归方程，输入数据后可根据该方程获得预测值。w0=0.000695,w1=0.678891,w2=0.547003=96.976442谢谢观看