第4章-回归-分析ppt课件.pptx

《第4章-回归-分析ppt课件.pptx》由会员分享，可在线阅读，更多相关《第4章-回归-分析ppt课件.pptx（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、高级大数据人才培养丛书之一，大数据挖掘技术与应用王朝霞 主编 施建强 杨慧娟 陈建彪 副主编DATA MINING曹 洁 宁亚辉 王伟嘉 袁晓东 张卫明 编者（按姓氏首字母排序） 刘 鹏 张 燕 总主编数据挖掘第四章回归of592高级大数据人才培养丛书之一，大数据挖掘技术与应用回归是一种基于统计原理，对大量统计数据进行数学处理，并确定变量（或属性）之间的相关关系，建立一个相关性的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的方法。根据因变量和自变量的函数表达式分为：线性回归分析、非线性回归分析。根据因变量和自变量的个数可分为：一元回归分析、多元回归分析、逻辑回归分析和其它回归

2、分析等。More应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of593高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价对于社会经济现象，很难确定因变量和自变量之间的关系，因为它们大多是随机的，只有通过大量的观察统计，才能找出其中的规律，随机分析是利用统计学原理描述随机变量关系的一种方法。回归分析可简单理解为信息分析与预测，信息即统计数据，分析即对信息进行数据

3、处理，预测就是加以外推，也就是适当扩大已有自变量取值范围，并承认该回归方程在该扩大的定义域内成立，然后就可以在该定义域上取值进行“未来预测”。当然，对回归方程可以进行有效的控制。因此，回归分析主要解决下面两方面的问题：1) 确定变量之间是否存在相关关系，若存在，则找出数学表达式。2)根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测或以达到何种精确度。4.1.1 回归分析的定义of5944.1回归基本概念第四章 回归4.1.2 回归分析步骤of5954.1回归基本概念第四章 回归为使回归分析方程较能符合实际，首先应尽可能判断自变量的可能种类和个数，并在观察事物发展规

4、律的基础上定性回归方程的可能类型；其次，力求掌握较充分的高质量统计数据，再运用统计方法，利用数学工具和相关软件，从定量方面计算或改进定性判断。4.1.2 回归分析要注意的问题of5964.1回归基本概念第四章 回归4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of597高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价4.2.1 一元回归分析的模型设定of5984.2一元回归分析第四章 回归4.2.1 一元回归分析的模型设定of5994.2一元回归分析第四章 回归在进行消费行

5、为研究中，从一个地区抽取20 个不同家庭的月可支配收入和消费数据，如下表所示：例4.1of59104.2一元回归分析第四章 回归序号序号 消费（百元）消费（百元）可支配收入（百元）可支配收入（百元）序号序号 消费（百元）消费（百元）可支配收入（百元）可支配收入（百元）172.310011132.3189292.5112012149.82143135.220013115.318849413014132.21975163.524015149.5206610011416100.25142786.51261779.61128142.362131890.2134912015619116.51691011

6、2.5616720126170以可支配收入为横轴、消费为纵轴画出样本数据的散点图例4.1of59114.2一元回归分析第四章 回归从图中可以看出，可支配收入和消费之间存在明显的线性关系。但所有点并不在一条直线上，表明二者之间的关系是一种随机关系。4.2.1 一元回归分析的模型设定of59124.2一元回归分析第四章 回归4.2.2 一元线性回归模型的参数估计of59134.2一元回归分析第四章 回归4.2.3 基本假设下OLS估计的统计性质of59144.2一元回归分析第四章 回归4.2.3 基本假设下OLS估计的统计性质of59154.2一元回归分析第四章 回归（4.4）4.2.4 误差方差

7、估计of59164.2一元回归分析第四章 回归4.2.6 拟合优度和模型检验（F 检验）of59174.2一元回归分析第四章 回归4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of5918高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价多元回归分析预测法，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。多元回归分析可以达到以下目的：1. 了解因变量和自变量之间的关系是否存在，以及这

8、种关系的强度。也就是以自变量所解释的因变量的变异部分是否显著，且因变量变异中有多大部分可以由自变量来解释。2. 估计回归方程，求在自变量已知的情况下因变量的理论值或预测值 ，达到预测目的。3. 评价特定自变量对因变量的贡献，也就是在控制其他自变量不变的情况下，该处变量的变化所导致的因变量变化情况。4. 比较各处变量在拟合的回归方程中相对作用大小，寻找最重要的和比较重要的自变量。4.3.1多元线性回归模型of59194.3多元线性回归分析第四章 回归4.3.1多元线性回归模型of59204.3多元线性回归分析第四章 回归建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注

9、意自变量的选择，其准则是： 1. 自变量对因变量必须有显著的影响，并呈密切的线性相关；2. 自变量与因变量之间的线性相关必须是真实的，而不是形式上的； 3. 自变量之间应具有一定的互斥性，即自变量之间的相关程度不应高于自变量与因变量之因的相关程度； 4. 自变量应具有完整的统计数据，其预测值容易确定。4.3.1多元线性回归模型of59214.3多元线性回归分析第四章 回归4.3.2 多元线性回归模型的假定of59224.3多元线性回归分析第四章 回归4.3.3 多元线性回归模型的参数估计of59234.3多元线性回归分析第四章 回归4.3.3 多元线性回归模型的参数估计of59244.3多元线

10、性回归分析第四章 回归4.3.3 多元线性回归模型的参数估计of59254.3多元线性回归分析第四章 回归3.估计参数的统计性质（1）线性性（2）无偏性（3）最小方差性4.3.3 多元线性回归模型的参数估计of59264.3多元线性回归分析第四章 回归4.3.4 显著性检验of59274.3多元线性回归分析第四章 回归1. 变量选择问题选择合适的变量用于建立一个“最优”的回归方程（1）逐步回归法(Stepwise)（2）向前引入法（Forward）（3）向后剔除法(Backward)。4.3.4 回归变量的选择与逐步回归of59284.3多元线性回归分析第四章 回归2. 逐步回归分析（1）基本

11、思想逐个引入自变量。每次引入对影响最显著的自变量，并对方程中的老变量逐个进行检验，把变为不显著的变量逐个从方程中剔除掉，最终得到的方程中既不漏掉对影响显著的变量，又不包含对影响不显著的变量。4.3.4 回归变量的选择与逐步回归of59294.3多元线性回归分析第四章 回归2. 逐步回归分析（2）筛选的步骤从回归方程中考虑剔除不显著变量。从不在方程中的变量考虑引入新变量。4.3.4 回归变量的选择与逐步回归of59304.3多元线性回归分析第四章 回归4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of5931高级大数

12、据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价4.4.2 logit变换of59324.4逻辑回归分析第四章 回归4.4.3 Logistic分布of59334.4逻辑回归分析第四章 回归4.4.4 列连表的Logistic回归模型of59344.4逻辑回归分析第四章 回归4.4.4 列连表的Logistic回归模型of59354.4逻辑回归分析第四章 回归4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of5936高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归

13、分析方法给自己的房子定价对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。如果自变量只有一个时，称为一元多项式回归；如果自变量有多个时，称为多元多项式回归。在一元回归分析中，如果依变量y与自变量x的关系为非线性的，但是又找不到适当的函数曲线来拟合，则可以采用一元多项式回归。在这种回归技术中，最佳拟合线不是直线。而是一个用于拟合数据点的曲线。多项式回归的最大优点就是可以通过增加x的高次项对实测点进行逼近，直至满意为止。事实上，多项式回归可以处理相当一类非线性问题，它在回归分析中占有重要的地位，因为任一函数都可以分段用多项式来逼近。因此，在通常的实际问题中，不论依变量与其他自变量

14、的关系如何，我们总可以用多项式回归来进行分析。多项式回归问题可以通过变量转换化为多元线性回归问题来解决。多项式回归在回归分析中很重要，因为任意一个函数至少在一个较小的范围内都可以用多项式任意逼近，因此在比较复杂的实际问题中，有时不问y与诸元素的确切关系如何，而用回归分析进行分析运算。4.5.1 多项式回归（Polynomial Regression）of59374.5其他回归分析第四章 回归在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重

15、要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。下面列出了一些最常用的逐步回归方法：标准逐步回归法做两件事情。即增加和删除每个步骤所需的预测。向前选择法从模型中最显著的预测开始，然后为每一步添加变量。向后剔除法与模型的所有预测同时开始，然后在每一步消除最小显着性的变量。这种建模技术的目的是使用最少的预测变量数来最大化预测能力。这也是处理高维数据集的方法之一。4.5.2 逐步回归（Stepwise Regression）of59384.5其他回归分析第四章 回归4.5.3 岭回归（Ridge Regression）of59394.5其他回归分析第四章 回归套索回归类似于岭回归

16、，（Least Absolute Shrinkage and Selection Operator, Lasso）也会惩罚回归系数的绝对值大小。此外，它能够减少变化程度并提高线性回归模型的精度。Lasso 回归与Ridge回归有一点不同，它使用的惩罚函数是绝对值，而不是平方。这导致惩罚（或等于约束估计的绝对值之和）值使一些参数估计结果等于零。使用惩罚值越大，进一步估计会使得缩小值趋近于零。这将导致我们要从给定的n个变量中选择变量。除常数项以外，这种回归的假设与最小二乘回归类似；它收缩系数接近零（等于零），这确实有助于特征选择；这是一个正则化方法，使用的是L1正则化。如果预测的一组变量是高度相关

17、的，Lasso 会选出其中一个变量并且将其它的收缩为零。4.5.4 套索回归（Lasso Regression）of59404.5其他回归分析第四章 回归ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。在高度相关变量的情况下，它会产生群体效应；选择变量的数目没有限制；它可以承受双重收缩。4.5.5 弹性网络

18、（ElasticNet）of59414.5其他回归分析第四章 回归4.1回归基本概念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of5942高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价房子的价格（因变量）是很多自变量-房子的面积、占地的大小、厨房是否有花岗石以及卫生间是否刚重装过等的结果。所以，不管是购买过一个房子还是销售过一个房子，您都可能会创建一个回归模型来为房子定价。这个模型建立在邻近地区内的其他有可比性的房子的售价的基础上（模型），然后再把您自己房子的值放入此模型来产生一个预期

19、价格。用回归分析方法给自己的房子定价of59434.6实战：第四章 回归房子面积（平方英尺）占地的大小卧室花岗岩卫生间有无重装？销售价格35299191600$205,000324710061511$224,900403210150501$197,900239714156410$189,90022009600401$195,000353619994611$325,00029839351501$230,00031989669511?RELATION houseATTRIBUTE houseSize NUMERICATTRIBUTE lotSize NUMERICATTRIBUTE bedroom

20、s NUMERICATTRIBUTE granite NUMERICATTRIBUTE bathroom NUMERICATTRIBUTE sellingPrice NUMERICDATA3529,9191,6,0,0,205000 3247,10061,5,1,1,224900 4032,10150,5,0,1,197900 2397,14156,4,1,0,189900 2200,9600,4,0,1,195000 3536,19994,6,1,1,325000 2983,9351,5,0,1,2300004.6.1 为WEKA构建数据集of59444.6实战：第四章 回归4.6.2 将数

21、据载入WEKAof59454.6实战：第四章 回归启动 WEKA，然后选择 Explorer。将会出现 Explorer 屏幕，其中 Preprocess 选项卡被选中。选择 Open File 按钮并选择前面创建的ARFF文件。4.6.3 用WEKA创建一个回归模型of59464.6实战：第四章 回归为了创建这个模型，单击 Classify 选项卡。第一个步骤是选择我们想要创建的这个模型，以便 WEKA 知道该如何处理数据以及如何创建一个适当的模型：单击 Choose 按钮，然后扩展 functions 分支。选择 LinearRegression 页。4.6.4 结果分析of59474.6

22、实战：第四章 回归准备好创建模型后，单击 Start。4.6.4 结果分析of59484.6实战：第四章 回归得到回归模型的预测输出公式sellingPrice = (-26.6882 * houseSize) + (7.0551 * lotSize) + (43166.0767 * bedrooms) + (42292.0901 * bathroom) - 21661.1208把我的房屋的相关数据输入，就得到我的房屋的价格sellingPrice = (-26.6882 * 3198) + (7.0551 * 9669) + (43166.0767 * 5) + (42292.0901 *

23、1) - 21661.1208sellingPrice = 219,3284.6.4 结果分析of59494.6实战：第四章 回归除了房屋价格，还得到如下信息：1. 花岗石无关紧要 WEKA 将只使用在统计上对模型的正确性有贡献的那些列（以 R-squared 量度，但这超出了本文的范围）。它将会抛弃并忽视对创建好的模型没有任何帮助的那些列。所以这个回归模型告诉我们厨房里的花岗石并不会影响房子的价值。2. 卫生间是有关系的 因卫生间使用了简单的 0 或 1 值，所以我们可以使用来自回归模型的这个系数来决定卫生间的这个值对房屋价值的影响。这个模型告诉我们它使房子的价值增加了 $42,292。3.

24、 较大的房子价格反而低 WEKA 告诉我们房子越大，销售价格越低？这可以从 houseSize 变量前面负的系数看出来。此模型告诉我们房子每多出一平方英尺都会使房价减少 $26？这根本没有意义。这是无用数据入、无用数据出的一个很好的例子。房子的大小并不是一个自变量，它还与卧室变量相关，因为房子大通常卧室也多。所以我们的模型并不完美。但是我们可以修复这个问题。在 Preprocess 选项卡，可以从数据集中删除列。对于本例，我们删除 houseSize 列并创建另一个模型。那么它会如何影响房子的价格呢？这个新模型又如何更有实际意义？（修改后的我的房子价格是： $217,894）。4.1回归基本概

25、念第四章回归4.2一元回归分析4.3多元线性回归分析3.1数据挖掘概述4.5其他回归分析习题4.4逻辑回归分析of5950高级大数据人才培养丛书之一，大数据挖掘技术与应用4.6实战：用回归分析方法给自己的房子定价1.调查某市出租车使用年限和该年支出维修费用（万元），得到数据如下：使用年限（1）求线性回归方程；（2）由（1）中结论预测第10年所支出的维修费用（ ）2.以下是某地搜集到的新房屋的销售价格y和房屋的面积x的数据：（1）画出数据对应的散点图；（2）求线性回归方程，并在散点图中加上回归直线；（3）据（2）的结果估计当房屋面积为150m2时的销售价格.（4）求第2个点的残差。习题：xy12

26、1() ()()niiiniixxyybxxaybx121() ()()niiiniixxyybxxaybx使用年限 23456维修费用 2238556570房屋面积房屋面积（）（）11511080135105销售价格（万元）24.821.618.429.222AIRack人工智能实验平台一站式的人工智能实验平台DeepRack深度学习一体机开箱即用的AI科研平台BDRack大数据实验平台一站式的大数据实训平台云计算头条微信号：chinacloudnj中国大数据微信号：cstorbigdata刘鹏看未来微信号：lpoutlook云创大数据订阅号微信号：cStor_cn云创公众号推荐深度学习世界微信号：dl-world云创大数据服务号微信号：cstorfw高校大数据与人工智能微信号：data_AI手机APP推荐我的PM2.5随时随地准确查看身边的PM2.5值同声译支持26种语言互译的实时翻译软件科技头条汇聚前沿资讯的科技情报站我的南京云创大数据为路况大数据应用提供技术支持万物云智能硬件大数据免费托管平台环境云环境大数据开放共享平台网站推荐感谢聆听