大数据时代的数据挖掘与商务智能三课件.ppt

《大数据时代的数据挖掘与商务智能三课件.ppt》由会员分享，可在线阅读，更多相关《大数据时代的数据挖掘与商务智能三课件.ppt（239页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代的数据挖掘与商务智能1第三部分基于统计的传统数据分析技术2数据分析基本概念n统计学简介n测量与数据n数据来源n数据的类型n数据预处理技术3统计数据分析方法n n 描述统计n n 推断统计n n 常用统计分析软件4数学家的幽默n n 统计学家调侃数学家：你们不是说若且，则吗！那么想必你若喜欢一个女孩，那么这个女孩喜欢的男生你也喜欢吧？n n 数学家反问道：那么你把左手放到一锅一百度的开水中，右手放到一锅零度的冰水里想来也没事吧！因为它们平均不过是五十度而已！”5何为统计学？n n 统计与数量有关，同时它已经渗透到社会经济活动和科学研究的方方面面。那么究竟何为统计？统计是如何开展研究的？

2、作为一门科学的统计学与其他学科有何区别与联系？6统计(Statistics)的涵义n n 统计是人们认识客观世界总体数量变动关系和变动规律的活动的总称，是认识客观世界的有力工具。n n 统计学是研究如何测定、收集、整理、归纳和分析反映客观现象总体数量的数据，以便给出正确认识的方法论科学。7统计的研究对象的特点n n 数量性。统计数据是客观事物量的反映。n n 总体性。统计的数量研究是对现象总体中各单位普遍存在的事实进行大量观察和综合分析。n n 变异性。总体各单位的特征表现存在着差异，而且这些差异并不是事先可以预知的。8统计研究的基本环节9统计设计收集数据整理与分析资料积累开发应用统计学理论与

3、相关实质性学科理论描述统计推断统计统计调查、实验统计设计n n根据所要研究问题的性质，在有关学科理论的根据所要研究问题的性质，在有关学科理论的指导下，制定统计指标、指标体系和统计分类，指导下，制定统计指标、指标体系和统计分类，给出统一的定义、标准。同时提出收集、整理给出统一的定义、标准。同时提出收集、整理和分析数据的方案和工作进度等。和分析数据的方案和工作进度等。n n搞好统计设计不仅要有统计学的一般理论和方搞好统计设计不仅要有统计学的一般理论和方法为指导，而且还要求设计者对所要研究的问法为指导，而且还要求设计者对所要研究的问题本身具有深刻的认识和相关的学科知识。题本身具有深刻的认识和相关的学

4、科知识。10收集数据n n统计数据的收集有两种基本方法。统计数据的收集有两种基本方法。n n对于大多数自然科学和工程技术研究来说，有对于大多数自然科学和工程技术研究来说，有可能通过有控制的科学实验去取得数据，这时可能通过有控制的科学实验去取得数据，这时可以采用实验法。可以采用实验法。n n对于社会经济现象来说，一般无法进行重复实对于社会经济现象来说，一般无法进行重复实验，要取得有关数据就必须进行调查观察。验，要取得有关数据就必须进行调查观察。n n海量数据的积累！海量数据的积累！11整理与分析n n描述统计描述统计是指对采集的数据进行登记、审核、是指对采集的数据进行登记、审核、整理、归类，在此

5、基础上进一步计算出各种能整理、归类，在此基础上进一步计算出各种能反映总体数量特征的综合指标，并用图表的形反映总体数量特征的综合指标，并用图表的形式表示经过归纳分析而得到的各种有用的统计式表示经过归纳分析而得到的各种有用的统计信息。信息。n n推断统计推断统计是在对样本数据进行描述的基础上，是在对样本数据进行描述的基础上，利用一定的方法根据样本数据去估计或检验总利用一定的方法根据样本数据去估计或检验总体的数量特征。推断统计是现代统计学的主要体的数量特征。推断统计是现代统计学的主要内容。内容。12统计资料的积累、开发与应用n n对于已经公布的统计资料需要加以积累，同时对于已经公布的统计资料需要加以

6、积累，同时还可以进行进一步的加工，结合相关的实质性还可以进行进一步的加工，结合相关的实质性学科的理论知识去进行分析和利用。学科的理论知识去进行分析和利用。n n如何更好地将统计数据和统计方法应用于各自如何更好地将统计数据和统计方法应用于各自的研究领域是应用统计学研究的一个重要方面。的研究领域是应用统计学研究的一个重要方面。13统计学的流派nn 政治算术学派nn 国势学派nn 社会统计学派nn 数理统计学派nn 理论统计学nn 应用统计学14政治算术学派与国势学派n n政治算术学派。最早的统计学源于政治算术学派。最早的统计学源于1717世纪英国。世纪英国。其代表人物是威廉配第其代表人物是威廉配第

7、(William Patty(William Patty，1623 1623 1687 1687年 年)。政治算术学派主张用大量观察。政治算术学派主张用大量观察和和数量分析数量分析等方法对社会经济现象进行研究的等方法对社会经济现象进行研究的主张，为统计学的发展开辟了广阔的前景。主张，为统计学的发展开辟了广阔的前景。n n国势学派。最早使用国势学派。最早使用“统计学统计学”这一术语的是这一术语的是德国国势学派。国势学派虽然创造了统计学这德国国势学派。国势学派虽然创造了统计学这一名词，但他们主要一名词，但他们主要使用文字记述方法使用文字记述方法对国情对国情国力进行研究，其学科内容与现代统计学有较国

8、力进行研究，其学科内容与现代统计学有较大差别。大差别。15社会统计学派n n18501850年，德国的统计学家克尼斯年，德国的统计学家克尼斯(K.G.A.knies)(K.G.A.knies)发发表了题为表了题为独立科学的统计学独立科学的统计学的论文，提出统计的论文，提出统计学是一门独立的社会科学，是一门对社会经济现象学是一门独立的社会科学，是一门对社会经济现象进行数量对比分析的科学。进行数量对比分析的科学。n n各国学者在社会经济统计指标的设定与计算、指数各国学者在社会经济统计指标的设定与计算、指数的编制、资料的收集与整理、统计调查的组织和实的编制、资料的收集与整理、统计调查的组织和实施、经

9、济社会的数量分析和预测等方面做出的贡献施、经济社会的数量分析和预测等方面做出的贡献已成为现代统计学的重要组成部分。已成为现代统计学的重要组成部分。n n例如，例如，“恩格尔系数恩格尔系数”，至今仍为人们广泛使用。，至今仍为人们广泛使用。国内生产总值国内生产总值(GDP)(GDP)的核算方法被称为的核算方法被称为“2020世纪最世纪最伟大的发明之一。伟大的发明之一。”16数理统计学派n n 认为统计学是一门通用的方法论科学。创始人是比利 认为统计学是一门通用的方法论科学。创始人是比利时统计学家凯特勒 时统计学家凯特勒(Adolphe Quetelet(Adolphe Quetelet，1796

10、1796 1874 1874年 年)。他所著的代表作。他所著的代表作 社会物理学 社会物理学 等将概率论和统计 等将概率论和统计方法引入社会经济方面的研究。方法引入社会经济方面的研究。n n 从 从19 19世纪中叶到 世纪中叶到20 20世纪中叶，数理统计学得到迅速发 世纪中叶，数理统计学得到迅速发展。展。英国生物学家高尔顿提出并阐述了 英国生物学家高尔顿提出并阐述了“相关 相关”的概念；的概念；皮尔逊提出了计算复相关和偏相关的方法。皮尔逊提出了计算复相关和偏相关的方法。戈塞特建立了 戈塞特建立了“小样本理论 小样本理论”，即所谓的，即所谓的“t t分布 分布”；费歇尔样本相关系数的分布、方

11、差分析、实验设计等方面的 费歇尔样本相关系数的分布、方差分析、实验设计等方面的研究中做出了重要贡献。研究中做出了重要贡献。到 到20 20世纪中期，数理统计学的基本框架已经形成。数理统计 世纪中期，数理统计学的基本框架已经形成。数理统计学派成为英美等国统计学界的主流。学派成为英美等国统计学界的主流。17理论统计学和应用统计学n n历经历经300300多年的发展，统计学目前已经成为横多年的发展，统计学目前已经成为横跨社会科学和自然科学领域的多科性的科学。跨社会科学和自然科学领域的多科性的科学。n n“统计学是有关如何测定、收集和分析反映客统计学是有关如何测定、收集和分析反映客观现象总体数量的数据

12、，以便给出正确认识的观现象总体数量的数据，以便给出正确认识的方法论科学。方法论科学。”n n现代统计学可以分为两大类：一类是以抽象的现代统计学可以分为两大类：一类是以抽象的数量为研究对象，研究一般的收集数据、整理数量为研究对象，研究一般的收集数据、整理数据和分析数据方法的数据和分析数据方法的理论统计学理论统计学。另一类是。另一类是以各个不同领域的具体数量为研究对象的以各个不同领域的具体数量为研究对象的应用应用统计学统计学。18数学与统计学的联系n n 数学与统计学都是研究数量规律的，都要利用各种公式进行运算。n n 数学中的概率论，为统计学提供了数量分析的理论基础。统计学中的理论统计学以抽象的

13、数量为研究对象，其大部分内容也可以看作是数学的分支。19统计学与数学的区别n n从研究对象看，数学以最一般的形式研究数量从研究对象看，数学以最一般的形式研究数量的联系和空间形式。统计学特别是应用统计学的联系和空间形式。统计学特别是应用统计学则总是与客观的对象联系在一起的。则总是与客观的对象联系在一起的。n n从研究方法看，数学主要是逻辑推理和演绎论从研究方法看，数学主要是逻辑推理和演绎论证的方法。而统计本质上是证的方法。而统计本质上是归纳归纳的方法。统计的方法。统计学家特别是应用统计学家需要深入实际，进行学家特别是应用统计学家需要深入实际，进行调查或实验去取得数据，研究时不仅要运用统调查或实验

14、去取得数据，研究时不仅要运用统计的方法，而且还要掌握某一专门领域的知识。计的方法，而且还要掌握某一专门领域的知识。20测量与数据n n 数据是通过把感兴趣领域里的实体以某种测量过程映射到符号表示得到的。n n 测量就是把实体的一个给定属性与一个变量值联系起来。21属性（变量）:重量属性（变量）值：2kg 测量统计数据22基本构成要素实体（Element）变量（Variable）观测（Observation）关于实体的一种属性或特征研究对象由各实体组成关于某一实体所有各变量的信息变量与变量值n n说明现象的某一数量特征的概念也被称为变量，说明现象的某一数量特征的概念也被称为变量，变量的具体取值是

15、变量值，统计数据就是统计变变量的具体取值是变量值，统计数据就是统计变量的具体表现。量的具体表现。n n连续型变量是指变量的取值在数轴上连续不断，连续型变量是指变量的取值在数轴上连续不断，无法一一列举，即在一个区间内可以取任意实数无法一一列举，即在一个区间内可以取任意实数值。值。n n离散型变量是指变量的其取值是整数值，可以一离散型变量是指变量的其取值是整数值，可以一一列举。一列举。23例：员工个人资料表姓名姓名性别性别年年龄龄身高身高(m)(m)体体重重(kg(kg)民民族族公司公司服务服务年限年限受教受教育年育年限限甲甲男男 33331.851.856565汉汉 331818乙乙女女 252

16、51.651.655555回回 221616丙丙男男 26261.721.726060满满 111515丁丁女女 35351.601.605353回回 441616戊戊男男 32321.831.836868汉汉 22191924变量的测度等级n n 变量的测度等级：量化程度n n 变量的测度等级直接关系到数据分析方法的选择。n n 常用的划分为四种名义测度（名义测度（Nominal Nominal）有序测度（有序测度（OrdinalOrdinal）间距测度（间距测度（IntervalInterval）比率测度（比率测度（RatioRatio）25名义测度（Nominal）n n 变量用多种状态

17、来表示，这些状态之间既没有数量关系，也没有等级关系。n n 例如，性别（男、女），颜色（红、黄、蓝）n n 可以用数字表示（编码），但数字只是用作标签。编码的数值之间不存在有实际意义的量的关系。26有序测度（Ordinal）n n 有序测度量化水平高于名义测度n n 变量编码不仅具有分类的作用，而且也存在量的关系（等级或次序关系）。n n 例如，受教育程度（文盲半文盲1、小学2、初中3、高中4、大学及以上5）n n 编码的数值之间存在有实际意义的量的关系，编码值可以应用于不等式计算。27间距测度（Interval）n n 变量取值不再是类的编码，而是采用一定单位的实际测量值。可以度量两个不同变

18、量值之间的差异及大小。n n 例如，温度（5摄氏度，10摄氏度）n n 数值之间可以进行加法和减法，但不不能进行乘除计算。因为这一测度等级的变量所取得的0值不是物理意义上的绝对0。28比率测度（Ratio）n n 最高级的测度等级。n n 大多数物理量,例如质量,长度以及能量都是比率测度;华氏温度也是比率测度。n n 可以进行各种运算。n n 较高等级的变量可以降级使用。29数据来源n n 直接来源：第一手资料统计调查（普查、抽样调查）统计调查（普查、抽样调查）统计实验（实验设计）统计实验（实验设计）n n 间接来源：第二手资料企业业务数据与客户数据企业业务数据与客户数据政府部门统计数据（例如

19、统计局）政府部门统计数据（例如统计局）商务数据服务公司商务数据服务公司万维网上的相关数据（万维网上的相关数据（WWWWWW）30总体和样本n n 总体：又称母体，指所要研究对象的全体，由许多客观存在的具有某种共同性质的单位构成。总体单位数用 N 表示。n n 样本：又称子样，来自总体，是从总体中按随机原则抽选出来的部分，由抽选的单位构成。样本单位数（容量）用 n 表示。n n 总体是唯一的、确定的，而样本是不确定的、可变的、随机的。31总体参数和样本统计量n n总体参数：反映总体数量特征的指标。其数值是唯一总体参数：反映总体数量特征的指标。其数值是唯一的、确定的。的、确定的。n n样本统计量：

20、根据样本分布计算的指标，是随机变量。样本统计量：根据样本分布计算的指标，是随机变量。32平均数标准差、方差参数、2统计量S、S2 总体样本数据的类型n n横截面数据又称为静态数据，它是指在同一时横截面数据又称为静态数据，它是指在同一时间对同一总体内不同单位的数量进行观察而获间对同一总体内不同单位的数量进行观察而获得的数据。得的数据。n n时间序列数据又称为动态数据，它是指在不同时间序列数据又称为动态数据，它是指在不同时间对同一总体的数量表现进行观察而获得的时间对同一总体的数量表现进行观察而获得的数据。数据。例如，例如，2008 2008年全国各省市自治区的国内生产总值就 年全国各省市自治区的国

21、内生产总值就属于横截面数据。而 属于横截面数据。而“十一五 十一五”期间我国历年的国 期间我国历年的国内生产总值就属于时间序列数据。内生产总值就属于时间序列数据。n n面板数据：横截面数据与时间序列数据交织在面板数据：横截面数据与时间序列数据交织在一起。一起。n n非结构化数据非结构化数据33面板数据n n 所谓“面板数据”也称为“平行数据”，是指对不同时刻的截面个体作连续观测所得到的多维时间序列数据。n n 例如，在研究生产成本与企业规模和技术进步的关系时，选择不同规模企业在不同时间上的数据作为样本观测值，这些观测值数据就是面板数据。34非结构化数据n n相对于结构化数据相对于结构化数据(即

22、存储在数据库中，可以即存储在数据库中，可以用二维表结构来逻辑表达的数据用二维表结构来逻辑表达的数据)而言而言,不方便不方便用数据库二维表来表现的数据即称为非结构化用数据库二维表来表现的数据即称为非结构化数据。数据。n n包括所有格式的办公文档、文本、图片、各类包括所有格式的办公文档、文本、图片、各类报表、图像和音频报表、图像和音频/视频信息等等。视频信息等等。n n据调查，现在人们所使用的数据有据调查，现在人们所使用的数据有 80%80%是非结是非结构化的，而非结构化的数据又往往同结构化的构化的，而非结构化的数据又往往同结构化的数据结合在一起。数据结合在一起。35数据与模型的关系36数据1数据

23、2数据n模型分析结果决策方案输入输出处理过程数据的质量 n n 数据分析的有效性与数据质量密不可分。n n GIGOGarbage In,Garbage Out.n n 垃圾进，垃圾出。37数据的质量 n n 数据分析研究的目的不同，对样本数据要求也不同。选择样本数据，除了考虑数据的可得性之外，还必须考虑数据的可用性。n n 为保证分析结论的可靠性，应从完整性、准确性、可比性和一致性等方面对选取的样本数据的质量进行考虑。38数据的完整性 n n 人们无论是从宏观、中观和微观角度研究的现象都可以看成一个系统，研究所依据的数据，作为系统状态和其内部机制及外部环境的数量应该是完整的，否则，模型就无法

24、确定。在统计模型中，表现为样本数据的完整性。n n 百分之百的完整是难以达到的，但对于少数“遗失数据”，必须采用科学的方法人为地补充以达到数据的完整性。39数据的准确性 n n 数据的准确性包括两个方面的含义。n n 一是它必须准确反映它所代表的研究对象的状态，要求统计数据或调查数据本身是准确的；n n 二是它必须是模型研究中所要求的数据，它要求研究人员准确地选择、应用数据。40数据的可比性与一致性n n数据的可比性即数据口径问题，在统计模型研数据的可比性即数据口径问题，在统计模型研究中人们得到的统计数据，经常具有比较差的究中人们得到的统计数据，经常具有比较差的可比性，其原因在于统计范围口径的

25、变化，必可比性，其原因在于统计范围口径的变化，必须进行处理后才能为研究所用。须进行处理后才能为研究所用。n n统计分析方法，是从历史的数据或同一时间截统计分析方法，是从历史的数据或同一时间截面的不同点的数据中寻找其内在规律性，如果面的不同点的数据中寻找其内在规律性，如果数据是不可比的，当然找出的规律并不能反映数据是不可比的，当然找出的规律并不能反映对象本身的固有规律。对象本身的固有规律。n n数据的一致性并不是可比性可以包容的，主要数据的一致性并不是可比性可以包容的，主要指纵向一致性指纵向一致性(例如用于商品分类的代码不一例如用于商品分类的代码不一致致)。41数据预处理n n 为什么需要预处理

26、n n 数据清理n n 数据集成和变换n n 数据规约42为什么需要预处理n n 脏数据不完整，含噪声，不一致不完整，含噪声，不一致n n 数据清理通过填写空缺值，平滑噪声数据，识别删除异常点，并解决不一致来清理数据。43脏数据形成的原因n n 滥用缩写词n n 数据输入错误n n 数据中的内嵌控制信息n n 不同的惯用语n n 重复记录n n 丢失值n n 拼写变化n n 不同的计量单位n n 过时的编码44数据清理的重要性vv 脏数据的普遍存在，使得在大型数据库中维护数据的正确性和一致性成为一个非常困难的任务。vv 数据清理可以改进数据的质量，从而有助于提高分析和挖掘过程的精度和性能。45

27、数据清理处理内容n n 填充空缺值n n 格式标准化n n 异常数据清除n n 错误纠正n n 重复数据的清除46空缺值n n 忽略元组n n 人工填充空缺值n n 使用一个全局常量填充空缺值n n 使用属性的平均值填充空缺值n n 使用与给定元组属于同一类的所有样本的属性平均值填充空缺值n n 使用最有可能的值填充空缺值47噪声数据n n 如何平滑数据，去掉噪声n n 数据平滑技术分箱分箱聚类聚类计算机和人工检查相结合计算机和人工检查相结合回归回归48分箱（binning）n n 分箱方法通过考察数据的“近邻”来光滑有序数据的值。n n 平滑方法:按箱平均值平滑按箱平均值平滑按箱中值平滑按箱

28、中值平滑按箱边界值平滑按箱边界值平滑49分箱方法用于数据平滑q q 价格数据 价格数据(美元 美元):4,8,9,15,21,21,24,25,26,28,29,34):4,8,9,15,21,21,24,25,26,28,29,34*划分为（等频）箱：划分为（等频）箱：-箱 箱1:4,8,9,15 1:4,8,9,15-箱 箱2:21,21,24,25 2:21,21,24,25-箱 箱3:26,28,29,34 3:26,28,29,34*用箱均值平滑：用箱均值平滑：-箱 箱1:9,9,9,9 1:9,9,9,9-箱 箱2:23,23,23,23 2:23,23,23,23-箱 箱3:29

29、,29,29,29 3:29,29,29,29*用箱的边界平滑：用箱的边界平滑：-箱 箱1:4,4,4,15 1:4,4,4,15-箱 箱2:21,21,25,25 2:21,21,25,25-箱 箱3:26,26,26,34 3:26,26,26,3450聚类n n 可以通过聚类检测异常点n n 每个簇（Cluster）中的数据用其中心值代替n n 落在簇之外的点为异常点，一般情况下可以忽略异常点。51聚类（Clustering）52计算机和人工检查相结合n n 先通过聚类等方法找出异常点。这些异常点可能包含有用的信息。n n 人工再审查这些异常点。53回归n n 通过构造函数来符合数据变化

30、的趋势，这样可以用一个变量预测另一个变量。线性回归线性回归非线性回归非线性回归54xyy=x+1X1Y1Y1数据集成n n 将多个数据源中的数据结合起来存放在一个一致的数据存储（如数据仓库）中。实体识别问题：模式集成和对象匹配实体识别问题：模式集成和对象匹配冗余：某个属性可以由别的属性推出。冗余：某个属性可以由别的属性推出。相关分析与相关性 相关分析与相关性R RA,B.A,B.n nR RA,B A,B0,0,正相关。正相关。A A随 随B B的值得增大而增大 的值得增大而增大n nR RA,B A,B 0,0,不相关。不相关。AB AB无关 无关n nR RA,B A,B0,0,负相关。负

31、相关。A A随 随B B的值得增大而减少 的值得增大而减少 重复 重复 同一数据存储多次 同一数据存储多次数据值冲突的检测和处理数据值冲突的检测和处理55数据变换n n 平滑：去掉数据中的噪声n n 聚集：对数据进行汇总或聚集n n 数据概化：使用概念分层，用高层概念替换低层或“原始”数据。n n 规范化：将属性数据按比例缩放，使之落入一个小的特定区间，例如0,1,-1,1n n 属性构造(特征构造):由给定的属性构造和添加新的属性，以帮助提高精度和对高维数据结构的理解56数据规范化n n最小最大规范化最小最大规范化n n小数定标规范化小数定标规范化n nZ-ScoreZ-Score规范化（规

32、范化（:均值均值,:标准差标准差）57数据规约n n 数据集的压缩表示，但是能和原始数据集达到相同或基本相同的分析结果n n 主要策略:数据立方体聚集数据立方体聚集属性子集选择属性子集选择维规约（通过变换降维）维规约（通过变换降维）数值规约数值规约58属性子集选择删除不相关的属性（维）来减少数据量。删除不相关的属性（维）来减少数据量。找出最小属性集合，使得数据类的概率分布尽找出最小属性集合，使得数据类的概率分布尽可能地接近使用所有属性的原分布可能地接近使用所有属性的原分布如何选取？如何选取？贪心算法贪心算法n n 逐步向前选择 逐步向前选择n n 逐步后向删除 逐步后向删除n n 向前选择和后向删除相结合 向前选择和后向删除相结合n n 决策树归纳 决策树归纳59维规约n n 维规约使用数据编码或变换，以便得到原数据的规约或“压缩”表示。n n 有损，无损n n 小波变换与主成分分析（PCA）n n 小波变换将数据向量将数据向量DD转换成为数值上不同的小波系转换成为数值上不同的小波系数的向量数的向量DD.对对DD进行剪裁，保留小波系数最强的部分。进行剪裁，保留小波系数最强的部分。60