【教学课件】第5章传统数据挖掘技术.ppt

《【教学课件】第5章传统数据挖掘技术.ppt》由会员分享，可在线阅读，更多相关《【教学课件】第5章传统数据挖掘技术.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第 2 章章 计算机局域网集成计算机局域网集成 第5章章 传统数据挖掘技术传统数据挖掘技术 5.1传统的统计分析类数据挖掘技术传统的统计分析类数据挖掘技术 5.2统计分析类工具统计分析类工具 5.3统计分析类工具的应用统计分析类工具的应用 5.4统计分析类工具应用的问题统计分析类工具应用的问题 练习练习 第第 2 章章 计算机局域网集成计算机局域网集成 5.1 传统的统计分析类数据挖掘技术传统的统计分析类数据挖掘技术 5.1.1 统计与统计类数据挖掘技术统计与统计类数据挖掘技术1统计与数据挖掘统计与数据挖掘统计推断分析统计推断分析 2统计类数据挖掘技术统计类数据挖掘技术第第 2 章章 计算机

2、局域网集成计算机局域网集成 5.1 传统的统计分析类数据挖掘技术传统的统计分析类数据挖掘技术 5.1.2 数据的聚集与度量技术数据的聚集与度量技术常用的聚集函数，例如，常用的聚集函数，例如，count（）、（）、sum（）、（）、avg（）、（）、max（）、（）、min（）等（）等 数据中心趋势度量，可以采用算术平均值加权算术平均值。，第第 2 章章 计算机局域网集成计算机局域网集成 5.1.3 柱状图数据挖掘技术柱状图数据挖掘技术，序号姓名年龄收入信用评价性别1王平62一般一般女2李力53一般差男3高洁47高一般女4李强32一般差男5李玲21高优良女6曾前27高一般男7武颖50低优良女8程

3、勇46高优良男9牛兰27低优良女10高程68低优良男第第 2 章章 计算机局域网集成计算机局域网集成 5.1.3 柱状图数据挖掘技术柱状图数据挖掘技术，第第 2 章章 计算机局域网集成计算机局域网集成 5.1.4 线性回归数据挖掘技术线性回归数据挖掘技术，线形回归是最简单的回归形式。双变量回归将一个随机变量Y（称作响应变量）看作为另一个随机变量x（称为预测变量）的线形函数，即Y=+x （5.1）=-第第 2 章章 计算机局域网集成计算机局域网集成 5.1.5 非线性回归数据挖掘技术非线性回归数据挖掘技术，双曲线模型双曲线模型二次曲线模型二次曲线模型对数模型对数模型三角函数模型三角函数模型指数模

4、型指数模型幂函数模型幂函数模型修正指数增长曲线修正指数增长曲线第第 2 章章 计算机局域网集成计算机局域网集成 5.1.6 聚类数据挖掘技术聚类数据挖掘技术，1.聚类分析原理聚类分析原理.年龄80类别1类别2类别3收入6000030000 150000第第 2 章章 计算机局域网集成计算机局域网集成 5.1.6 聚类数据挖掘技术聚类数据挖掘技术，1.聚类分析原理聚类分析原理“孤立点”或“奇异点”“欧几里得距离”“曼哈顿距离”“明考斯基距离”第第 2 章章 计算机局域网集成计算机局域网集成 2.分层聚类分层聚类NumLabel新增率流失率numLabel新增率流失率1江苏0.520.309内蒙古

5、0.160.082山东0.120.1210陕西0.360.103广东0.310.1111广西0.340.104海南0.390.1312吉林0.140.115辽宁0.100.1213湖北0.160.096黑龙江0.180.1214新疆自治区0.260.057江西0.460.1415浙江0.360.158上海0.500.1416第第 2 章章 计算机局域网集成计算机局域网集成 BIRCH算法主要分两个阶段进行：阶段一：扫描数据库，建立一个初始的CF树，看作一个数据的多层压缩，试图保留数据内在的聚类结构。当一个对象被插入到最近的叶节点（子聚类）中时，如果在插入对象后，存储在叶节点中子聚类的直径大于阀

6、值，那么该叶节点被分裂，也可能有其他节点被分裂。新对象插入后，关于该对象的信息向根节点传递。通过修改阀值，CF树的大小可以改变。阶段二：采用某个聚类算法对CF树的叶节点进行聚类。BIRCH算法具有可伸缩性，通过对数据集的首次扫描产生一个基本聚类，二次扫描则进一步改进聚类质量并处理孤立点。BIRCH算法处理速度较快，只是对非球形簇处理效果不好。第第 2 章章 计算机局域网集成计算机局域网集成 CURE算法的主要步骤如下：算法的主要步骤如下：从源数据集中抽取一个随机样本从源数据集中抽取一个随机样本S。将样本将样本S划分为一组划分。划分为一组划分。对每个划分进行局部的聚类。对每个划分进行局部的聚类。

7、通过随机抽样剔除孤立点。如果一个簇增长太通过随机抽样剔除孤立点。如果一个簇增长太慢，就删除该簇。慢，就删除该簇。对局部的簇进行聚类。落在每个新形成的簇中对局部的簇进行聚类。落在每个新形成的簇中的代表点根据用户定义的收缩因子收缩或向簇中的代表点根据用户定义的收缩因子收缩或向簇中心移动。这些点代表了簇的形状。心移动。这些点代表了簇的形状。用相应的簇标签来标记数据。用相应的簇标签来标记数据。第第 2 章章 计算机局域网集成计算机局域网集成 3.划分聚类划分聚类k-平均算法最为简单。每个簇用该簇中对象的平均值来表示。平均算法最为简单。每个簇用该簇中对象的平均值来表示。首先将所有对象随机分配到首先将所有

8、对象随机分配到k个非空的簇中。个非空的簇中。计算每个簇的平均值，并用该平均值代表相应的簇。计算每个簇的平均值，并用该平均值代表相应的簇。根据每个对象与各个簇中心的距离，分配给最近的簇。根据每个对象与各个簇中心的距离，分配给最近的簇。然后转第二步，重新计算每个簇的平均值。这个过程不断重复然后转第二步，重新计算每个簇的平均值。这个过程不断重复直到满足某个准则函数才停止。直到满足某个准则函数才停止。k-中心点算法中心点算法每个簇用接近聚类中心的一个对象来表示。首每个簇用接近聚类中心的一个对象来表示。首先为每个簇选择一个代表对象，剩余的对象根先为每个簇选择一个代表对象，剩余的对象根据其与代表对象的距离

9、分配给最近的一个簇。据其与代表对象的距离分配给最近的一个簇。然后反复用非代表对象代替代表对象，以提高然后反复用非代表对象代替代表对象，以提高聚类的质量。聚类的质量。第第 2 章章 计算机局域网集成计算机局域网集成 4.密度聚类密度聚类DBSCAN算算法法首首先先需需要要用用户户给给定定聚聚类类对对象象的的半半径径-邻邻域域和和-邻邻域域中中最最少少要要包包含含的的对对象象数数MitPts。然然后后算算法法检检查查某某个个对对象象-邻邻域域中中的的对对象象数数，如如果果对对象象数数大大于于MitPts，该该对对象象就就是是核核心心对对象象，就就构构建建以以该该对对象象为为核核心心的的新新簇簇。然

10、然后后反反复复寻寻找找从从这这些些核核心心对对象象出出发发在在-邻邻域域内内的的对对象象，这这个个寻寻找找过过程程可可能能会会合合并并一一些些簇簇，直直到到没没有有新新的的对对象象可可以以添加到任何簇中为止。添加到任何簇中为止。第第 2 章章 计算机局域网集成计算机局域网集成 4.密度聚类密度聚类OPTICS算算法法是是对对DBSCAN算算法法的的改改进进，因因为为在在DBSCAN算算法法中中需需要要用用户户设设定定-邻邻域域和和MitPts，但但是是在在实实际际应应用用中中用用户户往往往往很很难难确确定定这这些些参参数数，而而且且这这些些参参数数设设置置的的不不同同往往往往会会导导致致聚聚类

11、类结结果果有有很很大大差差别别。在在OPTICS算算法法中中认认定定对对象象应应该该以以特特定定的的顺顺序序进进行行处处理理，这这个个顺顺序序首首先先处处理理最最小小的的值值密密度度可可达达的的对对象象，这这样样可可以以首首先先完完成成高高密密度的聚类。度的聚类。第第 2 章章 计算机局域网集成计算机局域网集成 4.密度聚类密度聚类DENCLUE算算法法的的依依据据是是某某个个数数据据点点在在邻邻域域内内的的影影响响可可以以用用一一个个数数学学函函数数来来形形式式化化地地模模拟拟，这这个个函函数数为为影影响响函函数数。所所聚聚类类数数据据空空间间的的整整体体密密度度看看成成是是所所有有数数据据

12、点点影影响响函函数数的的总总和和。在在聚聚类类时时就就根根据据全全局局密密度度函函数数的的局局部部最最大大，即即密度吸引点来确定。密度吸引点来确定。第第 2 章章 计算机局域网集成计算机局域网集成 5.网格聚类网格聚类STING算法将数据空间区域划分为矩形单元，并且对应于不同级别的分辨率，存在着不同级别的矩形单元，高层的每个单元被分为多个低一层的单元，每个网络单元的统计信息被预先计算和存储，供处理和查询使用。第第 2 章章 计算机局域网集成计算机局域网集成 5.网格聚类网格聚类利用STING算法可以自顶向下回答查询：从层次中选定一层（含较少单元的层次）作为查询处理的开始。对当前层次的每个单元计

13、算置信区间，用以反映该网格单元与给定查询的关联程度。当前层次处理完毕，转入下一层次，处理下一层次时只检查处理相关单元。重复以上过程，直到底层处理完毕。如果查询要求满足，就返回相关单元的区域，否则检索和进一步处理相关单元中的数据，直到满足查询要求为止。第第 2 章章 计算机局域网集成计算机局域网集成 5.网格聚类网格聚类WaveCluster方法首先通过在数据空间上强加一个多维网格结构来汇总数据，每个网格单元汇总了一组映射到该单元中的点的信息，然后采用一种小波变换对原特征空间进行变换，汇总信息在进行小波变换时使用，接着在变换后的空间中找到聚类区域。小波变换的聚类是无监督聚类，不用事先假定聚类的形

14、状，可以发现任意形状的聚类，边界弱信号不会被屏蔽，可以剔除孤立点，本身运算开销不大。第第 2 章章 计算机局域网集成计算机局域网集成 5.网格聚类网格聚类基于网格和密度的聚类CLIQUE算法主要步骤是：将数据空间划分为互不相交的长方形单元，记录每个单元中的对象数。用先验性质识别包含簇的子空间。在符合兴趣度的子空间中先找出密集单元，再找出相连接的密集单元，以识别簇。为每个簇生成最小化的描述。第第 2 章章 计算机局域网集成计算机局域网集成 5.1.7 最近邻数据挖掘技术最近邻数据挖掘技术基本概念是：相互之间“接近”的对象具有相似的预测值。如果，你知道了其中一个对象的预测值后，就可以用它来预测其最

15、近的邻居对象。第第 2 章章 计算机局域网集成计算机局域网集成 5.1.7 最近邻数据挖掘技术最近邻数据挖掘技术B年龄CA收入及时支付货款未 及 时 支付货款第第 2 章章 计算机局域网集成计算机局域网集成 5.2 统计分析类工具统计分析类工具5.2.1 统计类数据挖掘工具统计类数据挖掘工具SAS和SPSS 许多数据挖掘工具中都使用了这样一些统计分析过程：决策树推断（C4.5、CART）、规则推断（AQ、CN2、RECON）、最近邻方法、聚类方法、关联规则、特征提取和可视化等。第第 2 章章 计算机局域网集成计算机局域网集成 5.2.2 统计类数据挖掘的商业分析统计类数据挖掘的商业分析统计分析

16、工具已经开始为商业分析人员所采纳和应用统计分析工具已经开始为商业分析人员所采纳和应用 处于知识发现工具和信息处理工具之间的数据挖掘工具 统计类数据挖掘工具可以完成信息的分析处理，并能进一步进行商业活动的统计分析分析员驱动分析员辅助数据驱动信息处理分析处理统计/数据分析知识发现第第 2 章章 计算机局域网集成计算机局域网集成 5.2.3 统计类数据挖掘工具的功能统计类数据挖掘工具的功能1.可视化功能可视化功能2.探索功能探索功能3.统计功能和操作统计功能和操作4.数据管理功能数据管理功能5.显示功能显示功能6.挖掘结果描述功能挖掘结果描述功能7.开发工具开发工具8.可接受的响应时间可接受的响应时

17、间第第 2 章章 计算机局域网集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS第第 2 章章 计算机局域网集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS第第 2 章章 计算机局域网集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS第第 2 章章 计算机局域网集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS1.基本统计分析基本统计分析报告分析通过命令报告分析通过命令“Analyze”“Report”可以启动联可以启动联机分析处理（机分析处理（OLAP Cubes）、观察值摘要分

18、析（）、观察值摘要分析（Cases Summary）、行式摘要报告（）、行式摘要报告（Report Summaries in Rows）和列式摘要报告（）和列式摘要报告（Report Summaries in Columns）等分析。）等分析。描描述述性性统统计计分分析析可可以以通通过过“Analyze”“Descriptive Statistics”启启动动频频数数分分析析（Frequencies）、描描述述形形统统计计量量分分析析（Descriptives）、探探索索分分析析（Explore）和和多多维维频频数数分布列联表（分布列联表（Crosstabs）。）。第第 2 章章 计算机局域网

19、集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS2.回归分析回归分析线性回归分析（线性回归分析（Linear）、曲线回归分析（）、曲线回归分析（Curve Estimation）、二维）、二维logistic回归分析（回归分析（Binary Logistic）、）、多维多维logistic回归分析（回归分析（Multinomial Logistic）、）、Ordinal回回归分析（归分析（Ordinal）、概率单位回归分析（）、概率单位回归分析（Proibit）和非线）和非线性回归分析（性回归分析（Nonlinear）等统计分析。这些回归分析均在）等统计分析。这些

20、回归分析均在“Analyze”“Regression”菜单项中启动。菜单项中启动。3.相关分析相关分析相相关关分分析析（Bivariate）、偏偏相相关关分分析析（Partial）和和距距离离分分析析（Distances）等等数数据据分分析析功功能能。相相关关分分析析的的启启动动需需要要使使用命令用命令“Analyze”“Correlate”。第第 2 章章 计算机局域网集成计算机局域网集成 5.2.4 统计类数据挖掘工具统计类数据挖掘工具SPSS4.分类分析分类分析快快 速速 样样 本本 聚聚 类类（K-Means Cluster）、层层 次次 聚聚 类类（Hierarchical Clus

21、ter）和和判判别别分分类类（Discriminant）。这这些些分分类类方方法法均均可可在在命命令令“Analyze”“Classify”下下启启动。动。5.因子分析因子分析用用“Analyze”“Data Reduction”“Factor”命令可以命令可以进行因子分析。进行因子分析。第第 2 章章 计算机局域网集成计算机局域网集成 5.3 统计分析类工具的应用统计分析类工具的应用5.3.1 趋势分析趋势分析5.3.2 时序分析时序分析5.3.3 周期分析周期分析第第 2 章章 计算机局域网集成计算机局域网集成 5.4 统计分析类工具应用的问题统计分析类工具应用的问题 5.4.1 统计类数

22、据挖掘的预处理问题统计类数据挖掘的预处理问题1.空缺值处理空缺值处理(1)忽略元组忽略元组(2)人工填写空缺值人工填写空缺值(3)使用一个全局变量填充空缺值使用一个全局变量填充空缺值(4)使用属性的平均值填充空缺值使用属性的平均值填充空缺值(5)使用最可能的值填充空缺值使用最可能的值填充空缺值第第 2 章章 计算机局域网集成计算机局域网集成 练习练习 1.在某一数据库中有不同元组值是：12、13、13、15、16、16、16、19、19、22、22、25、25、25、25、25、28、28、28、29、31、31、32、32、32、35、35、36、36、36、37、37、39、39、39、4

23、0、41、44、45、45。该系列数据的count、sum、avg、max、min分别是多少？另外给出其它三个本章没有介绍的常用数据统计度量值。2.给定两个对象分别用元组（22，1，42，10）和（20，0，36，8）描述，计算这两个对象之间的曼哈顿距离、欧几里得距离和明考斯基距离，明考斯基距离的q值为4。第第 2 章章 计算机局域网集成计算机局域网集成 3.聚类是一种重要的数据挖掘技术，请讨论将聚类作为主要数据挖掘方法应用的情况，将聚类作为作为其它数据挖掘的数据准备情况。4.在靠近一个新数据点的20个相邻点中，8个属于m类，11个属于n类，1个属于k类，这个新数据点最有可能属于哪一类。5.对第一题中的数据按照箱平滑方法进行数据平滑处理，箱的深度为3。除本章所介绍的对数据平滑方法外，还有其它哪些数据平滑方法？