数据挖掘章概念描述特征化与比较.ppt

《数据挖掘章概念描述特征化与比较.ppt》由会员分享，可在线阅读，更多相关《数据挖掘章概念描述特征化与比较.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据挖掘章概念描述特征化与比较 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望特征化和比较特征化和比较n什么是概念描述什么是概念描述?n数据概化和基于汇总的特征化数据概化和基于汇总的特征化n解析特征化解析特征化:分析属性之间的关联性分析属性之间的关联性n挖掘类比较挖掘类比较:获取不同类之间的不同处获取不同类之间的不同处n在大型数据库中挖掘描述统计度量在大型数据库中挖掘描述统计度量n讨论讨论n总结总结2022/11/132什么是概念描述什么是概念描述?n描述性 vs

2、.预测性 数据挖掘n描述性数据挖掘描述性数据挖掘:n预测性数据挖掘预测性数据挖掘:n概念描述:n特征化特征化:对所选择的数据集给出一个简单明了的描述，汇总n比较比较:提供对于两个或多个数据集进行比较的描述2022/11/133概念描述和概念描述和OLAPOLAP区别区别n概念描述:n 能够处理复杂的数据类型和各种汇总方法n 更加自动化nOLAP:OLAP:n只能限制于少量的维度和数据类型n用户控制的流程2022/11/134特征化和比较特征化和比较n什么是概念描述?n数据概化和基于汇总的特征化数据概化和基于汇总的特征化n分析特征化:分析属性之间的关联性n挖掘类比较:获取不同类之间的不同处n在大

3、型数据库中挖掘描述统计度量n讨论n总结2022/11/135数据概化和基于汇总的特征化数据概化和基于汇总的特征化n数据概化n将大量的相关数据从一个较低的概念层次抽象、转化到一个比较高的层次n方法:nOLAP方法：n面向属性的归纳2022/11/136OLAPOLAP方法方法n在数据立方体上进行计算和存储结果n优点n效率高n能够计算多种汇总n如：count,average,sum,min,maxn还可以使用roll-down和roll-up操作n限制n只能处理非数值化数据和数值数据的简单汇总。n只能分析，不能自动的选择哪些字段和相应的概念层次2022/11/137面向属性的归纳nKDD Work

4、shop(89)中提出n不限制于种类字段和特定的汇总方法n方法介绍：n使用SQL等收集相关数据n通过数据属性值删除和属性值概化来实现概化n聚集通过合并相等的广义元组，并累计他们对应的计数值进行n和使用者之间交互式的呈现方式.2022/11/138基本方法基本方法n数据聚焦数据聚焦:选择和当前分析相关的数据，包括维。n属性删除属性删除:如果某个属性包含大量不同值，但是 1)在该属性上没有概化操作，或者2）它的较高层概念用其它属性表示。n属性概化属性概化:如果某个属性包含大量不同值，同时在该属性上有概化操作符，则运用该操作符进行概化。n属性阈值控制属性阈值控制:typical 2-8,specif

5、ied/default.n概化关系阈值控制概化关系阈值控制:控制最终关系的大小2022/11/139基本算法基本算法nInitialRelInitialRel:得到相关数据，形成初始关系表nPreGen:通过统计不同属性的含有的不同值的个数决定是丢弃该属性还是对其进行汇总。nPrimeGen:根据上一步的计算结果，对属性概化到相应的层次，计算汇总值，得到主概化关系。n结果的表示结果的表示:概化关系、交叉表、3D立方体2022/11/1310示例示例nDMQL:use Big_University_DBmine characteristics as“Science_Students”in rel

6、evance to name,gender,major,birth_place,birth_date,residence,phone#,gpafrom studentwhere status in“graduate”n相应的相应的SQL:SQL:Select name,gender,major,birth_place,birth_date,residence,phone#,gpafrom studentwhere status in“Msc”,“MBA”,“PhD”2022/11/1311类特征化：示例类特征化：示例Prime Generalized RelationInitial Relat

7、ion2022/11/1312概化结果的表示概化结果的表示n概化关系:n一个表格，其中有属性字段，后附汇总方法。n交叉表:n二维交叉表n可视化方法:nPie charts,bar charts,curves,cubes,and other visual forms.n量化特征规则:(上表与上表与136页例页例4.26)2022/11/1313表达方式表达方式-概化关系概化关系(133页例页例4.22)2022/11/1314表达方式表达方式交叉表交叉表(133页例页例4.23)2022/11/1315使用使用CubeCube技术进行实现技术进行实现n对给定的数据动态创建数据立方体：对给定的数据

8、动态创建数据立方体：n便于有效的下钻操作n可能增加响应时间n解决方法：实现存储一些较高层次的统计信息。n使用预定义的数据立方体：使用预定义的数据立方体：n预先构建数据立方体nCube计算的花费和额外的存储空间2022/11/1316特征化和比较n什么是概念描述?n数据概化和基于汇总的特征化n分析特征化分析特征化:分析属性之间的关联性分析属性之间的关联性n挖掘类比较:获取不同类之间的不同处n在大型数据库中挖掘描述统计度量n讨论n总结2022/11/1317属性相关性分析属性相关性分析nwhy?n哪些维需要包括?n需要概化到什么层次?n减少属性；从而容易理解模型结果nWhat?n使用统计的方法进行

9、数据预处理n过滤掉一些不相关或者相关性比较弱的字段n保留并对相关属性进行排序n相关性和维度、层次有关n分析特征化，分析比较 2022/11/1318属性相关性分析属性相关性分析n步骤：n数据收集n使用保守的AOI进行预相关分析n相关性分析，删除不相关和弱相关属性n使用AOI产生概念描述2022/11/1319相关性度量标准相关性度量标准n相关性度量标准决定了如何对属性进行判断的标准n方法n信息增益information gain(ID3)n增益比gain ratio(C4.5)nGini索引gini indexn不确定性n相关系数2022/11/1320Entropy 和 Informatio

10、n Gainn集合S中类别Ci的记录个数是si 个 i=1,m n期望信息n属性A的熵是n信息增益2022/11/1321一个例子一个例子(131页例页例5.9)n任务n使用分析特征化来了解研究生的一般特征n属性名称 gender,major,birth_place,birth_date,phone#,and gpanGen(ai)=concept hierarchies on ainUi=attribute analytical thresholds for ainTi=attribute generalization thresholds for ainR=attribute releva

11、nce threshold2022/11/1322例子：分析特征化（续）例子：分析特征化（续）n1.数据收集ntarget class:graduate studentncontrasting class:undergraduate studentn2.使用 Ui分析概化n属性删除nremove name and phone#n属性概化n generalize major,birth_place,birth_date and gpanaccumulate countsn候选关系:gender,major,birth_country,age_range and gpa2022/11/1323例子

12、：分析特征化例子：分析特征化(2)(2)Candidate relation for Target class:Graduate students(=120)Candidate relation for Contrasting class:Undergraduate students(=130)2022/11/1324例子：分析特征化例子：分析特征化(3)(3)n3.相关性分析n计算期望信息n计算每个属性的熵Number of grad students in“Science”Number of undergrad students in“Science”2022/11/1325例子：分析特征

13、化例子：分析特征化(4)(4)n得出每个属性的熵n计算每个属性的Information GainnInformation gain for all attributes2022/11/1326例子：分析特征化例子：分析特征化(5)(5)n4.Initial working relation(W0)derivationnR=0.1n删除不相关或者弱相关的属性=drop gender,birth_countryn删除比较类的关系n5.在W0进行AOI分析Initial target class working relation W0:Graduate students2022/11/1327特征化

14、和比较n什么是概念描述?n数据概化和基于汇总的特征化n分析特征化:分析属性之间的关联性n挖掘类比较挖掘类比较:获取不同类之间的不同处获取不同类之间的不同处n在大型数据库中挖掘描述统计度量n讨论n总结2022/11/1328挖掘类比较挖掘类比较n比较:比较两个或者更多类.n方法:n将相关的数据分成目标类和比较类。n将两个类别的数据概化到相同的层次。n用相同层次的描述对元组进行比较。n对于每个元组展现其描述和两个衡量标准:nsupport-distribution within single classncomparison-distribution between classesn将差异很大的元

15、组特别显示出来n相关性分析:n发现最能体现类别之间差异的属性.2022/11/1329例子：分析性比较例子：分析性比较(133页例页例5.10)nTaskn使用区别规则来分析本科生和研究生nDMQL queryuse Big_University_DBmine comparison as“grad_vs_undergrad_students”in relevance to name,gender,major,birth_place,birth_date,residence,phone#,gpafor“graduate_students”where status in“graduate”vers

16、us“undergraduate_students”where status in“undergraduate”analyze count%from student2022/11/1330例子：分析性比较例子：分析性比较(2)(2)n条件：nattributes name,gender,major,birth_place,birth_date,residence,phone#and gpanGen(ai)=concept hierarchies on attributes ainUi=attribute analytical thresholds for attributes ainTi=at

17、tribute generalization thresholds for attributes ainR=attribute relevance threshold2022/11/1331例子：分析性比较例子：分析性比较(3)(3)n1.数据收集n目标类和比较类n2.属性相关性分析nremove attributes name,gender,major,phone#n3.同步概化ncontrolled by user-specified dimension thresholdsnprime target and contrasting class(es)relations/cuboids20

18、22/11/1332例子：分析性比较例子：分析性比较(4)(4)Prime generalized relation for the target class:Graduate studentsPrime generalized relation for the contrasting class:Undergraduate students2022/11/1333例子：分析性比较例子：分析性比较(5)(5)n4.在目标和比较类别上，Drill down,roll up and other OLAP operations，确定概化层次.n5.展现方式n generalized relation

19、s,crosstabs,bar charts,pie charts,or rulesn比较性的度量，以体现目标类和比较类之间的差别ne.g.count%2022/11/1334量化区分规则量化区分规则nCj=目标类nqa=概化元组n也覆盖比较类别的元组nd-weightn范围:0,1n量化区别规则2022/11/1335例子例子:量化区别规则量化区别规则n量化区别规则(135页例页例5.11)nwhere 90/(90+120)=30%Count distribution between graduate and undergraduate students for a generalized

20、 tuple2022/11/1336类别描述类别描述n量化特征规则n必要n量化区别规则n充分n量化描述规则n必要和充分2022/11/1337例子例子:量化描述规则量化描述规则(136页例页例5.13)n对于目标类Europe的量化描述规则(137页例页例5.14)Crosstab showing associated t-weight,d-weight values and total number(in thousands)of TVs and computers sold at AllElectronics in 19982022/11/1338特征化和比较n什么是概念描述?n数据概化和

21、基于汇总的特征化n分析特征化:分析属性之间的关联性n挖掘类比较:获取不同类之间的不同处n在大型数据库中挖掘描述统计度量在大型数据库中挖掘描述统计度量n讨论n总结2022/11/1339挖掘数据散布特征挖掘数据散布特征n动机n更好的了解数据:集中趋势,差别 和 分布n数据散布特征 nmedian,max,min,quantiles,outliers,variance,等.2022/11/1340衡量中心趋势衡量中心趋势n平均值n带权平均n中位数:一个整体度量n如果是奇数，则为中间数，偶数则为中间两数的平均n用插值的方法进行估计n模n出现次数最多的值nUnimodal,bimodal,trimod

22、alnEmpirical formula:2022/11/1341衡量离散趋势衡量离散趋势n四分位数四分位数,异常异常 和和 盒图盒图n四分位数四分位数:Q1(25th percentile),Q3(75th percentile)n中间四分位区间中间四分位区间:IQR=Q3 Q1 n五数概括五数概括:min,Q1,M,Q3,maxn盒图盒图:ends of the box are the quartiles,median is marked,whiskers,and plot outlier individuallyn异常异常:usually,a value higher/lower tha

23、n 1.5 x IQRn方差和标准差nVariance s2:(algebraic,scalable computation)nStandard deviation s is the square root of variance s22022/11/1342 盒图分析盒图分析n五数概括五数概括:Minimum,Q1,M,Q3,Maximumn盒图盒图n数据用盒子的形式表现n盒子的两端分别是两个分位数，i.e.,the height of the box is IRQn中位数用一条线来表示。n延长线:从盒子延长到最大和最小值2022/11/1343A BoxplotA boxplot2022/

24、11/1344数据分布的可视化：盒图分析数据分布的可视化：盒图分析2022/11/1345在大型数据库中挖掘统计信息在大型数据库中挖掘统计信息n方差方差n标准差标准差:方差的平方根n衡量分散程度n当且仅当所有值一样的时候为0。n方差和标准差都是代数的2022/11/1346直方图（频率直方图）直方图（频率直方图）n图形化表示类描述的基本统计信息n频率直方图2022/11/1347分位数图分位数图2022/11/1348分位数分位数-分位数分位数(Q-Q)(Q-Q)图图2022/11/1349散布图散布图2022/11/1350Loess Loess 曲线曲线2022/11/1351图形化的表示

25、基本统计描述图形化的表示基本统计描述n直方图直方图:n盒图盒图:n分位数图分位数图:each value xi is paired with fi indicating that approximately 100 fi%of data are xi n分位数分位数-分位数图分位数图(q-q):graphs the quantiles of one univariant distribution against the corresponding quantiles of anothern散布图散布图:each pair of values is a pair of coordinates a

26、nd plotted as points in the planenLoess(local regression)Loess(local regression)曲线曲线:add a smooth curve to a scatter plot to provide better perception of the pattern of dependence2022/11/1352特征化和比较n什么是概念描述?n数据概化和基于汇总的特征化n分析特征化:分析属性之间的关联性n挖掘类比较:获取不同类之间的不同处n在大型数据库中挖掘描述统计度量n讨论讨论n总结2022/11/1353面向属性的归纳 vs.示例学习方法n原理和基本假设的不同n机器学习：正负样本。n概念描述：只有正样本。n训练样本集的大小n机器学习：训练样本集小n概念描述：训练样本集大。n概化方法的不同n机器学习：按照元组概化n概念描述：按照属性概化2022/11/1354特征化和比较特征化和比较n什么是概念描述?n数据概化和基于汇总的特征化n分析特征化:分析属性之间的关联性n挖掘类比较:获取不同类之间的不同处n在大型数据库中挖掘描述统计度量n讨论n总结2022/11/1355