数据挖掘概念与技术————.pptx

《数据挖掘概念与技术————.pptx》由会员分享，可在线阅读，更多相关《数据挖掘概念与技术————.pptx（103页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章数据及数据预处第二章数据及数据预处理理滕少华滕少华Tel：E-mail：第1页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述数据的汇总（为数据预处理提供分描述数据的汇总（为数据预处理提供分析的基础）析的基础）数据清理数据清理数据集成和变换数据集成和变换数据归约数据归约相似度计算相似度计算14 二月 20232第2页/共103页数据及数据类型n相关概念相关概念n数据数据n狭义：数字狭义：数字 。n广义：数据对象及其属性的集合，其表现形式可广义：数据对象及其属性的集合，其表现形式可以是数字、符号、文字、图像抑或是计算机代码以是数字、符号、文

2、字、图像抑或是计算机代码等等。等等。n属性属性n(也称为特征、维或字段也称为特征、维或字段)，是指一个对象的某方，是指一个对象的某方面性质或特性。一个对象通过若干属性来刻画。面性质或特性。一个对象通过若干属性来刻画。n数据集数据集n数据对象的集合数据对象的集合14 二月 20233第3页/共103页4属性属性包含电信客户信息的样本数据包含电信客户信息的样本数据集集案例客户编号客户类别行业大类通话级别通话总费用N22011002518大客户采矿业和一般制造业市话16352C14004839358商业客户批发和零售业市话国内长途(含国内IP)27891N22004895555商业客户批发和零售业市

3、话国际长途(含国际IP)631243221026196大客户科学教育和文化卫生市话国际长途(含国际IP)53057D14004737444大客户房地产和建筑业市话国际长途(含国际IP)80827对象对象14 二月 2023第4页/共103页属性类型描述例子分类的(定性的)标称其属性值只提供足够的信息以区分对象。这种属性值没有实际意义。如三个对象可以用A,B,C区分，也可以用甲,乙.丙区分颜色、性别、产品编号。序数其属性值提供足够的信息以区分对象的序。成绩等级(优、良、中、及格、不及格)、年级(一年级、二年级、三年级、四年级)数值的(定量的)区间其属性值之间的差是有意义的。日历日期、摄氏温度比率

4、其属性值之间的差和比率都是有意义的。长度、时间和速度不同的属性类型14 二月 20235第5页/共103页6数据集的特性数据集的特性维度维度指数据集中的对象具有的属性个数总和。因为在高维度数据集中经常会遇到维度灾难，因此数 据预处理的一个重要技术是维归约维归约稀疏性稀疏性指在某些数据集中，有意义的数据非常少，对象在大部分属性上的取值为0；非零项不到1%。文本数据集分辨率分辨率(粒度粒度)不同分辨率或粒度下数据的性质不同14 二月 2023第6页/共103页7数据集的类型数据集的类型记录数据记录数据事务数据或购物篮数据数据矩阵文本数据基于图形的数据基于图形的数据万维网化合物结构有序数据有序数据时

5、序数据（时态数据）序列数据时间序列数据空间数据流数据14 二月 2023第7页/共103页8记录数据记录数据事事务务数数据据(Transaction(Transaction Data)Data)是是一一种种特特殊殊类类型型的的记记录录数数据据，其其中中每每个个记记录录涉涉及及一一个个项项的的集合。集合。事务ID商品的ID列表T100Bread，Milk，BeerT200Soda，cup，Diaper典型的事务数据如超市零售数据，顾客一次购物所购买的商品的集合就构成一个事务，而购买的商品就是项。这种类型的数据也称作购物篮数据,因为记录中的每一项都是一位顾客“购物篮”中购买的商品。14 二月 20

6、23第8页/共103页9数据矩阵数据矩阵如果一个数据集簇中的所有数据对象都具有相同的数如果一个数据集簇中的所有数据对象都具有相同的数值属性集，则数据对象可以看作多维空间中的点，其值属性集，则数据对象可以看作多维空间中的点，其中每个维代表描述对象的一个不同属性。中每个维代表描述对象的一个不同属性。数据集可以用一个数据集可以用一个mnmn的矩阵表示，其中的矩阵表示，其中m m行，一个对行，一个对象一行；象一行；n n列，一个属性一列。列，一个属性一列。14 二月 2023第9页/共103页10文本数据文本数据文档用词向量表示文档用词向量表示每个词是向量的一个分量每个词是向量的一个分量(属性属性)每

7、个分量的值是对应词在文档中出现的次数每个分量的值是对应词在文档中出现的次数14 二月 2023第10页/共103页11图形数据图形数据网页链接化合物结构14 二月 2023第11页/共103页有序数据有序数据时序数据（时态数据如工资，职称等）序列数据（序列数据库S是元组的集合，其中SID是序列ID，s是一个序列）时间序列数据（由不同时间重复测量得到的值。）.事物时间顾客ID购买商品t1110,20t2240,60,90t3140t4310,20顾客ID购买商品12314 二月 202312第12页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述

8、数据的汇总（为数据预处理提供分描述数据的汇总（为数据预处理提供分析的基础）析的基础）数据清理数据清理数据集成和变换数据集成和变换数据归约数据归约相似度计算相似度计算14 二月 202313第13页/共103页为什么进行数据预处理?现实中的数据都是杂乱无章的不完整的不完整的：有些感兴趣的属性缺少属性值，或仅包有些感兴趣的属性缺少属性值，或仅包含聚集数据含聚集数据含噪声的含噪声的:包含错误或孤立点值包含错误或孤立点值不一致的不一致的:在代码或名称上存在差异在代码或名称上存在差异例例1 1：过去的等级：过去的等级：“1,2,31,2,3”,现在的等级：现在的等级：“A,A,B,CB,C”例例2 2：

9、Age=Age=“4848”Birthday=Birthday=“03/07/196303/07/196314 二月 202314第14页/共103页n不完整数据的成因n数据收集的时候就缺乏合适的值n数据收集时和数据分析时的不同考虑因素n人为/硬件/软件 问题n噪声数据（不正确的值）的成因n数据收集工具的问题n数据输入时的人为/计算机 错误n数据传输中产生的错误n数据不一致性的成因n不同的数据源n违反了函数依赖性数据为什么会变脏数据为什么会变脏14 二月 202315第15页/共103页数据预处理为什么重要？没有高质量的数据，就没有高质量的挖掘结果没有高质量的数据，就没有高质量的挖掘结果有质量

10、的决定必须建立在有质量的数据上有质量的决定必须建立在有质量的数据上例：重复值或者空缺值将会产生不正确的或者令人误导的统计数据仓库需要对高质量的数据进行一致地集成数据仓库需要对高质量的数据进行一致地集成数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤个步骤14 二月 202316第16页/共103页数据质量的多方位度量数据质量的多方位度量一个广为认可的数据质量多维度量观点：一个广为认可的数据质量多维度量观点：精确度完整度一致性合乎时机可信度附加价值可解释性跟数据本身的含义相关的跟数据本身的含义相关的内在的、

11、上下文的、表象的以及可访问性14 二月 202317第17页/共103页数据预处理的主要任务数据预处理的主要任务数据清理数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，并解决不一填写空缺的值，平滑噪声数据，识别、删除孤立点，并解决不一致致数据集成数据集成合并多个数据源中的数据，即将多数据库，数据立方体或文件的合并多个数据源中的数据，即将多数据库，数据立方体或文件的数据集成到一个数据仓库中数据集成到一个数据仓库中数据变换数据变换规格化规格化（将数据按比率映射到一个特定的区间）和（将数据按比率映射到一个特定的区间）和聚集聚集（如由季（如由季销售额聚集得到年销售额）销售额聚集得到年销售额）数据

12、归约数据归约得到数据集的压缩表示，它小的多，但能够产生相同或相似的分得到数据集的压缩表示，它小的多，但能够产生相同或相似的分析结果析结果数据离散化数据离散化数据归约的一部分，通过概念分层和数据的离散化来规约数据，数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要对数字型数据特别重要14 二月 202318第18页/共103页数据预处理的形式数据集的压缩表示，它小的多，但能够产生相同或相似的分析结果数据清理数据集成数据变换数据归约脏数据“干净”数据-2，32，100，59，48-0.02,0.32,1.00,0.59,0.48T1T2T2000A1A2A3A126T1T

13、3T1456A1A3A115填写空缺的值，平滑噪声数据，识别、删除孤立点，并解决不一致将多数据库，数据立方体或文件的数据集成到一个数据仓库中将数据按比率映射到一个特定的区间14 二月 202319第19页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述数据的汇总（为数据预处理提供分描述数据的汇总（为数据预处理提供分析的基础）析的基础）数据清理数据清理数据集成和变换数据集成和变换数据归约数据归约相似度计算相似度计算14 二月 202320第20页/共103页数据汇总数据汇总（为数据预处理提供分析的基础）（为数据预处理提供分析的基础）动机：为了更好

14、的理解数据动机：为了更好的理解数据获得数据的总体印像识别数据的典型特征凸显噪声或离群点对于数据挖掘任务，用户经常关心的数据特对于数据挖掘任务，用户经常关心的数据特征包括数据的中心趋势和离散特征征包括数据的中心趋势和离散特征度量数据的中心趋势度量数据的中心趋势均值(mean)、中位数(median)、众数（模mode）、中列数(midrange)度量数据的离散程度度量数据的离散程度极差、方差、四分位数极差等14 二月 202321第21页/共103页度量数据的中心趋势（1）n算术平均值n加权算术平均14 二月 202322第22页/共103页截断均值截断均值 尽管均值是描述数据集的最有用的单个量

15、，但不总尽管均值是描述数据集的最有用的单个量，但不总是度量数据中心的最好方法。是度量数据中心的最好方法。均值的主要问题是对均值的主要问题是对于极端值（如离群值）很敏感。即使少量极端值也于极端值（如离群值）很敏感。即使少量极端值也可能影响均值。可能影响均值。例如，公司的平均工资可能被少数高报酬的老总的例如，公司的平均工资可能被少数高报酬的老总的工资显著抬高。类似地，班级的考试平均成绩可能工资显著抬高。类似地，班级的考试平均成绩可能因为少数几个非常低的成绩而降低相当多。因为少数几个非常低的成绩而降低相当多。为了抵销少数极端值的影响，我们可以使用截断均为了抵销少数极端值的影响，我们可以使用截断均值（

16、值（trimmed meantrimmed mean）。）。度量数据的中心趋势（2）14 二月 202323第23页/共103页截断均值截断均值:是去掉高、低极端值得到的均值。是去掉高、低极端值得到的均值。指定0和100间的百分位数p，丢弃高端和低端(p/2)%的数据，然后用常规方法计算均值，所得的结果即是截断均值。例：计算1,2,3,4,5,90值集的均值，中位数和p=40%的截断均值.解：均值是17.5，中位数是3.5，p=40%时的截断均值也是3.5 度量数据的中心趋势（3）14 二月 202324第24页/共103页度量数据的中心趋势（4）中位数中位数:对于倾斜的（非对称的）数据，数据

17、中心的一个对于倾斜的（非对称的）数据，数据中心的一个较好度量是中位数。设给定的较好度量是中位数。设给定的N N个不同值的数据个不同值的数据集按数值序排序。如果集按数值序排序。如果N N是奇数，则中位数是有是奇数，则中位数是有序集的中间值；否则（即，如果序集的中间值；否则（即，如果N N是偶数），中是偶数），中位数是中间两个值的平均值位数是中间两个值的平均值。14 二月 202325第25页/共103页度量数据的中心趋势（度量数据的中心趋势（5 5）众数（众数（ModeMode，也叫，也叫模模）：集合中出现频率最）：集合中出现频率最高的值高的值单峰的（单峰的（unimodalunimodal，也

18、叫单模态）、双峰的，也叫单模态）、双峰的（bimodalbimodal）、三峰的（）、三峰的（trimodaltrimodal）；多峰的）；多峰的（multimodalmultimodal）对于适度倾斜（非对称的）的单峰频率曲线，可以对于适度倾斜（非对称的）的单峰频率曲线，可以使用以下经验公式计算众数使用以下经验公式计算众数中列数（中列数（midrange):midrange):是数据集的最大和最小是数据集的最大和最小值的平均值。值的平均值。均值均值 众数众数 中位数中位数 14 二月 202326第26页/共103页n对称与正倾斜、负倾斜数据的中位数、均值和众数14 二月 202327第27

19、页/共103页对于倾斜的（非对称的）数据，数据中心的一个较好度量是中位数。对于完全对称的数据分布中，均值、中位数具有相同的值。14 二月 202328第28页/共103页度量数据的离散度-1极差和方差是值集的散布度量，表明属性值是否散布很宽，或者是否相对集中在单个点(如均值)附近最简单的散布度量是极差，即最大值和最小值之差假设属性x具有m个值 ,其极差定义为：range(x)=max(x)-min(x)=x(m)-x(1)方差(variance)定义如下:14 二月 202329第29页/共103页30数据离散度度量-2因为方差用到了均值，而均值容易被离群值扭曲，所以方差对离群值很敏感。更加稳

20、健的值集散布估计方法：四分位数极差(IQR)14 二月 202330第30页/共103页14 二月 202331第31页/共103页n盒图：数据分布的一种直观表示，在典型情况下，在盒图中：n端点在四分位数上，使得盒图的长度是IQRIQRn中位数M M 用盒内的线标记n胡须延伸到最大最小观测值 当处理数量适中的观测值时，值得个别地绘出潜在的离群点。在盒图中这样做：仅当这些值超过四分位数不到1.5IQR 1.5IQR 时，胡须扩展到最高和最低观测值。否则，胡须出现在四分 位数的1.5IQR1.5IQR之内的最极端的观测值处终止。剩下的情况 个别地绘出。盒图分析盒图分析-1-114 二月 20233

21、2第32页/共103页n图中出在给定的时间段，AllElectronicsAllElectronics的4 4个分店销售的商品单价数据的盒图。n对于分店1 1，n中位数是8080美元，nQ1Q1是6060美元，nQ3Q3是100100美元。n两个边远的观测值个别 地绘制，因为它们的 值175175和202202超过 IQRIQR的1.51.5倍，这里1.5IQR=1.5*40=601.5IQR=1.5*40=60。盒图分析盒图分析-2-214 二月 202333第33页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述数据的汇总（为数据预处理提供

22、分描述数据的汇总（为数据预处理提供分析的基础）析的基础）数据清理数据清理数据集成和变换数据集成和变换数据归约数据归约相似度计算相似度计算14 二月 202334第34页/共103页 数据清理数据清理的任务填写空缺值识别孤立点和平滑噪声数据纠正不一致数据14 二月 202335第35页/共103页空缺值数据出现空缺值的原因数据出现空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时，有些数据应为得不到重视而没有被输入对数据的改变没有进行日志记载14 二月 202336第36页/共103页怎样处理空缺数据?忽略元组：忽略元组：当属性值缺少的元组数不多时可用这种方法，否

23、当属性值缺少的元组数不多时可用这种方法，否则该方法不是很有效，则该方法不是很有效，因为如果这样的元组数很多的话，就因为如果这样的元组数很多的话，就会删除很多的记录。会删除很多的记录。人工填写空缺值：该方法很繁琐，可能行不通人工填写空缺值：该方法很繁琐，可能行不通使用一个全局常量填写空缺值：例如：每个空缺值都用使用一个全局常量填写空缺值：例如：每个空缺值都用“unknownunknown”替代替代!如果缺失值都用如果缺失值都用“unknownunknown”替代替代,则挖掘则挖掘程序可能误认为形成了一个有趣的概念，因此该方法不十分程序可能误认为形成了一个有趣的概念，因此该方法不十分可靠。可靠。使

24、用属性的平均值填写空缺值，使用属性的平均值填写空缺值，如：假定顾客的平均收入为如：假定顾客的平均收入为5600056000美元，则使用该平均值替换美元，则使用该平均值替换incomeincome的缺失值的缺失值使用与给定元组属同一类的所有样本的平均值使用与给定元组属同一类的所有样本的平均值,例如：将顾客例如：将顾客按按credit_riskcredit_risk分类，则用具有相同信用度给定元组的平均收分类，则用具有相同信用度给定元组的平均收入替换入替换incomeincome的缺失值的缺失值使用最有可能的值填充空缺值使用最有可能的值填充空缺值:使用贝叶斯形式化方法和决策使用贝叶斯形式化方法和决

25、策树等树等.14 二月 202337第37页/共103页噪声数据噪声：一个测量变量中的随机错误和偏差噪声：一个测量变量中的随机错误和偏差造成错误属性值的原因：造成错误属性值的原因：错误的数据收集手段错误的数据收集手段数据输入问题数据输入问题数据传输问题数据传输问题技术限制技术限制命名习惯的不一致命名习惯的不一致14 二月 202338第38页/共103页怎样处理噪声数据？分箱方法分箱方法:首先把数据排序，把排序后数据分到等深的箱中首先把数据排序，把排序后数据分到等深的箱中接着，用接着，用按箱中值平滑、按箱平均值平滑、按箱边界平滑等平滑技术平滑数据按箱中值平滑、按箱平均值平滑、按箱边界平滑等平滑

26、技术平滑数据聚类聚类探测和删除孤立点探测和删除孤立点计算机和人工检查结合计算机和人工检查结合计算机先探测到可疑值，然后进行人工检查计算机先探测到可疑值，然后进行人工检查回归回归通过让数据来适合一个回归函数，进行平滑数据通过让数据来适合一个回归函数，进行平滑数据14 二月 202339第39页/共103页分箱分箱法包括等宽分箱，等深（等频）分箱，我们在这里主要介绍等深（等频）分箱。分箱法包括等宽分箱，等深（等频）分箱，我们在这里主要介绍等深（等频）分箱。等深（等频）分箱法等深（等频）分箱法:它把区域划分为它把区域划分为N N个间隔，每个间隔大约包含了等数量的样本个间隔，每个间隔大约包含了等数量的

27、样本14 二月 202340第40页/共103页数据平滑的分箱方法如：如：price price 的排序后数据(美元):4,8,9,15,):4,8,9,15,21,21,24,25,26,28,29,3421,21,24,25,26,28,29,34划分为（等深的）箱划分为（等深的）箱-箱1:4,8,9,151:4,8,9,15-箱2:21,21,24,252:21,21,24,25-箱3:26,28,29,343:26,28,29,34用箱平均值平滑用箱平均值平滑:-箱1:9,9,9,91:9,9,9,9-箱2:23,23,23,232:23,23,23,23-箱3:29,29,29,29

28、3:29,29,29,29用箱边界值平滑用箱边界值平滑:-Bin 1:4,4,4,15-Bin 1:4,4,4,15-Bin 2:21,21,25,25-Bin 2:21,21,25,25-Bin 3:26,26,26,34-Bin 3:26,26,26,3414 二月 202341第41页/共103页聚类分析通过聚类分析检测离群点，消除噪声通过聚类分析检测离群点，消除噪声聚类将类似的值聚成簇。直观的，落在簇集合之聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点外的值被视为离群点14 二月 202342第42页/共103页计算机和人工检查结合计算机检测可疑数据，然后对它们进行人工判

29、断 例如：在针对银行信用欺诈行为的探测中，例如：在针对银行信用欺诈行为的探测中，计算机将差异程度大于阈值计算机将差异程度大于阈值的模式记录到一个表中，再通过人工审查表中的模式可以识别孤立点。的模式记录到一个表中，再通过人工审查表中的模式可以识别孤立点。14 二月 202343第43页/共103页回归可以用一个函数（如回归函数）拟合数据来光滑数可以用一个函数（如回归函数）拟合数据来光滑数据。据。14 二月 202344第44页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述数据的汇总（为数据预处理提供分描述数据的汇总（为数据预处理提供分析的基础）

30、析的基础）数据清理数据清理数据集成和变换数据集成和变换数据归约数据归约相似度计算相似度计算14 二月 202345第45页/共103页数据集成将多个数据源中的数据结合起来存放将多个数据源中的数据结合起来存放在一个一致的数据存储（数据仓库）在一个一致的数据存储（数据仓库）中。这些数据源可能包括多个数据库，中。这些数据源可能包括多个数据库，数据立方体或一般文件数据立方体或一般文件14 二月 202346第46页/共103页在数据集成要考虑的问题在数据集成要考虑的问题在数据集成时，有许多问题需要考虑，数据一致性和冗余是两个重要问题。在数据集成时，有许多问题需要考虑，数据一致性和冗余是两个重要问题。数

31、据一致性数据一致性:不同表中可能使用不同名称来指示同一属性，正如一个人有多个不同的别名或不同的人拥有相同的名字，这样将导致数据的不一致或冲突。冗余冗余:一个属性是冗余的，如果它能由表中其它属性列“导出”；如工资表中的应发工资、应扣部分、实发工资都是由其它属性导出。由属性或维命名的不一致也可能导致数据集中的冗余。14 二月 202347第47页/共103页数据集成的举例应用A 长度 cm应用B 长度 inches 应用C 长度 mcf应用D 长度 yds cm14 二月 202348第48页/共103页数据值冲突的检测和处理：数据值冲突的检测和处理：对同一现实世界的对同一现实世界的实体，来自于不

32、同数据源的属性值可能是不同的实体，来自于不同数据源的属性值可能是不同的,原因：原因：不同的数据表示，不同的度量等等不同的数据表示，不同的度量等等 如重量属性可能在一个系统中按公制单位存放如重量属性可能在一个系统中按公制单位存放,而在另一而在另一系统中按英制单位存放系统中按英制单位存放.数据在语义上的差异是数据集成数据在语义上的差异是数据集成经常遇见的问题经常遇见的问题.解决冲突的简单办法是指定某一系统在冲突中占主要地位解决冲突的简单办法是指定某一系统在冲突中占主要地位.在数据集成时要考虑的问题（续）在数据集成时要考虑的问题（续）14 二月 202349第49页/共103页数据变换平滑：平滑：去

33、掉数据中的噪声去掉数据中的噪声聚集：聚集：汇总，数据立方体的构建，例如汇总，数据立方体的构建，例如:可以聚集日销售数据可以聚集日销售数据,计计算月和年销售额。通常可用来为多粒度数据分析构建数据立方体。算月和年销售额。通常可用来为多粒度数据分析构建数据立方体。数据泛化数据泛化：沿概念分层向上汇总沿概念分层向上汇总规范化规范化：将属性数据按比例缩放，使之落入一个小的特定区间将属性数据按比例缩放，使之落入一个小的特定区间(如如0.00.0到到1.01.0）最小最大规范化最小最大规范化z-score z-score（或零均值）规范化（或零均值）规范化小数定标规范化小数定标规范化属性构造属性构造由给定的

34、属性构造新的属性由给定的属性构造新的属性离散化和概念分层离散化和概念分层14 二月 202350第50页/共103页minA和和maxA为为A的最小值和最大值，将的最小值和最大值，将A的的值值映射到区间映射到区间new_maxA，new _maxAmeanA是A的均值，stand_devA是A的标准差14 二月 202351第51页/共103页最小最小-最大规范化的举例最大规范化的举例例：假定属性income的最小值分别是12000美元和98000美元。我们想把映射到区间0.0,1.0。根据最小最大规范化，income值73600美元变换为：(73600-12000)(1.0-0)/(9800

35、0-12000)+0=0.71614 二月 202352第52页/共103页Z-score规范化的举例 例:假定属性income的均值和标准差分别为54000美元和16000美元，使用Z-score规范化值73600美元转换为：（73600-54000）/16000=1.22514 二月 202353第53页/共103页小数定标规范化举例小数定标规范化举例例：假定A的值由-986917。A的最大绝对值为986，使用小数定标规范化用1000（j=3)除这个值，这样，-986规范为-0.986，而917规范为0.91714 二月 202354第54页/共103页55数据变换数据变换属性构造（特征构

36、造）属性构造（特征构造）特征提取(Feature Extraction)由原始数据创建新的特征集称为特征提取。由于原始数据中有许多信息，但其形式不适合数据挖掘算法。在这种情况下，就要由原始的一个或多个特征来构造新的特征。例如：我们可能根据电信客户在一个季度内每个月的消费金额特征构造季度消费金额特征。（将每个月的消费金额相加）14 二月 2023第55页/共103页56数据变换数据变换离散化与概念分层离散化与概念分层离散化通过将属性域划分为区间，减少给定连续属性值的个数(如学生成绩数据），区间的标号可以代替实际的数据值概念分层通过使用高层的概念（比如：青年、中年、老年）来替代底层的属性值（比如：

37、实际的年龄数据值）来规约数据14 二月 2023第56页/共103页离散化离散化三种类型的属性值：三种类型的属性值：名称型：无序集合中的值；名称型：无序集合中的值；e.g.e.g.颜色、职业颜色、职业序数：有序集合中的值；序数：有序集合中的值；e.g.e.g.军衔、职称军衔、职称连续值；连续值；e.g.e.g.实数实数离散化离散化数值型数据的离散化数值型数据的离散化分类数据的离散化分类数据的离散化14 二月 202357第57页/共103页数值数据的离散化和概念分层生成数值数据的离散化和概念分层生成等宽离散化等深（等频）离散化聚类分析基于熵的离散化通过自然划分分段14 二月 202358第58

38、页/共103页59无监督离散化无监督离散化原始数据等宽离散化等频离散化K-means等宽方法是将属性值域划分成相同宽度的区间。可能造成有的区间包含许多实例，有的区间很少实例。等频方法将相同数量的对象放到每个区间。14 二月 2023第59页/共103页60有监督离散化有监督离散化基于熵的离散化(Entropybasedapproach)14 二月 2023第60页/共103页通过自然划分分段将数值区域划分为相对一致的、易于阅读的、看上去更直观或自然的区间。聚类分析产生概念分层可能会将一个工资区间划分为：51263.98,60872.34通常数据分析人员希望看到划分的形式为50000，60000

39、自然划分的3-4-5规则常被用来将数值数据划分为相对一致，“更自然”的区间14 二月 202361第61页/共103页自然划分的自然划分的3-4-53-4-5规则规则规则的划分步骤：规则的划分步骤：如果一个区间最高有效位上包含如果一个区间最高有效位上包含3 3，6 6，7 7或或9 9个不同的值，个不同的值，就将该区间划分为就将该区间划分为3 3个等宽子区间；个等宽子区间；(7(72,3,2)2,3,2)例如区间：例如区间：-1000020000,该区间的最高有效位该区间的最高有效位msd=10000,则该区间跨越了则该区间跨越了（20000-（-10000)/10000=3 个不同的值。个不

40、同的值。如果一个区间最高有效位上包含如果一个区间最高有效位上包含2 2，4 4，或，或8 8个不同的值，个不同的值，就将该区间划分为就将该区间划分为4 4个等宽子区间；个等宽子区间；如果一个区间最高有效位上包含如果一个区间最高有效位上包含1 1，5 5，或，或1010个不同的值，个不同的值，就将该区间划分为就将该区间划分为5 5个等宽子区间；个等宽子区间；将该规则递归的应用于每个子区间，产生给定数值属性的将该规则递归的应用于每个子区间，产生给定数值属性的概念分层；概念分层；对于数据集中出现的最大值和最小值的极端分布，为了避对于数据集中出现的最大值和最小值的极端分布，为了避免上述方法出现的结果扭

41、曲，可以在免上述方法出现的结果扭曲，可以在顶层分段顶层分段时，选用一时，选用一个大部分的概率空间。个大部分的概率空间。e.g.5%-95%e.g.5%-95%14 二月 202362第62页/共103页(-$400-$5,000)(-$400-0)(-$400-$300)(-$300-$200)(-$200-$100)(-$100-0)(0-$1,000)(0-$200)($200-$400)($400-$600)($600-$800)($800-$1,000)($2,000-$5,000)($2,000-$3,000)($3,000-$4,000)($4,000-$5,000)($1,000

42、-$2,000)($1,000-$1,200)($1,200-$1,400)($1,400-$1,600)($1,600-$1,800)($1,800-$2,000)msd=1,000Low=-$1,000High=$2,000第二步第四步第一步第一步-$351-$159profit$1,838$4,700MinLow(i.e,5%-tile)High(i.e,95%-0tile)Maxcount(-$1,000-$2,000)(-$1,000-0)(0-$1,000)第三步($1,000-$2,000)-$400,$5000 14 二月 202363第63页/共103页分类数据的概念分层生成

43、分类数据是指无序的离散数据，它有有限个值（可能很多个）。分类数据是指无序的离散数据，它有有限个值（可能很多个）。14 二月 202364第64页/共103页分类数据的概念分层生成方法分类数据的概念分层生成方法由用户或专家在模式级显示地说明属性的偏序由用户或专家在模式级显示地说明属性的偏序(或全序或全序)可以很容易地定义概念分层。可以很容易地定义概念分层。如：关系数据库或数据仓库的维如：关系数据库或数据仓库的维locationlocation可能包含如下属性组：可能包含如下属性组：street,city,province_or_statestreet,city,province_or_state

44、和和countrycountry。可以在模式级。可以在模式级说明这些属性的全序，如：说明这些属性的全序，如：streetcityprovince_or_statecountry,streetcityprovince_or_statecountry,来定义分层。来定义分层。14 二月 202365第65页/共103页分类数据的概念分层生成方法14 二月 202366第66页/共103页内容提要内容提要数据及数据类型数据及数据类型为什么要预处理数据为什么要预处理数据?描述数据的汇总（为数据预处理提供分描述数据的汇总（为数据预处理提供分析的基础）析的基础）数据清理数据清理数据集成和变换数据集成和变换

45、数据归约数据归约相似度计算相似度计算14 二月 202367第67页/共103页数据归约为什么需要进行数据规约？为什么需要进行数据规约？数据仓库中往往存有海量数据数据仓库中往往存有海量数据在整个数据集上进行复杂的数据分析与挖掘需要在整个数据集上进行复杂的数据分析与挖掘需要很长的时间很长的时间数据归约数据归约数据归约可以用来得到数据集的归约表示，它小数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析得多，但可以产生相同的（或几乎相同的）分析结果结果数据归约策略数据归约策略数据立方体聚集数据立方体聚集维归约维归约 数据压缩数据压缩数值归约数值归约14 二月 202

46、368第68页/共103页数据立方体聚集（例子）数据立方体聚集（例子）例如你收集的数据是例如你收集的数据是2002200220042004年每个季度的销售数据，年每个季度的销售数据，然而，你感兴趣的是年销售（每年的总和），而不是每个季然而，你感兴趣的是年销售（每年的总和），而不是每个季度的总和，你可以对这种数据进行聚集，该聚集结果数据集度的总和，你可以对这种数据进行聚集，该聚集结果数据集小得多，并不丢失分析任务所需的信息。小得多，并不丢失分析任务所需的信息。14 二月 202369第69页/共103页维度(数据特征的数目)归约 是指通过使用数据编码或变换，得到原始数据的归约或“压缩”表示。目的

47、：去除不相关和冗余的特征，降低时间空间复杂度，提高数据质量及数据泛化能力。通过删除不相干的属性或维减少数据量属性子集选择（特征选择）：从一组已知特征集合中选择最具代表性的特征子集。通过特征选择，一些和任务无关或是冗余的特征被 删除，从而提高数据处理的效率。维归约14 二月 202370第70页/共103页维归约（属性选择）启发式（探索式）搜索方法逐步向前选择逐步向后删除判定归纳树14 二月 202371第71页/共103页启发式（探索式）搜索方法启发式（探索式）搜索方法逐步向前选择由空属性集开始，选择原属性集中最好的属性，并将其添加入该集合，重复该步骤直到无法选择出最优属性或满足一定阈值约束为

48、止。逐步向后删除由整个属性集开始，每一步都删除掉尚在属性集中的最坏属性。直到无法选择出最差属性为止或满足一定阈值约束为止。判定归纳树利用决策树的归纳方法对初始数据进行分类归纳学习，获得一个初始决策树，所有没有出现这个决策树上的属性均认为是无关属性，因此将这些属性从初始属性集合删除掉，就可以获得一个较优的属性子集。14 二月 202372第72页/共103页14 二月 202373第73页/共103页数据压缩在数据压缩时，应用数据编码或变换，以便得到原数据的归约或压缩表示。如果原数据可以由压缩数据重新构造而不丢失信息，则为无损压缩。否则为有损压缩。14 二月 202374第74页/共103页14

49、 二月 202375第75页/共103页数值归约有参方法有参方法 使用一个模型估算数据。使用一个模型估算数据。常用方法：线性回归方法；多元回归；对数线性模型常用方法：线性回归方法；多元回归；对数线性模型无参方法无参方法 不必假设模型不必假设模型 主要包括：直方图，聚类和选样主要包括：直方图，聚类和选样14 二月 202376第76页/共103页线性回归模型线性回归：线性回归：对数据建模，使之拟合一条直线。对数据建模，使之拟合一条直线。Y=+XY=+X在数据挖掘中，在数据挖掘中，x,yx,y是数值属性，两个系数是数值属性，两个系数,和和确定确定这条直线，能够利用手头的数据进行估计，用最小二乘这条

50、直线，能够利用手头的数据进行估计，用最小二乘法估算。给定法估算。给定s s个样本形如：个样本形如：(x1,y1),(x2,y2),(x1,y1),(x2,y2),(xs,ys)(xs,ys)用最小二乘法的公式计算用最小二乘法的公式计算和和。使得分离数据的实际直线与该直线的误差最小。使得分离数据的实际直线与该直线的误差最小。14 二月 202377第77页/共103页直方图直方图使用分箱近似数据分布，直方图使用分箱近似数据分布，是一种数据归约形式。是一种数据归约形式。属性属性A A的数据分布为不相交的子集或桶。如果每一个桶只代表单个属性值的数据分布为不相交的子集或桶。如果每一个桶只代表单个属性值