《数据预处理》PPT课件.ppt

1第第2章章 数据预处理数据预处理 主要内容主要内容n2.1 为什么要预处理数据n2.2 描述性数据汇总n2.3 数据清理n2.4 数据集成和变换n2.5 数据归约n2.6 数据离散化和概念分层产生232.1 数据预处理的原因数据预处理的原因 n正确性（Correctness）n一致性（Consistency）n完整性（Completeness）n可靠性（Reliability）数据质量的含义数据质量的含义 现实世界的数据现实世界的数据n不完整的n缺少属性值或某些感兴趣的属性，或仅包含聚集数据。n含噪声的n包含错误或存在偏离期望的离群值。n不一致的n采用的编码或表示不同，如属性名称不同n冗余的n如属性之间可以相互导出5数据错误的不可避免性数据错误的不可避免性n数据输入和获得过程数据错误n数据集成所表现出来的错误n数据传输过程所引入的错误 n据统计有错误的数据占总数据的5%左右Redmen,Orr98数据错误的危害性数据错误的危害性n高昂的操作费用n糟糕的决策制定n组织的不信任n分散管理的注意力7数据预处理的形式数据预处理的形式n数据清理n补充缺失数据、平滑噪声数据、识别或删除离群点，解决不一致n数据集成n集成多个数据库、数据立方或文件n数据变换n规范化和聚集n数据归约n简化数据、但产生同样或相似的结果数据预处理的形式数据预处理的形式小结小结n现实世界的数据一般是脏的、不完整的和不一致的。n数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。n高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。n检测异常数据、尽早地调整数据并归约待分析的数据，将在决策过程中得到高回报。2.2 描述性数据汇总描述性数据汇总n获得数据的总体印象对于成功的数据预处理是至关重要的。n描述性数据汇总技术可以用来识别数据的典型性质，突显哪些数据值应当视为噪声或离群点。n动机：更好的理解数据。n主要内容：度量数据的中心趋势和离散程度、描述数据汇总的图形显示。2.2.1 度量数据的中心趋势度量数据的中心趋势n算数平均值n最常用n分布式度量n可以通过如下方法计算度量（即函数）：将数据集划分成较小的子集，计算每个子集的度量，然后合并计算结果，得到原（整个）数据集的度量值。nsum()、count()、min()、max()2.2.1 度量数据的中心趋势度量数据的中心趋势n代数度量n可以通过应用一个代数函数于一个或多个分布度量计算的度量。nmean()、中列数n整体度量n必须对整个数据集计算的度量。n中位数、众数代数度量代数度量nmean()：n加权平均：n截断均值：去掉高、低极端值得到的均值。减小极端值对均值的影响。n中列数（midrange）：(max+min)/2整体度量整体度量n中位数（median）：适用于倾斜的数据。近似值计算如下：n设N个数值排序，若N为奇数，中位数是有序集的中间值；若N为偶数，中位数是中间两个值的平均值。n例如：1,3,5,7 中位数4n 1,3,5,6,7 中位数5整体度量整体度量n众数(mode)：集合中出现频率最高的值。n单峰、多峰（双峰、三峰）、无众数n对于适度倾斜的单峰频率曲线，有如下的经验关系：16中位数、均值和众数中位数、均值和众数17n极差n最大值与最小值之差n四分位数n中位数是第50个百分位数，是第2个四分位数n第1个是第25个百分位数，Q1 n中间四分位数极差 IQR=Q3 Q1 n离群点outliern与数据的一般行为或模型不一致的数据对象n盒图n方差、标准差n反映了每个数与均值相比平均相差的数值2.2.2 度量数据的离散程度度量数据的离散程度度量数据的离散程度度量数据的离散程度n盒图boxplot,也称箱线图n从下到上五条线分别表示最小值、下四分位数Q1、中位数、上四分位数Q3和最大值n盒的长度等于IRQn中位数用盒内的横线表示n盒外的两条线（胡须）分别延伸到最小和最大观测值。n盒图的功能n1.直观明了地识别数据集中的离群点 n2.判断数据集的偏态和尾重 n3.比较几批数据的形状 22n直方图、n分位数图、分位数-分位数图（q-q图）n散布图、散布图矩阵n局部回归（Loess）曲线2.2.3 基本描述数据汇总的图形显示基本描述数据汇总的图形显示直方图直方图 Histogramn概括给定属性分布的图形方法n每个矩形等宽分位数图分位数图 Quantile Plotn观察单变量数据分布的简单有效方法散布图散布图scatter plotn直接观察是否存在簇(cluster)，离群点等n每个点对应一个坐标对局部回归（局部回归（Loess）曲线）曲线n添加一条光滑曲线到散布图2.3 数据清理数据清理n现实世界的数据一般是不完整的、有噪声的和不一致的。n数据清理的任务：n填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。28n忽略元组n人工填写空缺值n使用一个全局常量填充空缺值 n使用属性的平均值填充空缺值n使用与给定元组属同一类的所有样本的平均值n使用最可能的值填充空缺值2.3.1 缺失值缺失值 29n分箱：n通过考察数据的“近邻”（周围的值）来光滑有序数据的值。局部光滑。n回归：n用一个函数（回归函数）拟合数据来光滑数据。n聚类：将类似的值聚集为簇。n其他：如数据归约、离散化和概念分层。噪声数据噪声数据30n分箱：n通过考察数据的“近邻”（周围的值）来光滑有序数据的值。局部光滑。n划分：等频、等宽n光滑：用箱均值、用箱中位数、用箱边界（去替换箱中的每个数据）噪声数据噪声数据分箱法光滑数据分箱法光滑数据qSorted data for price(in dollars):4,8,9,15,21,21,24,25,26,28,29,34*Partition into equal-frequency(equi-depth)bins:-Bin 1:4,8,9,15 -Bin 2:21,21,24,25 -Bin 3:26,28,29,34*Smoothing by bin means:-Bin 1:9,9,9,9 -Bin 2:23,23,23,23 -Bin 3:29,29,29,29*Smoothing by bin boundaries:-Bin 1:4,4,4,15 -Bin 2:21,21,25,25 -Bin 3:26,26,26,34n回归：用一个函数（回归函数）拟合数据来光滑数据。n线性回归n多元线性回归n聚类：将类似的值聚集为簇。检测离群点回归回归Regressionxyy=x+1X1Y1Y1聚类聚类Cluster Analysis 数据清理作为一个过程数据清理作为一个过程n偏差检测n使用“元数据”n编码使用的不一致、数据表示的不一致、字段过载等n一些规则：唯一性规则、连续性规则、空值规则。n商业工具：数据清洗工具、数据审计工具n数据变换（纠正偏差）n数据迁移工具n提取/变换/载入（ETL）工具n加强交互性n数据清理工具：Potters Wheeln开发数据变换操作规范说明语言 数据集成和变换数据集成和变换n数据集成合并多个数据源中的数据，存放在一个一致的数据库（如数据仓库）中。n源数据可能包括多个数据库，数据立方体或一般文件。n数据变换将数据转换或统一成适合于挖掘的形式。37n实体识别n元数据可帮助避免错误n属性冗余n相关分析n数据重复（元组冗余）n数据值冲突的检测与处理n表示、比例或编码不同 数据集成数据集成38n平滑：去掉数据中的噪声。技术包括分箱、回归、聚类。n聚集Aggregation：对数据进行汇总或聚集。n数据泛化（概化）：使用概念分层，用高层概念替换低层或“原始”数据。n规范化：将属性数据按比例缩放，使之落入一个小的特定区间。最小-最大、Z-Score、按小数定标规范化。n属性构造（特征构造）：由给定的属性构造新的属性并添加到属性集中，以帮助挖掘过程。可以帮助提高准确率和对高维数据结构的理解。数据变换数据变换规范化规范化n1）最小-最大规范化：将原始数据v经线性变换，映射到区间new_minA,new_maxA例如:income的最大，最小值分别为9000，2000，则将它的值映射到0，1时，若income的值6800规范后为：（6800-2000）/（9000-2000）*（1-0）+0=0.686n存在问题：n若存在离群点，可能影响规范化n若在规范化后添加新的数据，当新数据落在原数据的区间minA,maxA之外，将导致“越界”错误。规范化规范化n2）z-score规范化（零均值规范化）：属性A的值基于A的平均值和标准差规范化。n对离群点不敏感2.5 数据归约数据归约 Data Reductionn对海量数据进行复杂的数据分析和挖掘将需要很长时间，使得这种分析不现实或不可行。n数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近保持原数据的完整性。n对归约后的数据集挖掘将更有效，并产生相同（或几乎相同）的结果。数据归约数据归约n数据归约策略：n（1）数据立方体聚集：对数据立方体做聚集操作n（2）属性子集选择：检测并删除不相关、弱相关或冗余的属性和维。n（3）维度归约：删除不重要的属性n（4）数值归约：n用规模较小的数据表示、替换或估计原始数据n（5）离散化和概念分层(concept hierarchy)产生n属性的原始数值用区间值或较高层的概念替换2.5.1 数据立方体聚集数据立方体聚集n数据立方体存储多维聚集信息，提供对预计算的汇总数据进行快速访问。n如：立方体内存储季度销售额，若对年销售额感兴趣，可对数据执行聚集操作，例如sum()等。2.5.2 属性子集选择属性子集选择n通过删除不相关或冗余的属性（或维）减小数据集。n其目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。n通过穷举搜索找出有属性的最佳子集是不现实的。通常采用压缩搜索空间的启发式算法。如贪心算法：从局部最优到全局最优。n逐步向前选择n逐步向后删除n向前选择和向后删除的结合n决策树归纳2.5.3 维度归约维度归约n维度归约使用数据编码或变换，以便得到原数据的归约或“压缩”表示。分为无损和有损两种。n主要方法：n串压缩：无损，但只允许有限的数据操作。n小波变换（DWT）：有损，适合高维数据。n主成分分析（PCA）：有损，能更好地处理稀疏数据。2.5.4 数值归约数值归约n通过选择替代的、“较小的”数据表示形式来减少数据量。n可以分为参数方法和非参数方法。n参数方法：回归（regression）和对数线性模型n非参数方法：直方图、聚类、抽样抽样抽样n用数据的小得多的随机样本（子集）不是大型数据集。n抽样方法ns个样本无放回简单随机抽样（SRSWOR）ns个样本有放回简单随机抽样（SRSWR）n聚类抽样n分层抽样2.6 数据离散化和概念分层产数据离散化和概念分层产生生n数据离散化技术用少数区间标记替换连续属性的数值，从而减少和简化了原来的数据。n可以对一个属性递归地进行离散化，产生属性值的分层或多分辨率划分，称作概念概念分层分层。n概念分层(concept hierarchy)用于归约数据：用较高层的概念替换较低层的概念。概念分层概念分层(-$400-$5,000)(0-$1,000)(0-$200)($200-$400)($400-$600)($600-$800)($800-$1,000)($2,000-$5,000)($2,000-$3,000)($3,000-$4,000)($4,000-$5,000)($1,000-$2,000)($1,000-$1,200)($1,200-$1,400)($1,400-$1,600)($1,600-$1,800)($1,800-$2,000)概念分层概念分层countryprovince_or_ statecitystreet15 distinct values365 distinct values3567 distinct values674,339 distinct values习题习题n1为什么要进行数据预处理？n2分布式度量、代数度量、整体度量的概念。n3在数据清理中，对缺失值有哪些处理方法？