2022年数据挖掘考试复习要点整理 .pdf

《2022年数据挖掘考试复习要点整理 .pdf》由会员分享，可在线阅读，更多相关《2022年数据挖掘考试复习要点整理 .pdf（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主要内容数据挖掘综述数据仓库和数据挖掘的OLAP 技术数据预处理数据挖掘原语、语言和系统结构概念描述：特征化与比较挖掘大型数据库中的关联规则分类和预测聚类分析复杂类型数据的挖掘数据挖掘的应用和发展趋势我们拥有丰富的数据，但却缺乏有用的信息解决方法： 数据仓库技术和数据挖掘技术数据仓库 (Data Warehouse) 和在线分析处理(OLAP) 数据挖掘： 在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）数据库技术的演化1960s 和以前 : 文件系统1970s: 层次数据库和网状数据库 （ 1973 年 查理士巴赫曼）1980s 早期 :关系数据模型 , 关系数据库管理系统(RDBM

2、S) 的实现1980s 晚期 : 各种高级数据库系统( 扩展的关系数据库, 面向对象数据库等等 .) 面向应用的数据库系统 (spatial数据库，时序数据库，多媒体数据库等等）1990s: 数据挖掘 , 数据仓库 , 多媒体数据库和网络数据库2000s 流数据管理和挖掘基于各种应用的数据挖掘 XML 数据库和整合的信息系统什么是数据挖掘？数据挖掘 ( 从数据中发现知识) 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识挖掘的不仅仅是数据 （所以“数据挖掘” 并非一个精确的用词）数据挖掘的替换词数据库中的知识挖掘（KDD ） 、知识提炼、数据 / 模式分析、

3、数据考古、数据捕捞、信息收获等等。并非所有东西都是“数据挖掘”查询处理 . 专家系统或是小型的数学计算/ 统计程序知识挖掘的步骤了解应用领域了解相关的知识和应用的目标创建目标数据集:选择数据数据清理和预处理: ( 这个可能要占全过程60的工作量 ) 数据缩减和变换找到有用的特征，维数缩减/ 变量缩减，不变量的表示。选择数据挖掘的功能数据总结 , 分类模型数据挖掘, 回归分析 , 关联规则挖掘, 聚类分析等 . 选择挖掘算法数据挖掘 : 寻找感兴趣的模式模式评估和知识表示可视化，转换，消除冗余模式等等运用发现的知识数据挖掘的主要方法 (1) 概念 / 类描述 : 特性化和区分归纳，总结和对比数据

4、的特性。比如：对每个月来网站购物超过5000 元的顾客的描述：4050 岁，有正常职业，信用程度良好。关联分析发现数据之间的关联规则，这些规则展示属性值频繁的在给定的数据中所一起出现的条件。广泛的用于购物篮或事务数据分析。分类和预测通过构造模型 ( 或函数 ) 用来描述和区别类或概念，用来预测类型标志未知的对象类。比如：按气候将国家分类，按汽油消耗定额将汽车分类导出模型的表示: 判定树、 分类规则、 神经网络可以用来预报某些未知的或丢失的数字值名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - -

5、- 第 1 页，共 21 页 - - - - - - - - - 聚类分析将类似的数据归类到一起，形成一个新的类别进行分析。最大化类内的相似性和最小化类间的相似性孤立点分析孤立点 : 一些与数据的一般行为或模型不一致的孤立数据通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却可以通过对罕见事件进行孤立点分析而得到结论。趋势和演变分析描述行为随时间变化的对象的发展规律或趋势趋势和偏差 :回归分析序列模式匹配： 周期性分析、基于类似性的分析、其他定向模式或统计分析所有模式都是有趣的吗？数据挖掘可能产生数以千计的模式或规则，但并不是所有的模式或规则都是令人感兴趣的。模式兴趣度的度量一个模式是有趣

6、的，如果(1) 它易于被人理解； （2）在某种程度上，对于新的或测试数据是有效的；（3）具有潜在效用；（4）新颖的；（5）符合用户确信的某种假设模式兴趣度的客观和主观度量客观度量 : 基于所发现模式的结构和关于它们的统计，比如： 支持度、置信度等等主观度量 : 基于用户对数据的判断。比如：出乎意料的、新颖的、可行动的等等多种数据挖掘的视角根据所挖掘的数据库分类关系数据库 , 事务数据库 , 流式数据 , 面向对象数据库, 对象关系数据库 , 数据仓库 , 空间数据库 , 时态数据库 , 文本数据库 , 多媒体数据库 , 异构数据库 , 历史数据库 , WWW 根据挖掘的知识类型特征分析 , 区

7、分 , 关联分析 , 分类 , 聚类 , 孤立点分析 / 演变分析 , 偏差分析等等 . 多种方法的集成和多层次挖掘根据挖掘所用的技术面向数据库的挖掘、数据仓库、OLAP 、机器学习、统计学、可视化等等 . 根据挖掘所用的应用金融 , 电信 , 银行 , 欺诈分析 , DNA分析, 股票市场 , Web挖掘等等 . 什么是数据仓库 ? 数据仓库的定义很多，但却很难有一种严格的定义它是一个提供决策支持功能的数据库，它与公司的操作数据库分开维护。为统一的历史数据分析提供坚实的平台，对信处理提供支持“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.”W

8、. H. Inmon（数据仓库构造方面的领头设计师）建立数据仓库 (data warehousing): 构造和使用数据仓库的过程。数据仓库关键特征一面向主题围绕一些主题，如顾客、供应商、产品等关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。排除对于决策无用的数据，提供特定主题的简明视图。数据仓库关键特征二数据集成一个数据仓库是通过集成多个异种数据源来构造的。关系数据库，一般文件，联机事务处理记录使用数据清理和数据集成技术。确保命名约定、 编码结构、 属性度量等的一致性。当数据被移到数据仓库时，它们要经过转化。数据仓库关键特征三随时间而变化数据仓库的时间范围比操作数据库系

9、统要长的多。操作数据库系统: 主要保存当前数据。数据仓库 : 从历史的角度提供信息（比如过去 5-10 年）数据仓库中的每一个关键结构都隐式或显式地包含时间元素，而操作数据库中的关键结构可能就不包括时间元素。数据仓库关键特征四数据不易丢失尽管数据仓库中的数据来自于操作数据库，但他们却是在物理上分离保存的。操作数据库的更新操作不会出现在数据仓库环境下。不需要事务处理，恢复，和并发控制等机制只需要两种数据访问: 数据的初始装载和数据访问（读操作）数据仓库与操作数据库系统操作数据库系统的主要任务是联机事务处理OLTP 日常操作 : 购买，库存，银行，制造，工资，注册，记帐等数据仓库的主要任务是联机分

10、析处理OLAP 数据分析和决策OLTP和 OLAP 的主要区别：用户和系统的面向性: 顾客 VS. 市场数据内容 : 当前的、 详细的数据 VS. 历史的、 汇总的数据数据库设计 : 实体联系模型(ER)和面向应用的数据库设计 VS. 星型/ 雪花模型和面向主题的数据库设计视图 : 当前的、 企业内部的数据 VS. 经过演化的、 集成的数据访问模式 : 事务操作 VS. 只读查询（但很多是复杂的查询）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 21 页 - - - -

11、 - - - - - 为什么需要一个分离的数据仓库? 提高两个系统的性能DBMS 是为 OLTP而设计的：存储方式, 索引, 并发控制 , 恢复数据仓库是为OLAP而设计：复杂的 OLAP查询 , 多维视图，汇总不同的功能和不同的数据: 历史数据 : 决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）数据质量 : 不同的源使用不一致的数据表示、编码和格式， 对这些数据进行有效的分析需要将他们转化后进行集成数据仓库和数据仓库技术基于多维数据模型。 这个模型把数据看作是数据立方体形式。多维数据模型围绕中心主题组织，该主题用事实表

12、表示。事实是数值度量的。数据立方体允许以多维数据建模和观察。它由维和事实定义。维是关于一个组织想要记录的视角或观点。每个维都有一个表与之相关联，称为维表。事实表包括事实的名称或度量以及每个相关维表的关键字在数据仓库的研究文献中，一个n 维的数据的立方体叫做基本方体。给定一个维的集合，我们可以构造一个方体的格，每个都在不同的汇总级或不同的数据子集显示数据，方体的格称为数据立方体。0 维方体存放最高层的汇总，称作顶点方体；而存放最底层汇总的方体则称为基本方体。数据仓库的概念模型种类：最流行的数据仓库概念模型是多维数据模型。这种模型可以以星型模式、雪花模式、或事实星座模式的形式存在。星型模式 （St

13、ar schema ）: 事实表在中心，周围围绕地连接着维表（每维一个） ，事实表含有大量数据，没有冗余。雪花模式 （Snowflake schema）: 是星型模式的变种，其中某些维表是规范化的，因而把数据进一步分解到附加表中。结果，模式图形成类似于雪花的形状。事实星座 （Fact constellations）: 多个事实表共享维表, 这种 模式 可以 看 作 星 型 模 式集 ， 因 此 称 为 星 系 模 式 （ galaxy schema） ，或者事实星座（fact constellation）多维数据模型上的OLAP操作上卷 (roll-up):汇总数据通过一个维的概念分层向上攀升

14、或者通过维规约下钻 (drill-down)：上卷的逆操作由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现切片和切块 (slice and dice) ：投影和选择操作转轴 (pivot)：立方体的重定位，可视化，或将一个3 维立方体转化维一个2 维平面序列其他 OLAP操作钻过 (drill_across)：执行涉及多个事实表的查询钻透 (drill_through)：使用关系 SQL机制， 钻到数据立方体的底层，到后端关系表数据仓库设计：一个商务分析框架数据仓库设计的四种视图自顶向下视图 ：允许我们选择数据仓库所需的相关信息数据源视图： 揭示被操作数据库系统所捕

15、获、存储和管理的信息数据仓库视图：有事实表和维表所组成商务查询视图：从最终用户的角度透视数据仓库中的数据数据仓库的设计过程自顶向下法、自底向上法或者两者的混合方法自顶向下法：由总体设计和规划开始（成熟）自底向上法：以实验和原型开始（快速）从软件过程的观点瀑布式方法： 在进行下一步前， 每一步都进行结构化和系统的分析螺旋式方法： 功能渐增的系统的快速产生，相继版本之间间隔很短典型的数据仓库设计过程：选取待建模的商务过程、选取商务过程的粒度、选取用于每个事实表记录的维选取将安放在事实表中的度量OLAP服务器类型关系 OLAP服务器 (ROLAP) 使用关系数据库或扩展的关系数据库存放并管理数据仓库

16、的数据，而用OLAP中间件支持其余部分包括每个 DBMS 后端优化， 聚集导航逻辑的实现，附加的工具和服务较大的可扩展性多维 OLAP服务器 (MOLAP) 基于数组的多维存储引擎（稀疏矩阵技术）能对预计算的汇总数据快速索引混合 OLAP服务器 (HOLAP) 结合上述两种技术，更大的使用灵活性特殊的 SQL服务器在星型和雪花模型上支持SQL查询数据仓库的实现难点海量数据快速反应OLAP服务器要在几秒内响应决策支持查询名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 21

17、页 - - - - - - - - - 方法高效的数据立方体计算技术高效的存取方法高效的查询处理技术数据立方体的有效计算数据立方体可以被看成是一个方体的格最底层的方体是基本方体最顶端的方体（顶点）只包含一个单元的值一个 n 维的数据立方体， 每维 L 层，可能产生的方体总数是多少？数据立方体的物化预先计算所有方体（全物化） ，不预先计算任何“非基本”方体（不物化） ，有选择的计算一个所有方体的适当子集（部分物化）确定物化哪些方体考虑工作负荷下的查询、它们的频率和它们的开销等等方体计算：关系型OLAP的方法（ ROLAP ）方体计算的有效方法基于 ROLAP 的方体算法 (Agarwal et

18、al96)基于数组的算法(MOLAP)(Zhao et al97)自底向上的计算方法(Beyer & Ramarkrishnan99)H-cubing技术(Han, Pei, Dong & Wang:SIGMOD01)基于 ROLAP 的方法将排序、散列 (hashing)和分组操作应用于维的属性，以便对相关元组重新排序和聚类在某些子聚集上分组，作为“部分分组步骤”。可以由以前计算的聚集计算新的聚集，而不必由基本事实表计算元数据存储在数据仓库中， 元数据 就是定义数据仓库对象的数据。有以下几种 ：数据仓库结构的描述仓库模式、视图、维、层次结构、导出数据的定义， 以及数据集市的位置和内容操作元数

19、据包括数据血统 (data lineage)、数据类别(currency of data) ，以及监视信息汇总用的算法由操作环境到数据仓库的映射关于系统性能的数据索引， profiles，数据刷新、更新或复制事件的调度和定时商务元数据商务术语和定义、 数据拥有者信息、 收费政策等元数据的使用元数据与数据一起，构成了数据仓库中的数据模型，元数据所描述的更多的是这个模型的结构方面的信息。在数据仓库中，元数据的主要用途包括：用作目录， 帮助决策支持系统分析者对数据仓库的内容定义作为数据仓库和操作性数据库之间进行数据转换时的映射标准用于指导当前细节数据和稍加综合的数据之间的汇总算法， 指导稍加综合的数

20、据和高度综合的数据之间的汇总算法。数据仓库的应用数据仓库的三种应用信息处理支持查询和基本的统计分析，并使用交叉表、表、图标和图进行报表处理分析处理对数据仓库中的数据进行多维数据分析支持基本的OLAP操作，切块、切片、上卷、下钻、转轴等数据挖掘从隐藏模式中发现知识支持关联分析， 构建分析性模型， 分类和预测，并用可视化工具呈现挖掘的结果三种应用间的差别从联机分析处理到联机分析挖掘为什么要联机分析挖掘数据仓库中有高质量的数据数据仓库中存放着整合的、一致的、 清理过的数据围绕数据仓库的信息处理结构存取、 集成、合并多个异种数据库的转换， ODBC/OLEDB 连接 ,Web 访问和访问工具等基于 O

21、LAP的探测式数据分析使用上卷、下钻、切片、转轴等技术进行数据挖掘数据挖掘功能的联机选择多种数据挖掘功能、 算法和任务的整合作业：查阅资料，谈谈OLAP 、DM 、OLAM 的联系和区别。) 11(niiLT名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 21 页 - - - - - - - - - 为什么要预处理数据？现实世界的数据是“肮脏的”不完整的： 有些感兴趣的属性缺少属性值，或仅包含聚集数据含噪声的：包含错误或者“孤立点”不一致的：在编码或者命名上存在差异没有高

22、质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据数据仓库需要对高质量的数据进行一致地集成数据预处理的主要任务数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果数据离散化数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要数据预处理的形式空缺值数据并不总是完整的例如： 数据库表中， 很多条记录的对应字段没有相应值，比如销售表中的顾客收入引起空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在

23、输入时， 有些数据因为得不到重视而没有被输入对数据的改变没有进行日志记载空缺值要经过推断而补上如何处理空缺值忽略元组： 当类标号缺少时通常这么做（假定挖掘任务设计分类或描述） ，当每个属性缺少值的百分比变化很大时，它的效果非常差。人工填写空缺值：工作量大，可行性低使用一个全局变量填充空缺值：比如使用unknown或- 使用属性的平均值填充空缺值使用与给定元组属同一类的所有样本的平均值使用最可能的值填充空缺值：使用像Bayesian 公式或判定树这样的基于推断的方法噪声数据噪声：一个测量变量中的随机错误或偏差引起不正确属性值的原因数据收集工具的问题数据输入错误数据传输错误技术限制命名规则的不一致

24、其它需要数据清理的数据问题重复记录不完整的数据不一致的数据如何处理噪声数据分箱 (binning): 首先排序数据，并将他们分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、 按箱的边界平滑等等聚类：监测并且去除孤立点计算机和人工检查结合计算机检测可疑数据，然后对它们进行人工判断回归通过让数据适应回归函数来平滑数据数据平滑的分箱方法price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34 划分为（等深的）箱：箱 1：4，8，15 箱 2：21，21，24 箱 3：25，28，34 用箱平均值平滑：箱 1：9，9，9 箱 2：22，22，22 箱 3：29，29

25、，29 用箱边界平滑：箱 1：4，4，15 箱 2：21，21，24 箱 3：25，25，34 数据集成：将多个数据源中的数据整合到一个一致的存储名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 21 页 - - - - - - - - - 中模式集成：整合不同数据源中的元数据实体识别问题： 匹配来自不同数据源的现实世界的实体，比如：A.cust-id=B.customer_no 检测并解决数据值的冲突对现实世界中的同一实体，来自不同数据源的属性值可能是不同的可能的原因：不

26、同的数据表示，不同的度量等等处理数据集成中的冗余数据集成多个数据库时，经常会出现冗余数据同一属性在不同的数据库中会有不同的字段名一个属性可以由另外一个表导出，如“年薪”有些冗余可以被相关分析检测到仔细将多个数据源中的数据集成起来，能够减少或避免结果数据中的冗余与不一致性，从而可以提高挖掘的速度和质量。数据变换平滑：去除数据中的噪声聚集：汇总，数据立方体的构建数据概化：沿概念分层向上汇总规范化： 将数据按比例缩放，使之落入一个小的特定区间最小最大规范化z-score规范化小数定标规范化属性构造通过现有属性构造新的属性，并添加到属性集中。数据变换规范化数据归约策略数据仓库中往往存有海量数据，在其上

27、进行复杂的数据分析与挖掘需要很长的时间数据归约数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析结果数据归约策略数据立方体聚集维归约数据压缩数值归约离散化和概念分层产生用于数据归约的时间不应当超过或“抵消” 在归约后的数据上挖掘节省的时间。数据立方体聚集最底层的方体对应于基本方体基本方体对应于感兴趣的实体在数据立方体中存在着不同级别的汇总数据立方体可以看成方体的格每个较高层次的抽象将进一步减少结果数据数据立方体提供了对预计算的汇总数据的快速访问使用与给定任务相关的最小方体在可能的情况下， 对于汇总数据的查询应当使用数据立方体维归约通过删除不相干的属性或维减少数

28、据量属性子集选择找出最小属性集， 使得数据类的概率分布尽可能的接近使用所有属性的原分布减少出现在发现模式上的属性的数目，使得模式更易于理解启发式的（探索性的）方法逐步向前选择逐步向后删除向前选择和向后删除相结合判定归纳树数值归约通过选择替代的、较小的数据表示形式来减少数据量有参方法： 使用一个参数模型估计数据，最后只要存储参数即可。线性回归方法：Y=+X 多元回归：线性回归的扩充对数线性模型：近似离散的多维数据概率分布无参方法：直方图聚类选样直方图一种流行的数据归约技术将某属性的数据划分为不相交的子集，或桶，桶中放置该值的出现频率桶和属性值的划分规则等宽等深V-最优MaxDiff 数据预处理的

29、主要任务数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 21 页 - - - - - - - - - 集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示，它小得多， 但可以得到相同或相近的结果数据离散化数据归约的一部分， 通过概念分层和数据的离散化来规约数据，对数字型数据特别重要离散化三种类型的属性值：名称型 e.g. 无序集合中的值序数 e.g. 有序集合中的值连续值

30、 e.g. 实数离散化将连续属性的范围划分为区间有效的规约数据基于判定树的分类挖掘离散化的数值用于进一步分析离散化通过将属性域划分为区间，减少给定连续属性值的个数。区间的标号可以代替实际的数据值。概念分层通过使用高层的概念（比如： 青年、中年、老年）来替代底层的属性值 （比如：实际的年龄数据值）来规约数据数据挖掘原语、语言和系统结构为什么要数据挖掘原语和语言？没有精确的指令和规则，数据挖掘系统就没法使用。一个完全自动 （不需要人为干预或指导）的数据挖掘机器：会产生大量模式（重新把知识淹没）会涵盖所有数据，使得挖掘效率低下大部分有价值的模式集可能被忽略挖掘出的模式可能难以理解，缺乏有效性、 新颖

31、性和实用性令人不感兴趣。用数据挖掘原语和语言来指导数据挖掘。数据挖掘原语的组成部分数据挖掘原语应该包括以下部分：说明数据库的部分或用户感兴趣的数据集要挖掘的知识类型用于指导挖掘的背景知识模式评估、兴趣度量如何显示发现的知识数据挖掘原语用于用户和数据挖掘系统通信，让用户能从不同的角度和深度审查和发现结果，并指导挖掘过程。说明数据挖掘任务的原语（5 种）任务相关的数据数据库（仓库）名、数据立方体、选择条件、相关属性、分组条件挖掘的知识类型特征化、区分、关联、分类/ 预测、聚类背景知识概念分层，关联的确信度模式兴趣度度量简单性、确定性、实用性、新颖性发现模式的可视化规则、表、图表、图、判定树,兴趣度

32、度量特性：没有兴趣度度量， 挖掘出来的有用模式，很可能会给淹没在用户不感兴趣的模式中。简单性确定性（置信度）实用性（支持度）新颖性简单性 (simplicity) 模式是否容易被人所理解模式结构的函数（模式的长度、属性的个数、操作符个数）。e.g. 规则长度或者判定树的节点个数。确定性 (certainty) 表示一个模式在多少概率下是有效的。置信度 (A=B)=( 包含 A和 B的元组值 )/( 包含 A的元组值 ) ，e.g. buys(X, “computer)=buys(X, “software ”)30%, 80% 100% 置信度：准确的。实用性可以用支持度来进行度量：支持度(A=

33、b) = ( 包含 A和 B 的元组数 )/(元组总数 ) e.g. buys(X, “computer)=buys(X, “software ”)30%, 80% 同时满足最小置信度临界值和最小支持度临界值的关联规则称为强关联规则。新颖性提供新信息或提高给定模式集性能的模式通过删除冗余模式来检测新颖性（一个模式已经为另外一个模式所蕴涵）Location(X, “Canada”)=buys(X, “Sony_TV ”) 8%, 70%Location(X, “Vancouver ”)=buys(X, 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - -

34、- - - - - 名师精心整理 - - - - - - - 第 7 页，共 21 页 - - - - - - - - - “Sony_TV ”) 2%, 70% 兴趣度的客观度量方法：根据模式的结构和统计，用一个临界值来判断某个模式是不是用户感兴趣的。指定挖掘知识类型要挖掘的知识类型将决定所使用的数据挖掘功能。几种主要的数据挖掘功能特征化目标数据的一般特征或特性汇总数据区分将目标对象的一般特性与一个或多个对比类对象的特性相比较关联分析发现关联规则， 这些规则展示属性值频繁的在给定数据中集中一起出现的条件分类找出区分数据类或概念的模型（或函数） ，以便用之标志未知的对象类。聚类分析、孤立点分析

35、、演变分析,兴趣度度量说明的语法兴趣度的度量包括置信度、支持度、噪声和新颖度等度量，可以通过将模式的兴趣度度量与相应的临界值相比较决定一个模式是否为感兴趣的模式。with threshold = threshold_value 示例：挖掘关联规则时限定找到的感兴趣模式必须满足最小支持度为5% ，最小置信度为70% with support threshold = 5% with confidence threshold = 70% 概念描述：特征化与比较什么是概念描述？描述性挖掘 VS. 预测性挖掘描述性挖掘： 以简洁概要的方式描述数据，并提供数据的有趣的一般性质。预测性数据挖掘： 通过分析数

36、据建立一个或一组模型，并试图预测新数据集的行为。概念描述 ：为数据的特征化和比较产生描述（当所描述的概念所指的是一类对象时，也称为类描述）概念描述方法： 特征化： 提供给定数据集的简洁汇总。区分：提供两个或多个数据集的比较描述。概念描述 VS. OLAP 概念描述和数据仓库的联机分析处理（OLAP ）都跟数据概化密切相关，即以简洁的形式在更一般的抽象层描述数据，允许数据在抽象层概化，便于考察数据的一般行为。两者的主要区别：概念描述可以处理复杂数据类型的属性及其聚集一个更加自动化的过程OLAP 实际使用的OLAP系统中，维和度量的数据类型都非常有限 （非数值型的维和数值型的数据） ，表现为一种简

37、单的数据分析模型一个由用户控制的过程数据概化和基于汇总的特征化数据概化数据库中的数据和对象通常包含原始概念层的细节信息， 数据概化就是将数据库中的跟任务相关的数据集从较低的概念层抽象到较高的概念层的过程。主要方法：数据立方体（ OLAP使用的方法）面向属性的归纳方法数据概化：数据立方体方法（不使用面向属性的归纳）执行计算并将结果存储在数据立方体中优点：数据概化的一种有效实现可以计算各种不同的度量值比如： count(), sum(), average(), max() 概化和特征分析通过一系列的数据立方体操作完成，比如上卷、下钻等缺点只能处理非数据类型的维和简单聚集数值类型的度量值缺乏智能分析

38、， 不能自动确定分析中该使用哪些维，应该概化到哪个层次面向属性的归纳Attribute-oriented induction, AOI (KDD 89 Workshop) 受数据类型和度量类型的约束比较少面向属性归纳的基本思想：使用关系数据库查询收集任务相关的数据通过考察任务相关数据中每个属性的不同值的个数进行概化， 方法是属性删除或者是属性概化通过合并相等的， 概化的广义元组， 并累计他们对应的计数值进行聚集操作通过与用户交互， 将广义关系以图表或规则等形式，提交给用户面向属性的归纳的基本步骤数据聚焦，获得初始工作关系进行面向属性的归纳基本操作是数据概化，对有大量不同值的属性，名师资料总结

39、- - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 21 页 - - - - - - - - - 进行进一步概化属性删除属性概化属性概化控制： 控制概化过程， 确定有多少不同的值才算是有大量不同值的属性属性概化临界值控制概化关系临界值控制数据概化属性删除的适用规则：对初始工作关系中具有大量不同值的属性，符合以下情况，应使用属性删除：在此属性上没有概化操作符（比如该属性没有定义相关的概念分层）该属性的较高层概念用其他属性表示属性概化的使用规则：如果初始工作关系中的某个属性具有大量不同值， 且

40、该属性上存在概化操作符，则使用该概化操作符对该属性进行数据概化操作属性概化控制确定什么是“具有大量的不同值”，控制将属性概化到多高的抽象层。属性概化控制的两种常用方法：属性概化临界值控制对所有属性设置一个概化临界值或者是对每个属性都设置一个临界值（一般为 2 到 8）概化关系临界值控制为概化关系设置一个临界值，确定概化关系中，不同元组的个数的最大值。 （通常为 10 到 30，应该允许在实际应用中进行调整）两种技术的顺序使用：使用属性概化临界值控制来概化每个属性， 然后使用关系临界值控制进一步压缩概化的关系。相等元组的合并、累计计数和其他聚集值导出概化的表示概化关系一部分或者所有属性得到概化的

41、关系，包含计数或其他度量值的聚集交叉表二维交叉表使用每行显示一个属性，使用每列显示另外一个属性将结果集映射到表中可视化技巧：条形图、 饼图、 曲线和数据立方体浏览工具（用单元的大小代表计数，用单元亮度代表另外的度量）量化规则量化特征规则将概化的结果映射到相应的量化特征规则中，比如：解析特征化：属性相关分析属性相关分析通过识别不相关或者是弱相关的属性，将它们排除在概念描述过程之外，从而确定哪些属性应当包含在类特征化和类比较中。解析特征化包含属性 / 维相关分析的类特征化解析比较包含属性 / 维相关分析的类比较为什么进行属性相关分析？数据仓库和OLAP系统中的多维数据分析缺乏一个自动概化过程，这使

42、得这个过程中需要有很多用户干预用户必须告诉系统哪些维或属性应当包含在类分析中属性太少， 则造成挖掘的描述结果不正确属性太多，浪费计算、淹没知识告诉系统每个维应当概化到多高的层次直接通过概化的临界值，说明给定维应当达到的概化程度对概化层次不满意， 则可以指定需要上卷或下钻的维属性相关分析通过属性相关性分析，滤掉统计上不相关或弱相关的属性，保留对手头数据挖掘任务最相关的属性。对于给定的属性， 一个属性或维被认为是高度相关的，如果该属性或维的值可能用于区分该类和其他类。比如：区分昂贵汽车和便宜汽车（可选择的属性：颜色，型号，品牌.）在同一个维内， 对于区分一个类与其他类不同层的概念可能有很不同的能力

43、比如： birth_date维， day, month 与 salary无关，而 year （或将其进一步概化为birth_decade）则与 salary有关类特征化中的比较类除特征化的数据集外，数据库中可比较的数据集都作为对比类比如： 研究生特征化的例子，对比类为不是研究生的学生的集合（e.g. 本科生） （可选择的属性：性别、籍贯、专业、平均成绩、年龄段）属性相关分析的方法属性相关分析的基本思想是计算某种度量，用于量化属性与给定类或概念的相关性。可采用的度量包括：信息增益、Gini 索引、不确定性和相关系数。 （涉及机器学习、统计、模糊和粗糙集理论等方面的相关知识）niiaqcountq

44、countweightt1)(/)(_: )(.:)()(_arg,mmllwtXconditionwtXconditionXclassettX%45: )(.%25: )()(,tAmericanNorthXlocationtAsiaXlocationcomputerXitemX名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 21 页 - - - - - - - - - 比如：信息增益通过计算一个样本分类的期望信息和属性的熵 来获得一个 属性的信息增益， 判定该属性与当

45、前的特征化任务的相关性。概念描述的属性相关分析步骤数据收集通过查询处理，收集目标类和对比类数据使用保守的AOI 进行预相关分析识别属性和维的集合，它们是所选择的相关性分析度量的应用对象，通过该步骤产生候选关系使用选定的相关分析度量删除不相关和弱相关的属性使用选定的相关分析度量，评估候选关系中的每个属性使用 AOI 产生概念描述使用一组不太保守的属性概化临界值进行AOI 类比较描述的判别规则表示（1）类比较描述中的目标类和对比类的区分特性也可以用量化规则来表示，即量化区分规则量化区分规则使用d-weight作为兴趣度度量qa概化元组Cj目标类qa的 d-weight是初始目标类工作关系中被qa覆

46、盖的元组数与 初始目标类和对比类工作关系中被qa覆盖的总元组数的比在大型数据库中挖掘描述统计计量对于数据挖掘任务， 用户经常关心的数据特征包括数据的中心趋势和离散特征中心趋势的度量包括：mean, median, mode和midrange数据离散度量包括：quartiles, outliers, variance和其他度量关系数据库中，系统提供了以下聚集函数：count(), sum(), avg(), max(), min()在大型数据库中挖掘用户感兴趣的描述统计计量涉及到如何利用关系数据库现有的函数来计算上述两类用户感兴趣的度量值算术平均值加权算术平均中位值 ：使用一个近似的计算来度量如

47、果值的个数n 是奇数，则中位数 (median) 是有序集合的中间值， 否则它是中间两个数的平均值用插值法 (interpolation)来近似计算模(mode) 表示数据集中出现频率最高的值单模态、双模态、三模态、多模态和没有模的情况单模态近似值计算的经验公式: 中列数：最大值和最小值的平均度量数据的离散度最常用度量：五数概括（基于四分位数）、中间四分位数区间和标准差四分位数、孤立点和盒图百分位数(percentile)：第k个百分位数是具有如下性质的值x：数据项的k%在x上或低于x四分位数 ：Q1 (25th percentile), Q3 (75thpercentile)中间四分位数区间

48、(IQR)：IQR = Q3 Q1对倾斜分布的描述， 除了IQR还常需两个四分位数Q1和Q3，以及中位数M，一个识别孤立点的常用规则是： 挑出落在至少高于第三个四分位数或低于第一个四分位数1.5IQR处的值在盒图中：端点在四分位数上，使得盒图的长度是IQR中位数M用盒内的线标记胡须延伸到最大最小观测值该盒图为在给定时间段在AllElectronics的 4 个分店销售的商品单价的盒图分店 1 中位数 $80 Q1: $60Q3: $100 基本统计类描述的图形显示直方图常用的显示数据汇总和分布的方法：直方图、分位数图、q-q 图、散布图和局部回归曲线直方图一种单变量图形方法m1aa)count

49、(q)count(qweightdiijCCniixnx11niiniiiwxwx11medianmodmean名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 21 页 - - - - - - - - - 由一组矩形组成， 这些矩形反映类在给定数据中出现的技术或频率大型数据库中的关联规则挖掘什么是关联规则挖掘？关联规则挖掘：从事务数据库， 关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。应用：购物篮分析、 分类设计、 捆绑销售和亏

50、本销售分析关联规则：基本概念给定：项的集合：I=i1,i2,.,in任务相关数据D是数据库事务的集合，每个事务T则是项的集合，使得每个事务由事务标识符TID标识；A,B为两个项集，事务T包含A当且仅当则关联规则是如下蕴涵式：其中并且，规则在事务集D中成立，并且具有支持度s和置信度c关联规则度量：支持度和置信度对所有满足最小支持度和置信度的关联规则支持度 s 是指事务集D中包含的百分比置信度 c是指 D中包含 A的事务同时也包含B的百分比假设最小支持度为50% ，最小置信度为50% ，则有如下关联规则A C (50%, 66.6%)C A (50%, 100%) 大型数据库关联规则挖掘过程基本概