2022年数据挖掘的最新发展技术 .pdf

《2022年数据挖掘的最新发展技术 .pdf》由会员分享，可在线阅读，更多相关《2022年数据挖掘的最新发展技术 .pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据挖掘技术引言面对如今海量数据库，人们感到“数据爆炸” ，但“知识贫乏”。数据挖掘技术的出现正是解决了这一问题，能在“数据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户、重新制定他们的产品推广策略，以最小的花费得到最好的销售。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。本文就数据挖掘的常用技术和过程进行了研究。1 数据挖掘的定义数据挖掘（ Data Mining） ，也称数据库中的知识发现（K

2、DD：Knowledge Discovery in Database ） ， 是指从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事前未知的潜在有用信息，提取的知识一般可表示为概念（Concepts ） 、规则（ Rules） 、规律（ Regularities ） 、模式（ Patterns）等形式1。数据挖掘研究具有广泛的应用前景， 因为数据挖掘产生的知识可以用于决策支持、信息管理、科学研究等许多领域。Parsaye 把决策支持空间从应用层次上分成数据空间（Data Space ） 、 聚合空间（Aggregation Space ） 、 影响空间（Influence Sp

3、ace ）和变化空间（ Variation Space ）等 4 个子空间2其中，数据空间是用于处理基于关键字的决策查询，其最典型的是联机事务处理（ OLTP ） ；而对数据空间中数据元素进行聚合运算所形成的空间就是聚合空数据空间影响空间变化空间聚合空间决策支持名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 6 页 - - - - - - - - - 间，它主要用于联机分析处理（OLAP ） ；影响空间则用于处理逻辑性质的决策支持。变化空间负责回答某种变化过程和速度问题，

4、在上述 4 个空间中， 数据挖掘处于影响空间中，从中可以看出数据挖掘在决策支持中所处的重要地位。2 数据挖掘技术的分类数据挖掘技术按照知识的种类可分为：有关联规则挖掘、 分类规则挖掘、 特征规则挖掘、离群数据挖掘、聚类分析、数据总结、趋势分析、偏差分析、回归分析、序列模式分析等；根据挖掘的数据库种类分类有关系型、事务型、面向对象型、时间型、空间型、文本型、多媒体型、主动型和异构数据库等；根据采用的技术分类，最常用的数据挖掘技术有如下7 种：（1） 规则归纳：通过统计方法归纳、提取有价值的if-then 规则；（2） 决策树方法3：即用树形结构表示决策集合，这些决策集合是通过对数据集的分类来产生

5、规则。 决策树方法是首先利用信息熵来寻找数据库中具有最大信息量的字段， 从而建立决策树的一个结点， 再根据字段的不同取值来建立数的分支； 然后在每个分支子集中， 重复建立数的下层结点和分支。（3） 人工神经网络： 这种方法主要是模拟人脑神经元结构，也是一种通过训练来学习的非线性预测模型，它可以完成分类、 聚类、特征规则等多种数据挖掘人物，同时它又以MP 模型和 HEBB学习规则为基础，来建立前馈式网络、反馈式网络、自组织网络3 类神经网络模型；（4） 遗传算法4：这是一种模拟生物进化过程的算法。它是基于群体的、具有随机和定向搜索特征的迭代过程，这些过程有基因组合、交叉、变异和自然选择 4 中典

6、型算子。遗传算法作用于一个由问题的多个潜在解组成的群体上， 并且群体中的每个个体都由一个编码表示，同时每个个体均需依据问题的目标函数而被赋予一个适应值，另外，为了应用遗传算法， 还需要把数据挖掘任务表达为一种搜索的问题，以便发挥遗传算法的优势搜索能力。（5） 模糊技术5:即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。 这种模糊性是客观存在的， 且系统的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 6 页 - - - - - - - -

7、- 复杂性越高，模糊性越强。（6） 粗（Rough ）集方法6:它是 1982 年由波兰逻辑学家Pawlak提出的一种全新的数据分析方法，近年来在机器学习和KDD 等领域获得了广泛的重视和应用。 这种粗集方法是一种研究信息系统中不确定、不精确问题的有效手段， 其基本原理是基于等价类的思想，而这种等价类中的元素在粗集中被视为不可区分的，其基本方法是首先用粗集近似的方法来将信息系统中的属性值进行离散化，然后对每一个属性划分等价类，再利用集合的等价关系进行信息系统的约简；最后得到一个最小的决策关系，从而便于获得规则。（7） 可视化技术7:即采用直观的图形方式来将信息模式、数据的关联或趋势呈现给决策者

8、，这样决策者就可以通过可视化技术来交互地分析数据关系，而可视化技术主要包括数据、模型和过程3 方面的可视化，其中，数据可视化主要有直方图、 盒须图和散点图； 模型可视化的具体方法则与数据挖掘采用的算法有关。3 数据挖掘的过程KDD的整个过程包括在指定的数据库中用数据挖掘算法提取模型，以及围绕数据挖掘所进行的预处理和结果表达等一系列的步骤，是一个需要经过反复的多次处理的过程。 整个知识发现过程是由若干挖掘步骤组成的，而数据挖掘仅是其中的一个主要步骤。整个知识发现的主要步骤有以下几点。（1） 目标定义阶段： 要求定义出明确的数据挖掘目标。目标定义是否适度将影响到数据挖掘的成败， 因此往往需要具有数

9、据挖掘经验的技术人员和具有应用领域知识的专家以及最终用户紧密协作，一方面明确实际工作中对数据挖掘的要求，另一方面通过对各种学习算法的对比进而确定可用的算法。（2） 数据准备阶段： 数据准备在整个数据挖掘过程中占得比例最大，通常达到60%左 右 。这 个 阶 段 又 可以 进 一 步 划 分为 三 个 子 步 骤： 数 据 选 择（ DataSelection） ， 数 据 预处 理（ DataProcessing ）和 数据 变 换 （ Data Transformation） 。数据选择主要指从已存在的数据库或数据仓库中提取相关数据，形成目标数据（Target Data） 。数据预处理对提取

10、的数据进行处理，使之符合数据挖掘的要求。 数据变换的主要目的是精减数据维数，即名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 6 页 - - - - - - - - - 从初始特征中找出真正有用的特征以减少数据挖掘时要考虑的特征或变量个数。（3） 数据挖掘阶段： 这一阶段进行实际的挖掘工作。首先是算法规划， 即决定采用何种类型的数据挖掘方法。然后，针对该挖掘方法选择一种算法。完成了上述的准备工作后， 就可以运行数据挖掘算法模块了。这个阶段是数据挖掘分析者和相关领域专家最关

11、心的阶段，也可以称之为真正意义上的数据挖掘。（4） 结果解释和评估阶段：根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息提取出来。 对于数据挖掘阶段发现的模式还要经过用户或机器的评估， 对于存在冗余或无关的模式要将其删除；对于不能满足用户要求的模式， 则需要退回到上一阶段。 另外，数据挖掘面对的最终用户是人，因此要对发现的模式进行可视化，或者把结果转换为用户易懂的其他方式。4 数据挖掘应用数据挖掘技术旨在发现大量数据中所隐藏的知识，以用来解决“数据丰富、知识贫乏” 问题。今年来随着数据库和网络技术的广泛应用，加上使用先进的自动数据生成和采集工具， 人们所拥有的数据量急剧增加，为数据

12、挖掘技术的应用创造了必要条件。（1） 科学研究：在信息量极为庞大的天文、气象、生物技术等领域中，由于所获得的大量实验和观测数据靠传统的数据分析工具要求迫切，这种需求推动了 KDD 技术在科学研究领域的应用发展，并且获得了一些重要的应用结果。（2） 金融投资： 由于金融投资的风险很大， 因此在进行投资决策时， 需要对各种投资方向的有关数据进行分析，以选择最佳的投资方向， 而数据挖掘则可以通过对几有数据进行处理，并利用学习得到的模式进行市场预测。（3） 市场营销：市场营销师数据挖掘技术应用最早也是最重要的领域。在该行业的应用可分为两类： 数据库市场营销和货篮分析。 前者可以通过交互式查询、数据分割

13、和模型预测等方法来选择潜在的顾客以便向他们推销商品；后者可通过分析市场销售数据，以识别顾客的购买行为模式。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 6 页 - - - - - - - - - （4） 保险业：保险是一项风险业务， 保险公司的一个重要工作就是进行风险评估。通过研究证明， 可以利用数据挖掘来技术进行风险分析，在保险公司建立的保单及索赔信息数据库的基础上，寻找保单中风险较大的领域， 从而得出一些实用的控制风险的规则，以指导保险公司的工作。（5） 制造业：主

14、要用于零部件的故障诊断、 资源优化和生产过程分析等制造过程，发现影响生产率的因素， 通过发现出某些不正常的数据分布，暴露制造和装配操作过程中变化情况和各种因素，从而协助质量工程师很快得注意到问题发生范围和采取改正措施。（6） 通信网络管理： 在通信网络运行过程中， 会产生一系列警告， 数据挖掘可以通过分析已有的警告信息的正确处理方法以及警告之间的前后关系，来得到警告之间的关联规则， 这些有价值的信息可用于网络故障的定位监测和严重故障的预测。（7） 学校教育：学校教育管理中也存在大量的可挖掘数据信息，如相关专业课开设的先后关系、 教学效果评价等方面， 都可以应用到数据挖掘技术，但目前在国内这一应

15、用领域仍以理论研究为主。结语数据挖掘是近年兴起的一项新的技术，它在许多领域中取得了成功的应用，作为新兴的领域， 数据挖掘还面临着许多挑战和未解决的问题。另外，由于现实世界的复杂性、 数据的多样性和不同的应用目标，还不能形成一个通过的数据挖掘系统适应于所有情况， 对于不同的应用建立不同数据挖掘系统，对于同一个应用，不同的数据挖掘系统可能产生不同的结果。不管如何， 作为适应时代需要而产生的一项新技术， 数据挖掘技术在理论和实际应用上还有待于进一步的发展和完善，其在生产决策、经营管理、金融预测、工业控制等许多领域都有着广泛的应用价值和理论研究前景。参考文献1 Fayyad U M, Piatetsk

16、y-shapiro G, Smyth P . Advances in knowledge discovery and data mining. California: AAA I/M IT Press,1996. 2 Kam ran Parsage. Surveying decision support. Database Programming and Design.1996,9(4):27-33. 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 6 页 - - - -

17、 - - - - - 3陆汝钤 .人工智能 .北京:科学出版社 ,1996:823-844；4 刘明吉 ,王秀峰 ,王治宝等 .一种基于遗传算法的知识挖掘算法.计算机工程,2000,26(8):1314. 5 何新贵 .数据采掘中的模糊技术 .计算机科学 ,1998,25(专刊):129-131. 6 郭学军 ,陈晓云 .粗集方法在数据挖掘中的应用.兰州大学学报(自然科学版),1999,35(增刊):276-279. 7 万家华 ,刘冰,江早.知识发现中的可视化技术.计算机科学 ,2000,27(增刊):131134. 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 6 页 - - - - - - - - -