企业数据仓库与数据挖掘技术的应用研究(8页).doc

《企业数据仓库与数据挖掘技术的应用研究(8页).doc》由会员分享，可在线阅读，更多相关《企业数据仓库与数据挖掘技术的应用研究(8页).doc（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、-企业数据仓库与数据挖掘技术的应用研究-第 8 页企业数据仓库与数据挖掘技术的应用研究【摘要】当今世界，随着科学技术的发展，数据的迅速增长，信息量的急剧增加，为人类提出了一个急待解决的课题，即如何有效地使用这些数据。目前还处于数据丰富而知识贫乏阶段，利用当前的数据库技术并不能充分发挥这些数据的作用。本文介绍了数据仓库与数据挖掘技术，分析了数据仓库与数据挖掘技术对于现代企业的作用。关键词:数据仓库；数据挖掘；特征；应用Enterprise data warehouse and data mining technology research and ApplicationAbstract：Nowa

2、days, with the development of science and technology, the rapid growth of data, amount of information increasing, as people put forward an urgent task, i.e., how to effectively use these data. There is abundant data and poor knowledge stage, using the current database technology and can not give ful

3、l play to the role of these data. This paper introduced the data warehouse and data mining technology, analysis of the data warehouse and data mining technology in modern enterprises role.Key words：Data warehouse; data mining; characteristics; application一.数据仓库与数据挖掘数据仓库的概念提出于20世纪80年代中期。目前数据仓库的定义不完全统

4、一。“数据仓库之父”在其（Building the Data Warehouse）一书中定义：数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变、持久的数据集合。它指出了数据仓库技术是解决企业决策支持系统的重要手段。 数据仓库与传统的数据库系统有着本质的区别。传统的数据库都是事务处理型，主要是对数据库联机的日常操作，这种数据库应用称为联机事务处理（OnLine Transaction Processing，简称OLTP）。而数据仓库是为了满足管理层和分析人员的信息需求，从来自不同地点或不同操作系统的不同数据源的数据进行计算机辅助分析决策，称决策支持系统（Decision Suppor

5、t Systems，简称DSS）。数据仓库的基本特点：1数据仓库是面向主题的 与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。主题是一个抽象的概念，是对企业信息系统中的数据在较高层次上进行抽象的综合、归类并进行分析利用。在逻辑意义上，它是相应企业中某一宏观分析领域所涉及的分析对象。 2数据仓库是集成的 数据仓库的数据主要是作分析用，分析用数据的最大特点在于它不局限于某个具体的操作数据，而是对细节数据的归纳和整理。数据仓库中的综合数据不能从原有数据库系统中直接得到而需从其中抽取。 3数据仓库是稳定的 数据仓库主要是为信息分析提供综合的、集成的、面向某一分析主题

6、的数据，这些数据主要涉及维护查询。数据仓库数据反映的是一段相当长的时间内历史数据的内容，而不象事务处理中的数据是频繁变化的数据。当数据经过集成进入数据仓库后是极少进行更新或根本不考虑更新。 4数据仓库是随时间变化的 虽然数据仓库中的数据一般是不更新的，但是在数据仓库的整个生存周期中的数据集合却是随着时间的变化而变化的。主要表现在以下方面：首先，数据仓库随着时间的变化要不断删除旧的数据内容。数据仓库中的数据也有存储期限，一旦超过了这一期限，过期的数据就要被删除。数据仓库中的数据并不是永远保存，只是保存时间更长而已。其次，数据仓库中保存的数据是历史数据，对用户来说不能更改数据仓库中的数据，但可以随

7、着时间变化系统定期进行刷新，把OLTP数据库变化的数据追加到数据仓库中，随时导出新的综合数据和统计数据数据挖掘（DM，DataMining）是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中挖掘出隐含在其中、人们事先不知道的、但潜在的、有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 数据挖掘与传统的数据分析（如查询、报表、联机应用分析）有本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先

8、未知，有效和可实用三个特征数据挖掘和知识发现的研究的三根技术支柱： 数据库 人工智能 数理统计 目前DM(数据挖掘)的主要研究内容包括基础理论、发现算法、数据仓库、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。 数据挖掘与数据仓库的慨念是密不可分的，数据挖掘要求有数据仓库作基础，并要求数据仓库已经存有丰富的数据。数据挖掘比本文后面谈到的多维分析更进一步。例如，如果管理人员要求比较各个区域某类产品销量在过去一年的情况，可以从多维分析中找答案。但是，如果管理人员要问为何一种产品销量在某地区的情况突然变得特别好或不好，或者问

9、该产品在另一地区将会怎样，这些是用多维分析工具难以简单解决的问题，就需要利用数据挖掘工具寻找回答。在实施智能化决策时，一般分两个步骤：第一步实现数据仓库和多维分析，构造智能决策的基础，实现分析应用；第二步实现数据挖掘，再发挥智能化决策的特色。数据挖掘是数据利用价值的再发现，它突破了传统意义上的数据查询，是在更大的尺度上、更深的层次中对数据提高利用的价值，是数据仓库应用的关键。 二.数据仓库在企业中的应用研究数据仓库的应用在企业中实现的方式包括固定报表、多维分析、即席查询和数据挖掘等四种。固定报表主要是以固定表格的形式满足相应业务用户对于信息的使用需求。固定报表所反映的往往是企业或部门相关人员关

10、心的常用指标，它是一种例行报表，如年报、月报、日报等。即席查询是信息利用的另一种主要方式。由于市场的变化、业务需求的变化、领导决策需求的变化等等，随时可能需要知道相关的业务指标，这些类型的应用需求往往需要通过即席查询来实现。即席查询的用户可以分为三类：（1）决策用户，可使用的信息面应该是全企业的所有信息；（2）各部门业务用户，可使用的信息面应当是部门相关的基本信息；（3）数据管理部门，实际是决策用户信息应用的实现者，即决策用户对于信息的应用需求往往通过该部门实现。同时，他们还负责信息的主动发掘、总结和发布。即席查询可分为战术性和战略性两种。战术性即席查询包括在一个客户经理所管辖的片区内，按账务

11、月、客户、产品等统计营收或进行排序等。由于战术性即席查询涉及的数据量很少，数据库不需要进行全表扫描操作，因此响应速度很快，通常都在秒级响应。战略性即席查询包括：按时间、产品和客户群分析新增客户数、使用量和营收，找出符合某一条件（如：半年之内消费金额下降）的所有客户名单。这些查询可能需要进行全表扫描操作，因此响应速度为分钟级。一般而言，战术性即席查询多为各部门业务用户使用，战略性即席查询多为数据管理部门或决策用户使用。多维分析即通常所说的OLAP分析，就是通过以多维的方式存储数据，能够为用户提供不同维度的、高性能的访问需求。多维分析是面向那些分析型需求的用户，他们能够从不同的角度灵活组合分析某一

12、指标，同时能够通过维度的使用完整各种指标的横比、总比和环比等分析功能。数据挖掘是所有信息访问需求中最高层次的需求，数据挖掘解决的往往是某一专题的业务问题，比如预测客户的流失情况、综合分析客户的信用度以及价值等。数据挖掘往往需要专门的知识用户，这些用户不仅对数据的组织和访问形式有深入的了解，同时也对通过各种模型进行高层次业务分析有充分的经验，数据挖掘的用户面相对比较窄，但是这类用户对于数据的访问权限级别比较高。三.数据挖掘技术的应用数据挖掘技术在商业方面应用较早，它可以增强企业的竞争优势，缩短销售周期， 降低生产成本，有助于制定市场计划和销售策略。目前，已经成为电子商务中的关键技术。由于数据挖掘

13、在开发信息资源方面的优越性，已逐步推广到保险、 医疗、制造业和电信等各个行业的应用。1零售业中的数据挖掘零售业是数据挖掘应用较为活跃的一个领域。了解客户的购买习性和趋向， 对于零售商制定销售策略是至关重要的。通过关联规则挖掘，分析客户对直接邮件的响应率，发现有利顾客的特征，有目的性的开展广告和销售业务。通过对顾客的忠诚度分析，相应调整商品的价格和类型，改进销售服务，有利于保留现有客户，寻找潜在的客户。扩大销售的范围和规模，从而增加销售量。通过在线销售的数据，得出产品关联的商用信息和客户的购买习惯，使进货的选择与搭配更具科学性。2保险业中的数据挖掘随着社会保障体系的日益健全，保险业取得了蓬勃的发

14、展，发挥着越来越重要的作用。 如何保持现有客户，争取潜在的客户，以及如何识别诈骗行为，是保险业中面临的主要问题。数据挖掘技术是解决这些问题的有效方式，对业务数据、 客户数据等各种数据分析，有利于保险公司开展业绩评价、财务预算、市场分析、 风险评估和风险预测等，大大地提高企业防范和抵抗经营风险的能力和水平，也为管理人员提供科学的决策依据。建立预测模型，对投保人的层次分类， 发现索赔的投保人特征，统计索赔的次数和相关的信息，更有效地了解客户行为。 同时，分析保险欺诈案件的特征和规律，有效地预防欺诈案件的发生，减少和控制了公司资金的非法流失。针对投保人的工作性质、年龄、健康状况和工资等记录， 寻找影

15、响索赔率的内在因素。3金融业中的数据挖掘由于金融业中的数据相对比较完整 质量较高，因此，数据挖掘在这一领域中的应用相对较为成熟，也取得较好的社会效益和经济效益。通过分析市场波动的因素， 建立预测模型，进行投资分析和预测，改进预测市场波动的能力，为投资决策提供科学的依据。在分析客户的工资收入、教育水平、居住区域和信用历史等的基础上， 找到影响信贷的重要因素， 进而调整贷款发放政策。如 公司开发了应用在金融业中的数据挖掘产品， 美国第一银行、国家银行、银行和化学银行等都采用了数据挖掘技术。通过信用欺诈的建模和预测、 风险评估、 收益分析， 帮助银行发现具有潜在欺诈性的事件，开展欺诈侦查和其他金融犯

16、罪行为分析， 预防资金非法流失。网站动态数据挖掘， 有助于识别有价值的客户， 开展跨区销售，强化客户关系管理 。孤立点挖掘可以发现异常模式，侦查不寻常的信用卡使用，确定极端客户的消费行为。在证券交易中，帮助股票预测、证券市场分析等，可以发现“ 利润超重” 和“ 账务造假” 等现象，避免遭受重大的经济损失。4医疗保健中的数据挖掘医学和生物工艺学中的基因分析中，需要处理大量的基因数据， 通过数据挖掘技术有助于对这些数据的研究和理解 。医学领域中对疑难病症的攻关和研究， 结合数据挖掘技术， 建立各种医疗数据模型，找出数据本质上的联系和现象， 推动医学研究的进展。对医学历史数据的收集和分析后，可以找到

17、疾病产生的原因，优化药物的搭配，提供最佳的治疗方案。融入专家知识和人工智能技术等，集成医学诊断专家系统，进行医疗自动诊断，药物的疗效分析和新药物的合成。研究人口的地区分布、年龄构成和身体状况等特征，有利于开展药品销售、医疗设施配备和医院布局等活动。如美国公司在医药方面引入了数据挖掘技术 ， 包括医药处方定位和分割， 评价药品销售效果以及建立行为预测模型； 牛津移植中心也采用基于决策树方法的 辅助他们的研究工作。5制造业中的数据挖掘在制造业中，数据挖掘广泛地应用于控制产品生产流程和技术规划方面。分析产品各种指标参数的关系，优化原料的搭配，开发新的产品类型。根据市场信息数据库中居民密度分布、收入状

18、况和相应的城市规划等信息，企业可以展开产品需求量的调查。例如汽车制造商挖掘信息库中人口分布、区域购买力状况及公路交通状况等信息，依据分析结果，决定产品的销售渠道、总体和局部销售网点的规划等，对商业网进行部署，并及时调整产品的生产导向和生产结构，这对于企业和公司的经营状况和发展前景具有重要的影响。在产品的控制和检测方面， 孤立点分析可以用于检验产品质量， 识别偏差检测。 了解相关产品的供需比例、 消费者分布等信息，制定产品生产策略。美国的部分大型钢铁公司将数据挖掘技术应用在发现和探测潜在的质量问题，提高了产品的生产质量和效率。参考文献： 1樊志平，基于数据挖掘技术的企业信息化建设J.商场现代化，20082陈京民.数据仓库与数据挖掘技术 M .北京:电子工业出版社2002. 52199.3王 珊数据仓库技术与联机分析处理 M 北京：科学出版社，1 9 9 84苏新宁. 数据仓库和数据挖掘 .清华大学出版社 .20075邹先霞、王淑礼、魏长华，数据仓库与数据挖掘技术浅谈J高等函授学报(自然科学版)，2000,(03). 6 张丽丽 数据挖掘技术的应用分析 J 山西经济管理干部学院学报 ， 2 O O 3 ，1 1 ( 4 ) ：7 5 7 6