数据挖掘结果的可视化问题-精品文档资料整理.pdf

《数据挖掘结果的可视化问题-精品文档资料整理.pdf》由会员分享，可在线阅读，更多相关《数据挖掘结果的可视化问题-精品文档资料整理.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、文章编号:1008 - 1402(2004)04 - 0561 - 04数据挖掘结果的可视化问题王国庆(莆田学院 电子信息工程系,福建 莆田351100)摘 要: 分析数据挖掘与信息可视化之间的关系,介绍如何对关联分析和分类、 聚类分析的结果进行可视化研究,探讨实现数据挖掘结果可视化的技术手段.关键词: 数据挖掘;关联;聚类;可视化中图分类号:TP274+.2 文献标识码:A1 数据挖掘近年来,随着数据库技术和计算机网络的广泛应用,人们所拥有的数据量急剧扩大,数据迅速增加与分析方法滞后之间的矛盾越来越突出.实际上,在激增的数据背后,隐藏着许多重要的信息.数据挖掘正是通过检查和分析数据仓库中存储

2、的大量数据来提取知识和信息,发现有意义的关联模式和趋势,为管理决策建立预测模型.数据挖掘,又称为数据库中的知识发现(Knowledge Discovery in Database ,K DD) ,它包含了一系列旨在从大型数据库或数据仓库中提取有潜在应用价值的信息或模式的技术,是人工智能、 神经网络、 数据库、 预测理论、 机器学习和统计学等技术的综合产物1.作为一门处理数据的新兴技术,数据挖掘有许多的新特征.首先,数据挖掘面对的是海量的数据,这也是数据挖掘产生的原因.其次,数据可能是不完全的、 有噪声的、 随机的,有复杂的数据结构,维数大.最后,数据挖掘是许多学科的交叉,运用了统计学,计算机,

3、数学等学科的技术.数据挖掘中常见和应用最广泛的算法和模型有:1)传统统计方法:抽样技术:我们面对的是大量的数据,对所有的数据进行分析是不可能的也是没有必要的,就要在理论的指导下进行合理的抽样.多元统计分析:因子分析,聚类分析等.统计预测方法,如回归分析,时间序列分析等.2)可视化技术:用图表等方式把数据特征直观地表述出来,如直方图等,这其中运用的许多描述统计的方法.可视化技术面对的一个难题是高维数据的可视化.3)决策树:利用一系列规则划分,建立树状图,可用于分类和预测.常用的算法有CART,CHAID ,ID3 ,C4.5 ,C5.0等.4)神经网络:模拟人的神经元功能,经过输入层,隐藏层,输

4、出层等,对数据进行调整,计算,最后得到结果,用于分类和回归.5)遗传算法:基于自然进化理论,模拟基因联合、 突变、 选择等过程的一种优化技术.6)关联规则挖掘算法:关联规则是描述数据之间存在关系的规则,形式为 “A1A2AnB1B2Bn”.一般分为两个步骤:求出大数据项集.用大数据项集产生关联规则.除了上述的常用方法外,还有粗集方法,模糊集合方法,Bayesian Belief Netords ,最邻近算法(k - nearestneighbors method(kNN)等2. 收稿日期:2004 - 05 - 14作者简介:王国庆(1970 - ) ,女,安徽省马鞍山市人,莆田学院讲师. 第

5、22卷 第4期 佳 木 斯 大 学 学 报(自 然 科 学 版)Vol.22 No.42004 年1 0月 Journal of Jiamusi University (Natural Science Edition)Oct.20042 信息可视化可视化技术一直是计算机领域的研究热点.信息可视化(Information Visualization)的概念来自于科学计算可视化(Visualization in Scientific Computing) .一般来说,科学计算可视化指的是空间数据场可视化,信息可视化指的是非空间数据的可视化.信息可视化运用计算机图形学和图像处理技术,将数据转换为图形

6、或图像在屏幕上显示出来,并进行交互处理的理论、 方法和技术.它试图通过包括计算机图形学、 图像处理、计算机辅助设计、 计算机视觉及人机交互技术在内的多种技术的综合,通过人类视觉系统的作用及其能力,把数据模型中的数据呈现在我们面前,以便分析趋势和确定模式3.信息可视化具有交互性、 多维性、 可视性等特点,用户可以以交互的方式管理和开发数据,数据可以按其每一维的值,进行分类、 排序和组合,用图象、 曲线、 二维图形、 三维体和动画来显示,并可对其模式和相互关系进行可视化分析.信息可视化可以大大加快数据的处理速度,使时刻都在产生的海量数据得到有效利用,可以在人与数据、 人与人之间实现图像通信,从而使

7、人们能够观察到数据中隐含的现象,为发现和理解科学规律提供有力工具;信息可视化还可以实现对计算和编程过程的引导和控制.3 可视化数据挖掘可视化数据挖掘是应用可视化技术在大量数据中发现知识的过程,数据挖掘的可视化利用了人类在可视化形式下对模型和结构的获取能力,使抽象的信息以简明的形式呈现出来,加深用户对数据含义的理解,更好地了解数据之间的相互关系和发展趋势.可视化数据挖掘的基本思想是将数据库中的每一个数据项作为图形元素输出,大量的数据集构成数据图像,同时将数据的各个属性值以多维数据的形式来表示,可以从不同的维度观察数据,从而对数据进行更深入的观察和分析.可视化数据挖掘主要应用在四个方面:数据准备阶

8、段的可视化、 模型生成阶段的可视化、 结果呈现阶段的可视化、 数据流程的可视化.4本文以关联分析和聚类挖掘为例,从应用的角度论述了挖掘结果可视化应用的一个实例,主要的工作是:将数据挖掘的结果转换为能够在屏幕上显示的坐标点,根据生成的各个点之间的距离和簇的形状,判断本次挖掘过程的执行效果.4 关联分析(association analysis)可视化两个或两个以上数据之间存在某种规律性,就称为关联.数据关联是数据库中存在的一类重要的、 可被发现的知识.关联分析的目的是找出数据中隐藏的关联网.关联分析常被用来分析顾客的购买模式和产品生产模式等.关联分析可以描述为:设I = i1,i2,im是m个不

9、同项目的集合,D是针对I上的事件的集合,D中每一个事件包含若干项目I,且I I ,则关联规则表示为XY,其中X,YI ,并且XY=,X成为规则的前提,Y是结果.针对每一规则,应同时计算最小支持度和最小置信度.对于D I ,X是包含于D的事件子集,则子集X在集合D上的最小支持度为:support(X) = S(X)/ S(D) ,其中S(X)表示包含项目X的事件个数,S(D)表示事件D的个数. XY的最小置信度为:confidence(X Y) = S(XY)/ S(X) ,其中S(XY)表示同时包含X和Y的事件个数.如果计算得出的最小支持度和最小置信度同时大于用户规定的阀值,认为规则有意义.最

10、小支持度和最小置信度可以用来度量关联规则的相关性,还可以引入兴趣度、 相关性等参数,使得所挖掘的规则更符合需求.例如:根据某公司销售数据构造出两种商品间的关联表如表1所示,其中每一个数值表示行、 列代表的两种商品同时被一个顾客购买的次数.计算出每一商品的最小支持度为:support (洗面奶) = 0. 6 ,support (日霜) = 0. 4 ,support (晚霜) = 0. 6 ,265佳 木 斯 大 学 学 报(自 然 科 学 版)2004年support(洗发水) = 0.8 ,support(沐浴乳) = 0.6.计算出最小置信度,如表2所示:表1 两种商品的关联表XY洗面奶

11、日霜晚霜洗发水沐浴乳洗面奶32211日霜22111晚霜21311洗发水11143沐浴乳11133表2XY的最小置信度表XY洗面奶日霜晚霜洗发水沐浴乳洗面奶/0.6670.6670.3330.333日霜1/0.50.50.5晚霜0.6670.333/0.3330.333洗发水0.250.250.25/0.75沐浴乳0.3330.3330.3331/如果用户规定的最小支持度和最小置信度阀值均为0. 5 ,则经过关联分析得出的规则有:晚霜 洗面奶,洗面奶 晚霜,洗发水 沐浴乳,沐浴乳 洗发水.根据这些规则,公司在营销时可以采取一些措施,如:将晚霜与洗面奶、 洗发水与沐浴乳放在一起销售,营业员在顾客购

12、买时适当推荐另一种商品,生产与发货运输时关联产品可以配套安排等,提升顾客满意度5.可以采用柱状图或条形图作为关联规则可视化的方法,在柱状图或条形图的可视化模型中,每一规则以柱或条的形式呈现出来,柱或条的长度、 背景颜色及位置都可以对挖掘结果的可视化有所帮助.如将上例最小置信度表绘制柱状图和条形图后如下所示,去除最小支持度低于0. 5的日霜后,找出坐标值在0. 5以上的点,可以发现规则:晚霜 洗面奶,洗面奶 晚霜,洗发水 沐浴乳,沐浴乳 洗发水.图1 最小置信度表柱形图 图2 最小置信度表条形图5 分类与聚类分析(classification and clustering analysis)可视

13、化分类分析首先给每一个记录一个标记,然后按标记进行分类,得出这些记录共同的特征.聚类预先没图3 大钰贸易采购状况分析有给记录标记,按一定规则对记录进行划分、 归类,再描述类别.聚类分析与分类分析互逆,二者可以结合使用.分析人员可以先按经验对数据分类,然后抛开标记,将分类的结果作为一种规则对全体数据进行聚类分析,这样可以得到更好的分类结果.例如,可以根据一年的购买记录将顾客购买能力划分为富裕型、 小康型、 温饱型,然后忽视顾客的购买金额,按照规则对全体数据进行聚类分析,那些符合小康型顾客规则,但是购买金额不符合小康水平的顾客成为有发展潜力的客户6.聚类本质上是对于一个实体空间中密度的群体估计.考

14、虑一个二维空间,每一个观察点都占据二维实体空间中的一个点,聚类的目标就是发现在实体空间中一些包含很多观察点的区域.6因此可以采用基于365第4期王国庆:数据挖掘结果的可视化问题质点的可视化方法如:散点图来展示聚类分析的结果.例如:通过对SQL Server2000自带的罗斯文数据库进行挖掘与分析后,绘制散点图,可以看出大钰贸易每月的平均采购金额在3 ,000 - 15 ,000元之间.6 数据挖掘结果可视化的技术实现数据挖掘的后台数据库服务器采用SQL Server 2000 ,选取数据集使用T - SQL语句,T - SQL (Trantsact- SQL)是微软公司在SY BASE的基础上

15、发展起来的一种结构化查询语言,是应用程序和存储过程与SQLSERVER通讯和访问的工具,包涵了ANSI89和ANSI92标准.T- SQL的选取语句一般格式如下:SELECT ALL| DISTINCT 别名 , 别名FROM 别名 , 别名WHERE GROUP BY , . . .HAVING ORDER BY ASC| DESC , ASC| DESC ;可视化对象的实现采用在VB环境下创建一个能够绘制空间点坐标的控件SphereDisplay ,调用Mi2crosoft公司的图形软件开发包DirectX8.1 ,在屏幕上绘制出空间数据点的方法来实现.7参考文献:1 庄玮.数据挖掘技术及

16、其在网上书店的应用J .出版发行研究,2001 ,12:66 - 69.2 王斌会,吴载斌.数据挖掘技术及其应用现状 EB/ OL. http :/ /www. cioworld. net/ cgi - new/ violethtml/ 8/ 2004 - 02 - 17/ 20040217195351.html ,2004 - 02 - 17.3 唐泽圣.三维数据场可视化M .北京,清华大学出版社,1999.4 钱肖鲁,朱建秋,朱扬勇. DMVisualMiner :一个可视化数据挖掘分析平台 EB/ OL. http :/ /www. dmgroup.org. cn/ lunwen/ DM

17、VisualMiner.pdf.5 钱峰,徐麟文.数据挖掘及在营销中的应用J .杭州电子工业学院学报,2001 ,21(4) :9 - 14.6 庄玮.数据挖掘技术及其在网上书店的应用J .出版发行研究,2001 ,12:66 - 69.7 余世银,乐嘉锦,张侃.数据挖掘可视化研究J .东华大学学报(自然科学版) ,2001 ,27(2) :102 - 106.VISUALIZATION OF DATA MINING RESULTSWANG Guo-qing( Mechanical & Electronic Department , Putian University, Putian 3511

18、00, China)ABSTRACT:This paper analyses the relationship between data mining and information visualization , intro2duces some methods about visualization of association and clustering results , and discusses some technique of data min2ing visualization implement.KEY WORDS :data mining; association; clustering; visualization465佳 木 斯 大 学 学 报(自 然 科 学 版)2004年