通信资源管理系统的设计与数据挖掘.doc

《通信资源管理系统的设计与数据挖掘.doc》由会员分享，可在线阅读，更多相关《通信资源管理系统的设计与数据挖掘.doc（96页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 分类号： TP311.52 学校代号：10150UDC： 密级： 学 号：硕士学位论文通信资源管理系统数据库的设计及数据挖掘Design and Data Mining of Communication Resource Management System Database学生姓名：聂旻导师及职称：李桂林 副教授学科门类：工学专业名称：交通信息工程及控制研究方向：通信网络、计算机软件应用申请学位级别：硕士论文答辩日期：2010年 6月 6日学位授予单位：大连交通大学摘 要通信是国民经济的基础部门，各类通信部门已经投运了大量的通信设备，其资源数据规模已达到TB级甚至PB级，而通信行业又是以设备

2、众多、线路复杂所著称的，人工管理方式已远远不能满足实际需要，因此，建立一套通信资源管理系统是十分必要的，本文所阐述的通信资源管理系统是具有3D显示特点的系统，为此，需要在数据库的结构予以支持，本文的大部分工作就是围绕这个内容展开。通信资源管理系统的数据库设计是一个基础工作，以通信系统的基本原理为基础，以数据紧凑、规范、高效为目标，设计数据库结构，以达到更快的数据库响应速度和分析能力。本文全面系统地论述了构建通信资源管理系统数据库的理论与技术，并结合实际情况在SQL_Server2000平台上对通信资源管理系统数据库进行了设计。针对通信资源数据访问效率和数据结构的安全性，本文对数据优化（收缩）必

3、要性进行了充分的阐述，并结合实际应用，编写了数据优化的程序，获得了满意的结果。数据库与数据挖掘总是密不可分的，数据挖掘（Data Mining）技术就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，也成为数据库中的知识发现KDD(Knowledge Discovery in Databases)。数据挖掘总体可以分为数据准备、数据挖掘两个大的阶段。在数据挖掘过程中，根据通信资源管理系统中的数据特点需要对数据进行过滤、转换等操作。本文提出了通信资源数据的数据挖掘一些思路，分析了几种核心数据挖掘算法的应用，针对系统

4、中通信设备生产厂家的设备占有率及其影响、电路连接关系及路由的生成、通信网络的平衡性进行了一些理论分析和挖掘系统的初步设计。关键词：通信资源；数据库；标识列；数据挖掘AbstractAs the basis department of the national economy sectors, many communication departments have a large amount of communication equipments which put into operation,Its size of resource data has reached TB or PB gr

5、ade level.However, communication equipment industry is well known as its large number of equipments and complex circuits, making manual management far from meeting the real needs. Therefore, its necessary to establish a communication resource management system. A database is designed in this paper t

6、o support the data structure in 3D display featured communication resource management system.The design of communication resource management system database is a fundamentalwork based on the basic communication system theory, with the database structure, making the data more compacted, specificated,

7、 efficient, and to achieve faster response speed. This article discussed basic theory and technologies of communication resource management system comprehensively, and a database is designed combined with the actual situation on the communication resource management system .According to the analysis

8、 of the data communication resources efficiency and the security of data structure, in this paper,the necessity of data optimization is described and combined with the practical applications, the data optimized programs are designed to get the satisfied results.Database and data mining are always in

9、separable, data mining technology,also called KDD(Knowledge Discovery in Databases), is a process of extracting the information and knowledges which are implicit, unknown, but potentially useful , from a large amount of data that is incomplete, noisy, ambiguous, random and with practical application

10、s. Data mining can be divided into data preparation and data mining in general. In the data mining process, according to the data characteristics, the data of communication resource management system need to be filtered and conversed. In this dissertation, communication resources of some methods for

11、 data mining are introduced , analysising several the applications of core data mining algorithm, some theoretical analysis and preliminary design of the mining system are doing according to system of communication equipment manufacturer of equipment and its influence, the share of circuit connectio

12、n relationship and routing, communication network, the balance .Key Words：Communication Resource; Database；Identity column；Data mining目 录摘 要IAbstractII绪 论1第一章 数据库介绍51.1 数据库技术及其发展51.2 数据库研究领域与数据库新技术71.2.1关系数据库81.3 Microsoft SQL Server数据库91.3.1 Microsoft OLAP Service101.4 SQL Server的基本结构101.4.1 Analys

13、is Services服务器端架构121.4.2 Analysis Services客户端架构13本章小结14第二章 数据挖掘介绍152.1数据挖掘介绍152.2 数据挖掘过程162.3数据挖掘中的主要技术172.3.1神经网络182.3.2分类器192.3.3 遗传算法192.3.4规则归纳202.4 统计类数据挖掘方法202.4.1 回归数据挖掘技术202.4.2聚类数据挖掘技术202.4.3 Bayesian Network21本章小结21第三章 通信资源管理系统数据库的设计223.1 概述223.2 数据库设计流程223.2.1 数据库设计流程223.2.2 总体设计233.3 通信资

14、源管理数据库的设计263.3.1 数据库表支持通信资源管理的全面性263.3.2 数据库表支持通信资源管理的专业性273.3.3数据库表支持通信资源管理的图形化283.3.4 数据库表支持通信资源管理的扩展性293.4 程序设计语句举例30本章小结31第四章 通信资源数据的优化324.1数据优化的意义324.2 开发工具324.2.1 Microsoft Visual C+ 6.0324.3 数据的优化334.3.1 优化数据库表的标识列364.3.2 表与表之间的关联关系364.3.3.查找存在关联关系表的三种方法394.3.4 表与表之间的关联关系对程序的影响404.4数据收缩的编程思想及

15、其实现414.4.1 程序流程图和部分程序414.4.2 运行结果显示45本章小结50第五章 数据挖掘515.1通信资源数据挖掘的步骤515.2通信资源数据挖掘的内容525.2.1 设备质量分析525.2.2 设备种类比例分析545.2.3 设备生命周期分析545.2.4 路由分析555.2.5 网络平衡性分析55本章小结55结 论56参 考 文 献58附录1 部分数据库表60附录2 数据优化程序74攻读硕士学位期间发表的学术论文91致 谢92绪 论随着信息技术的日益发展，计算机技术已经深入到我国的各行各业。计算机的应用水平也已成为了评价一个行业生产效率和现代化程度高低的重要标志。近期以来，我

16、国通信公网和专网也在通信管理和通信调度中运用了大量的计算机技术，并积累了宝贵经验。1、课题研究背景由于各类通信部门已经投运了大量的通信设备，其设备先进，储备容量大及其备用通信手段丰富，所以在相当长一段时间内，硬件可以满足通信需要，因此在管理手段上就需要一个跨越式的发展来满足大量增加的通信设备。现实情况是通信网中通信线路和通信设备却由于种种原因一直主要由人工管理，由此带来了不少问题：(1) 由于通信线路纵横交错、属性繁多，通过传统的测绘、制图方法所获得的信息图元众多，给查询整理工作带来了相当多的不便。(2) 通信图纸保存的是历史数据，而实际情况是不断变化的，如新线路的铺设、旧线路的拆除、线路改动

17、及设备增减等，而图纸的物理特性决定了其修改的不便性，重新测绘、制图则更是繁琐且耗资颇大。因此不可避免地造成了图纸信息的过时和不准确。(3) 通信站机房由于通信设备种类繁多、组成复杂，包括分类、制表、抄写及校对等所有这一切均由人工抄写在记录本中，其内容繁琐使日后的查询、修改、整理工作也异常困难，并且随着通信运行人员的变动，个人手中的数据资料不能及时汇总，造成资料流失。因此需要一套通信线路和设备资源管理系统，来提高通信系统自动化管理水平，保证通信资源数据的集中性、一致性、完备性、可靠性，使通信网络维护处于严格、有效和规范化的管理与监控之下，为通信资源的维护提供准确直观的科学决策依据和灵活快捷的分析

18、参考手段。2、课题的任务、意义和所做的主要工作课题的主要任务分为三方面：通信资源管理系统数据库的设计、利用对数据的收缩实现数据库访问的优化和数据结构的保护、对通信资源管理数据的挖掘和分析。在通信资源管理的实现上，为了更形象和更直观，我们在通信资源管理系统的方案中对机房和设备提出了3D展示方式，使用户在使用时有身临其境感觉。这在通信资源管理领域上是一个全新的想法，具有非常广阔的应用前景。该通信资源管理系统中的设备分为智能设备、哑设备、电源设备等，哑设备如配线架；智能设备，如SDH、交换机，PCM等，通信资源管理的总体设计方案已经由其他同学完成，本文负责设计数据库方面，针对基于3D展示方式的通信资

19、源管理系统提出了对通信资源管理系统数据库的设计。数据库的设计主要注重以下几个方面：(1) 全面性：主要是在数据库的表设计上，采用多表体系覆盖通信资源中的所有设备种类，比如,本文定义了光端机表、PCM表、微波设备表、电源表、光配表、数配表、音配表等。再者，相关表列名可以覆盖设备的所有属性。(2) 专业性：通信网络的核心是其连接关系，为了展示连接关系，系统则需要能够生成各种速率的路由，那么，本文在表结构上，设计了多种速率的表，比如：64K模拟电路表、2M电路表、155M光路表、622M光路表等。(3) 图形化：为了在数据库上支持本文所提出的设备3D展示方式，本文在机架表的结构上加入了形状x，y，z

20、三列，以表明设备机架的3D结构，位置x，y两列，以表明设备在机房中的位置，等等。(4) 扩展性：为了将来可以更好地扩展通信资源管理系统，比如：对设备台账属性内容的增减，本文设计了一个独特的表关联表来保存所有表的相关列，以便于将来程序修改和自动调整，而不用人工修改表的结构。本文还对数据的优化提出了自己的见解，主要是在数据库设计完成并录入后，对数据库已存储的资源数据进行必要的优化，由于在通信资源数据的录入过程中，可以预见到会存在大量的建立和删除操作，有时会牵扯到数万行的数据，比如大型音配设备的端子数量就有几万个，SQL Server2000数据库其标识列是自增的，这样在频繁录入和删除数据后，有可能

21、造成数据溢出或影响对数据的访问效率。由于标识列值的设置为自动增长1，其删除记录行后重新添加新记录行而导致其值不连续从而浪费了大量的标识列值的空间，将其标识列值优化（收缩）是改变这种现状的一种方法。通信资源管理系统中的设备关系是十分复杂的，尤其设备端子与其他设备存在相关联关系，甚至与本身设备端子是相关联的，这些设备之间的复杂关系体现在数据库上，表现的是数据库中表与表之间的关联关系，而表与表之间的关联关系则进一步体现在表与表主键的关联关系上，这样我们就不能轻易的优化一张表的标识列，通过上述分析，知道动一发而动全身，这给数据库表的标识列优化带来了非常大的困难。在下面的论述中，将详细阐述解决这一困难的

22、方法，并对其实现标识列的优化。另外，数据的优化（收缩）还支持着本文所提出的数据库的数据结构，在数据库的设计上，我们要保证系统的扩展性，会把一些表的标识列的字符串值作为另一些表的某个列名，比如：板卡类型表的标识列的字符串会做为板卡表的一列，以表明实际板卡的类型和路数（这里板卡内的电路类型可以是多个的，由用户自己创建，由于类型数目不定，无法用多列表示，只能在一列中用一组字符串表示），本文规定板卡的类型字符串不能超过3个字符，板卡类型在正常情况下，不会超过999，当频繁录入和删除板卡类型时，由于标识列不连贯，就有可能造成标识列超限，使系统出现重大错误。通过对其数据进行了清洗、分析和知识发现，可以把先

23、进的数据挖掘技术应用到通信资源管理系统数据库中，为管理人员提供通信设备管理信息。可以帮助管理人员及时、全面了解设备状况、网络结构。这样可以合理安排设备采购计划，为采购设备具体工作提供技术、信息支持；有效地减少各种失误，确保采购任务能够保质保量、按计划完成，从而提高通信设备的安全运行水平。本文对通信资源数据库中的数据分析和数据挖掘进行了一定的研究，提出了一些基于通信资源管理应用方面对数据挖掘的需求，通过这些需求来指导数据库结构的设计。主要是：(1) 主要设备的生产厂家占有率，以此部分地获取设备质量信息，以指导采购。(2) 根据各类电路和光路表提供的连接关系，实现路由的生成。(3) 对通信网中的节

24、点，各层次路由进行全面分析，找出通信网络系统中的关键点，利用色谱图建立资源平衡结果，从中发现薄弱环节。根据资源平衡性的分析结果，可以进行网络优化，调整关键节点和光缆，补强脆弱节点和脆弱联系方式，保障网络的的平衡性。3、本文结构本文的具体章节安排如下：(1) 绪论主要介绍通信资源管理系统数据库的设计及数据挖掘的背景及意义和论文的主要工作。(2) 第一章 数据库介绍本章介绍数据库的一些基本概念，共同点、区别，以及数据库技术的发展进程。(3) 第二章 数据挖掘介绍本章概述了数据库与数据挖掘理论，包括各种挖掘模型及算法，对数据挖掘应用于通信资源管理系统的作用进行了探讨。(4) 第三章 通信资源管理系统

25、数据库的设计本章详细介绍了通信资源管理系统数据库的设计流程：总体设计、需求分析、物理设计及逻辑设计等。(5) 第四章 数据库存储数据的优化本章对数据库的数据结构进行分析，简要介绍了SQL Server2000中存储过程的应用并且尽量避免应用触发器，详细阐述通信资源管理系统数据库表中标识列优化和收缩思想及具体实现方法。(6) 第五章 数据挖掘本章介绍如何运用数据挖掘对通信资源管理系统数据库进行数据分析，提出了一些通信资源数据挖掘的思想，通过编写部分程序得到数据挖掘的某些结果，给决策层提供采购通信设备的依据。(7) 结论 总结全文，本文根据用户需求设计通信资源管理系统数据库，针对数据库的优化提出了

26、不同的解决方案并最终完成对数据库标识列优化，运用数据挖掘算法挖掘出对通信资源管理系统中通信设备与生产厂家所占比例以及生产厂家设备在通信资源管理系统中使用率分布。第一章 数据库介绍随着90年代后期Internet 的兴起与飞速发展，我们进入了一个新的时代，大量的信息和数据，迎面而来，用科学的方法去整理数据，从而从不同视角对企业管理各方面信息的精确分析、准确判断，比以往更为迫切,实施商业行为的有效性也比以往更受关注。1.1 数据库技术及其发展1-4近年来，数据库技术和计算机网络技术的发展相互渗透、互相促进，它们已成为当今计算机领域应用广泛、发展迅速的两大领域。数据库技术是研究如何科学地组织和存贮数

27、据，如何高效地检索数据和进行数据处理的一门学科，它是数据管理的最新技术，是计算机科学的重要分支。数据处理的中心问题是数据管理。对数据的组织、分类、编码、存储、检索和维护统称为数据管理。数据模型是数据库系统的核心和基础，其发展经历了格式化数据模型(包括层次数据模型和网状数据模型)、关系数据模型两个阶段，正在走向面向对象的数据模型等非传统数据模型的阶段。随着计算机硬件和软件的发展，数据管理经历人工管理、文件系统及数据库系统三个发展阶段。(1) 数据库人工管理阶段。这一阶段计算机主要应用于科学计算，此时硬件中的外存只有卡片、纸带、磁带，没有磁盘等直接存取设备，而软件只有汇编语言，没有操作系统和管理数

28、据的软件，数据处理的方式基本是批处理。到60年代，磁盘技术得到了发展，人们提出了数据库的概念。层次和网状数据库系统被称为第一代数据库系统，其代表是: IBM公司1969年研制的层次模型数据库管理系统IMS(Information Management System)；60年代末70年代初，由美国数据库系统语言协会CODASYL(Conference On Data System Language)下属的数据库任务组DBTG(Data Base Task Group)提出的DBTG报告，所提议的方法是基于网状结构的，是网状数据库的典型代表。第一代数据库系统是指：支持层次和网状这两种格式化数据模型

29、的数据库系统。网状模型数据库则是数据库概念、方法和技术的奠基，而层次模型数据库是数据库先驱，。两者的区分是以数据模型为基础，它们的结构都可以用图来表示。层次模型对应于有根的定向有序树，而网状模型对应的是有向图。这两种数据库具有如下共同点：支持三级模式（外模式、模式及内模式）保证数据库系统具有数据与程序的物理独立性和一定的逻辑独立性；用存储路径来表示数据之间的联系；有独立的数据定义语言。这两种数据模型可以统称为格式化数据模型，其中层次模型是网状模型的特例。(2) 文件系统阶段。数据库技术的发展与计算机的发展相互渗透、密不可分。这一阶段，计算机已经不仅仅用于科学计算，还大量用于信息管理，此时计算机

30、硬件有了磁盘、磁鼓等直接存储设备，而软件方面，出现了高级语言和操作系统。数据处理方式有批处理也有联机处理。数据库技术方面，IBM公司San Jose研究室的研究E.F.Codd于1970年发表了题为“大型共享数据库数据的关系模型”的论文，在论文中提出了数据库的关系模型，并开创了数据库关系方法和关系数据理论研究的新纪元，在其后相继的10年中，E.F.Codd又发表了一系列文章，这些文章奠定了关系数据库的理论基础。数据库最有意义的成就是关系数据库的发展。关系数据模型一提出，便立即受到数据库界的重视，但是也有相当多的人认为关系数据模型仅仅是理想化的模型，尤其担心用户难以接受关系数据库中数据挖掘理论方

31、法及应用研究性能。数据库界在1974年开展了一场分别以E.F.Codd支持关系数据库和C.Bachman为首的反对关系数据库的大辩论，这场辩论对于关系数据库的发展起到了促进的作用。关系数据库理论研究和原型开发的时代是20世纪70年代，IBM San Jose研究室开发的System R和Berkeley大学研制的INGRES成为了当时的典型代表。它们研究了关系数据语言并攻克了一系列关键技术，例如，系统实现中故障恢复、查询优化及并发控制等，这些关键技术奠定了关系模型的理论基础，使关系数据库走向社会，成为计算机科学中的一个重要分支。其模型具有以下特点：一是关系模型的概念单一，实体与实体之间的联系用

32、关系来表示；二是关系数据库模型以关系数学为基础；三是数据的物理存储和存储路径对用户不透明；四是关系数据库语言是非过程化的。20世纪80年代是关系数据库的全盛时期。关系数据库成为发展的主流，随着微机的出现和计算机网络的广泛应用，分布式处理系统在80年代得到很大的发展，分布式数据库系统是物理上分散而逻辑上集中的数据库系统5，其也成为80年代数据库研究的重点并且日趋成熟。(3)第三代数据库系统。80年代后期，随着科学技术的不断进步，各个行业领域对数据库技术需求的迅速增长起因是数据库技术在商业领域的巨大成功。这些新的领域一方面为数据库应用开辟了新的天地，另一方面直接推动数据库技术的研究与发展，因为新领

33、域应用中提出一些新的数据管理需求。关系数据库不能完全满足需求，于是第三代数据库应运而生。主要有以下特征：一是支持数据管理、对象管理和知识管理；二是保持和继承了第二代数据库系统的技术；三是对其它系统开放，支持数据库语言标准，支持标准网络协议，有良好的可移植性、可连接性、可扩展性和互操作性等。第三代数据库支持多种数据模型（比如关系模型和面向对象的模型），并和诸多新技术相结合（比如分布处理技术、并行计算技术、人工智能技术、多媒体技术、模糊技术），广泛应用于多个领域（商业管理、GIS、计划统计等），由此也衍生出多种新的数据库技术。新一代数据库技术的研究和发展导致了众多不同于第一、二代数据库的系统诞生，

34、构成了当今数据库系统的大家族6-8。随着科学技术的发展，计算机技术不断应用到各行各业，数据存储不断膨胀的需要，对未来的数据库技术将会有更高的要求。1.2 数据库研究领域与数据库新技术数据库学科的研究范围是十分广泛的，概括地讲，包括以下三个领域：一是数据库管理系统软件的研制，数据库管理系统是数据库系统的基础。DBMS的研制包括研制DBMS本身及以DBMS为核心的一组相互联系的软件工程，包括工具软件和中间件。其研制的目标是提高系统的性能和提高用户的生产率；二是数据库设计。其研究范围包括数据库的设计方法、设计工具及设计理论的研究，数据模型和数据建模的研究。计算机辅助数据库设计及软件系统的研究等；三是

35、数据库理论。其研究主要集中在关系规范化理论、关系数据理论等随着人工智能与数据库理论的结合以及并行计算技术的发展是数据库技术不断涌现新的研究方向。数据库技术，自从20世纪60年代产生以来，无论是理论还是应用一直是热门研究课题。随着计算机的广泛应用，新的应用又提出新的要求。人们开始发现关系数据库的许多限制与不足，于是推动了数据库技术新一轮的研究，其研究包括三个方面：一是数据模型的发展；二是将数据库技术与其它相关技术相结合；三是将数据库技术应用到特定的领域中。目前，这三方面都取得了可喜的成果，数据库技术与其他学科相结合，是新一代数据库技术的一个显著特征，在结合中涌现出各种新型的数据库，例如：数据库技

36、术与分布处理技术相结合，出现了分布数据库;数据库技术与并行处理技术相结合，出现了并行数据库:数据库技术与人工智能相结合，出现了演绎数据库、知识库和主动数据库等等。1990年，高级数据库管理系统功能委员会发表了“第三代数据库系统宣言”的文章，提出了第三代数据库管理系统应具有的三个基本特征：一是第三代数据库系统应该支持数据管理、对象管理和知识管理；二是第三代数据库系统必须保持或继承第二代数据库系统的技术；三是第三代数据库系统必须对其它系统开放。第三代数据库系统是支持面向对象数据模型的数据库系统，面向对象的数据模型吸收了面向对象程序设计方法学的核心概念和基本思想，它是用面向对象观点来描述现实世界实体

37、(对象)的逻辑组织、对象间限制和联系等的模型。一个面向对象数据库系统，必须满足两个条件：一是支持一核心的面向对象数据模型；二是支持传统数据库系统中所有数据库特征。其数据库(OODB)实现一般有两种方式：一种是在面向对象的设计环境中加入数据库功能，如ORIEN，CLOS等；另一种则是对传统数据库系统进行改进，使其支持面向对象的数据模型，如ORACLE8.0，INFORMIX9.0等；与传统数据模型比较，面向对象数据模型具有下列优势：一是具有表示和构造复杂对象的能力；二是通过封装和消息隐藏技术提供了程序模块化机制；三是继承和类层次技术提供了软件的重用机制；四是通过滞后连编等概念提供系统扩展能力。然

38、而，面向对象数据库还只是一种新兴技术，它的数据模型并不是建立在完美的数学基础之上，其数据库语言缺乏形式化基础，它的发展远不如关系数据库成熟，亦不如关系数据库那样有一个统一的标准，它的导航式的计算模式也一直受到传统数据库学者的批评。因此，面向对象数据库还有待于进一步的研究。但可以肯定，它是一项具有重大理论意义和应用前景的数据库技术，是第三代数据库系统的核心概念和技术基础。1.2.1关系数据库数据挖掘的对象原则上可以是各种存储方式的信息。目前的信息存储方式主要包括关系数据库、数据仓库、事务数据库、高级数据库系统、文件数据和Web数据。其中，高级数据库系统包括面向对象数据库、关系对象数据库，以及面向

39、应用的数据库（如空间数据库、时态数据库、文本数据库、多媒体数据库等）。数据库是长期储存在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。数据库通常有两个主要部分：一个是保存物理数据库的文件，一个是应用程序用于访问数据的数据库管理系统(DBMS)软件。组织数据库数据的方法有很多种，而关系数据库是最为高效的一种。关系数据库系统是数学集合理论在如何高效组织数据这一问题上的应用，它应用数学方法来处理数据库中的数据。关系数据库系统是支持关系模型的数据库系统。关系模型由关系数据结构、关系操作集合和关系

40、完整性约束三部分组成。(1) 单一的数据结构关系在关系模型中，现实世界的实体以及实体间的各种联系均用关系来表示。在用户看来，关系模型中数据的逻辑结构是一张二维表。在将数据组织成表的过程中，用户通常会发现有许多不同定义表的方法。关系数据库理论定义了一个称为规范化的进程，可确保定义的表集能够有效地组织数据。(2) 关系操作关系模型给出了关系操作的能力。关系操作的特点是集合操作方式，即操作的对象和结果都是集合。这种操作方式也称为一次一集合（set-at-a-time）的方式。相应地，非关系数据模型的数据操作方式则为一次一记录（record-at-a-time）的方式。关系数据语言可以分为三类，包括关

41、系代数语言、关系演算语言和具有关系代数和关系演算双重特点的语言即SQL。(3) 关系的三类完整性约束关系模型允许定义三类完整性约束：实体完整性、参照完整性和用户定义完整性。其中实体完整性和参照完整性是关系模型必须满足的完整性约束条件，应该由关系系统自动支持。用户定义的完整性是应用领域需要遵循的约束条件，体现了具体领域中的语义约束。关系数据库中的关系模型用二维表形式表现出来，在数据关系操作时就直观而准确，这对于数据挖掘要处理海量信息而言就显得相当清晰和有效。在关系操作中其操作方式为一次一集合，这样就提高了操作的效率，数据挖掘中数据预处理需要频繁的在各个表之间进行数据选择、查询和连接等操作，一次一

42、集合的操作方式无疑提高了这些操作的快速性。关系模型中关系的三类完整性约束保证了数据预处理过程中数据的完整性和准确性。1.3 Microsoft SQL Server数据库Microsoft SQL Server是由微软公司开发的一个大型的关系数据库系统，它为用户提供了一个安全、可靠、易管理和高端的客户/服务器数据库平台。Microsoft SQL Server企业版带来了Inter平台基于Windows 2000的最好性能，以及新的业界价格/性能比记录，可满足企业OLTP,数据仓库及Internet应用需要9。SQL Server采用了以下一系列的先进技术，使其具有高水平的可伸缩性和容错能力:

43、(1) 基于Client/Server结构。(2) 提供方便而灵活的备份和恢复方法，提供了设备镜像功能，还可以利用NT提供的容错功能，确保设计良好的应用中数据在任何意外发生的情况下都可以最大限度地被恢复。(3) 提供自动锁功能，并发用户可以安全而高效地访问数据。(4) 保证系统的高度安全性。要访问数据库中存储的对象，要经过三层级的身份和权限验证。(5) 支持大规模的应用。它支持上千个并发用户，多达上百万的事务处理和超过200GB大小的数据容量。 (6) 提供多种维护数据完整性的手段，包括datatype，nulltype，rules，constraints，trigger等。利用这些方法可以将

44、对数据的限制与数据一同存储在服务器中，使服务器成为数据完整性的唯一控制点，这样既简化了客户端的编程工作又使得对完整性的修改非常容易。(7) 易用性强。利用提供的图形界面的管理工具SQL Enterprise Manager(企业管理器)，可以对网络中存在的多个服务器进行集中而方便的管理。以上这些先进性能为实现大数据量的分析处理提供了很好的支持。(8) 与NT的结合紧密。Microsoft SQL Server可从核心一级利用许多NT的技术和功能，如多线程技术、任务调配和警告设置功能、事件日志以及性能监视功能等。(9) 提供了方便易用的分布式处理功能。使用复制功能可以轻松地使网络环境中的多个服务

45、器中的数据和数据源保持一致。通过定义分布式事务，还可以使应用在一个事务中修改位于多个服务器中的数据，对于这种分布式事务同样会保证其事务的一致性。1.3.1 Microsoft OLAP ServiceMicrosoft公司的OLAP Service是Microsoft SQL Server的一个组件，它的目的是当用户对数据库中的数据进行查询的时候，给出一个迅速的应答。它采用的方法包括汇总信息的预运算(简称为集合)，以及将汇总信息存放在数据结构里供用户使用。Microsoft OLAP Service支持立方体结构的多维数据结构，它还支持应用在该结构里的一种简便的导航语言。上述两种特性再于其他支

46、持服务、向导服务和对象模型结合就构成了OLAP环境。这种分布式事务同样会保证其事务的一致性。1.4 SQL Server的基本结构SQL Server2000数据库的中心数据驻留在一个中心计算机上，该计算机被称为服务器。SQL Server是一个庞大而复杂的软件包。它的核心是一个强大的关系型数据库引擎,同时还包含相关的服务、工具及开发技术等。用户通过客户机的应用程序来访问服务器上的数据库。图1.1显示了SQL Server中主要的分析服务组件，以及它们之间的关系。数据库引擎是整个数据库管理系统的核心，SQL Server数据库引擎本身包括两个主要的组件:查询处理器(Query Processo

47、r)和存储引擎(Storage Engine)。查询处理器使用SQL语句表达，它可将SQL语句划分为若干原子级别的执行步骤，使查询能够被串行或者并行的处理。进而，它将在一定的范围内选择查询计划，并适当的利用索引。存储引擎的任务是负责数据库物理结构上的操作:它组织数据库文件结构，直接访问磁盘上的数据完成相应的功能10。数据库引擎的两个组件，可以被其它应用程序通过调用OLE DB接口的方式来使用。OLE DB是一个独立于数据库的通信层，它允许SQL语句在任何兼容的数据库上执行，它的优点是可以通过SQL Server链接不同的数据库，允许一个SQL语句查询访问多个数据库。绝大多数时候，人们不会直接在

48、数据库中使用查询语句，而是通过应用程序来操作数据库，应用程序访问数据库可以通过ADO(ActiveX Data Objects，ADO)来实现，ADO是比OLE DB更加高级的对象，同样也可以使用查询分析器，来执行输入的SQL语句。SQL Server的管理通过微软管理控制台(Microsoft Management Console，MMC)和企业管理器(SQL Enterprise Manager，SQL/EM)实现，SQL/EM并不直接与数据库引擎交互，而是与一个己经编译好的SQL分布式管理对象(SQL Distributed Management Objects，SQL-DMO)的COM库通信。图1.1 SQL