OLAP和数据挖掘技术在QAD产品审计中的应用与分析研究 .docx

精品名师归纳总结OLAP 和数据挖掘技术在QAD 产品审计中的应用与争论摘要随着时代的进展，如今的企业已大多进入了“无纸化”的办公时代。原有的手工信息输入与分析已无法适应如今日益增多的信息数据。可以说，企业每天都面临着大量的商业信息，而如何利用、分析好这些数据从而为企业的进展供应指导就显得特殊重要。对于QAD公司而言，它是一家特的为制造业供应企业解决方案的软件供应商，它在全球范畴内的九十多个国家拥有超过六千多个客户。每一年，它都会对每个客户使用公司软件产品的情形进行审计。在每个客户审计的过程中，自然会产生大量的数据。对于公司而言，全部客户的审计数据将是百万级的。面对如此巨大的数据，如何从这些数据中猎取公司所需的信息，分析出审计的结果，并得出肯定的指导性结论就显得特殊重要。为此，本文提出了一种基于联机分析处理（OLAP ）和数据挖掘技术的审计信息分析的设计。 OLAP和数据挖掘技术是近年来数据库领域和人工智能领域争论的热点，它通过对大量数据进行分析和处理，得到隐含在这些数据背后有用的信息和学问。本工程实现了基于 SQL Server 2021 分析服务（ SSAS）在审计信息立方体之上的OLAP 多维数据分析和MDX多维数据查询，并利用决策树、神经网络等数据挖掘算法对审计信息数据进行挖掘，得出有用的学问。为实现上述目标，第一需要打算储备分析后的审计信息的数据库版本与类型以及最终生成审计结果报表所需使用的报表生成工具。为此，针对数据库的挑选提出了以下几种可行的解决方案： Progress 数据库、 MySQL数据库、 Access 数据库和SQL Server 数据库。依据实际需求，分别比较了以上四种数据库的优缺点，最终权衡之后挑选了SQL Server 数据库作为本工程的关系数据库服务器。同样，针对报表生成工具，也提出了以下几种可行的解决方案： QAD公司自己实现的报表生成框架、微软的Access 工具和微软的 Excel 工具。分析了以上几种工具使用的便利性以及代价考虑，最终挑选了大家比较常用且比较轻量型的 Excel 作为我们最终的报表生成工具。在选定了数据库和报表生成工具的解决方案之后，便要对历史审计数据进行肯定的整理、分析以及数据提取和储备工作。审计数据是由公司产品所供应的功能菜单运行后自动生成的，客户在对这些多种多样的报表整理时，可能依据自身的习惯进行不同的打包方 式。因此公司从客户手上得到的审计数据结构就是复杂繁多的，没有肯定的规律性可循， 这对我们进行历史审计信息的提取造成了肯定的困难与阻碍。经过对历史审计数据的具体分析之后，找到了所需要的两个审计文件：应用使用具体报告和许可权使用情形报告。其他诸如数据库使用报告等日志文件目前对我们来说并没有太大的意义。因此我们的目标只是在每个客户的审计数据文件夹下找到这两个文件，分析提取数据，并存入数据库中。在实践中，发觉假如不对历史数据进行处理，直接运行数据分析提取程序，就效率特别低 下。究其缘由是由于程序每次都需要遍历每个文件来确认该文件是否为所需的那两个报告文件，因此要花费大量的时间。为解决这一问题，就需要在程序之上再加上一层数据预处理的程序，即将不需要的历史数据文件过滤，依据原有的目录结构，只留下所需的那两个文件。这样，在数据预处理的基础上，程序运行的效率将大大提高。解决了这一问题之 后，便是要将分析出的数据存入数据库中。依据历史审计数据信息及相关的外部数据信息，依据需求，共设计了六张数据表。该数据库将为后面的OLAP 供应高效的数据源。有了关系数据库源，便可利用SSAS 对审计数据进行维度建模。本文重点论述了审计可编辑资料 - - - 欢迎下载精品名师归纳总结信息数据的概念模型设计和规律模型设计，包括度量、维度和粒度的设计，事实表和维表的设计，同时采纳了雪花模型构造了规律视图，最终生成了审计信息的多维立方体，供最终生成审计结果报表和数据挖掘供应了多维数据源，完成了OLAP 在 QAD 产品审计中的应用。在生成审计结果报表时，使用Excel 中的透视表，建立数据库连接，挑选建立的多维数据源，便可读取多维数据中的内容。为了便利客户批阅，特殊定义了十多个报表模板，可供客户挑选，基本涵盖了全部的审计结果，且客户可以自主挑选想要查看的内容， 对数据进行肯定的钻取等，特别便利。最终，便是使用数据挖掘技术对审计数据进行肯定的挖掘任务争论。传统的数据挖掘过程往往基于关系数据库。本文探讨了基于OLAP 的数据挖掘技术在产品审计中的应用， 分别使用了决策树算法和神经网络算法对同一个挖掘模型进行了挖掘，并利用提升图比较了两个算法的挖掘精确性。本文所建立的挖掘模型为分析客户挑选QAD公司不同产品类型组合的因素，意在发觉一个行业领域内使用QAD公司产品组合的正确实践，为不同的 客户在挑选公司产品组合时供应肯定的建议。由于时间及精力的有限，只是粗略探究了数据挖掘在公司审计中应用的可能性。信任可以利用该技术挖掘出更多对公司经营决策有指导性意义的学问。本文的争论和结果说明，OLAP 和数据挖掘技术在QAD 公司产品审计中的应用是可行的，而且是便利高效的。它不仅从企业治理的角度为公司决策层与销售人员供应了更为智能的分析方法和途径，仍为审计分析人员供应了新的手段和视角，来挖掘出更多数据背后隐匿的有用的学问。关键词： 数据挖掘， OLAP ，多维数据分析，SQL Server 2021 分析服务，产品审计THE APPLICATION AND RESEARCH OF OLAP AND DATA MINING TECHNOLOGY INQAD PRODUCT AUDITABSTRACTWiththe development of the society, science and technology, most ofthe enterprises have now entered the paperless office time. The original manual input and analysis couldnt deal with the increasing information and data any more. Every day, enterprises are faced with lots of business information, and be aware of know how to use these data to analysis, to provide guidance for development of the enterprise is especially important.For QAD which is a software supplier company who provides solutions to specialized manufacturing enterprises, has more than 6,000 multiple clients within 90 countries worldwide. Every year, all clientsusing software products conditions willbe audited by the company. In every customer audit process, large amounts of data will be produced. For QAD, the number of all customersaudit data gathered together will be millions. Facing such large numbers of data, it is especially important to know how to get the information the company need, to analysis the audit results, and some guidance conclusions from this huge and messy data.Therefore, this paper proposed a multi-dimensional analysis of QAD product auditing design based on OLAP and data mining technology. OLAP and data mining technology have becominga research hot spot of database and the field of artificial可编辑资料 - - - 欢迎下载精品名师归纳总结intelligence during recent years. It through the large data analysis and processing, implicates useful information and knowledge behind these data. This project realized OLAP multi-dimensional data analysis and MDXmulti-dimensional data query on the basis of SQL Server Analysis Service 2021 in the audit information cube, and achieved audit information data mining using decision trees and the neural network data miningalgorithm foraudit informationto draw useful knowledge forthe company.To achieve this goal, we first need to decide the databaseversion and type to choose, which is used to store the audit information after the analysis and which reporting framework tools to choose to generate final audit result report. Therefore, several feasible solutions of databases based on demand were put forward. They are Progress database, MySQLdatabase,Access database and SQL Server database. According to actual needs, and after comparing each advantages and disadvantages of the above four database servers, the SQL server database was chosen as the relational database server finally. Similarly, for reporting tools, the following feasible solutions were also put forward:QADreportingframeworkrealized bythe company, Microsoft Access tool and Microsoft Excel tools. Excel was chosen as the reporting toolfinally becausemost of the users are very familiar with it and it is powerfulfor generating various reports though it is very lightweight.After finished selection of database and report generation tool, the next step was to deal with the audit data. We need to sort out, analysis and extract data and finally make these useful information be stored in database correctly. Audit data is automatic generated by using the product function menu. Customer will work on these various reports according to their own habit of different packaging. So the company obtained from the customer on the audit data structure is complex range, no certain regularity, this to our historical audit information extraction has caused some difficulties and obstacles. Through analyzing the historical data after detailed analysis of audit, we found out that only two kinds of report are needed, includingApplication Detail Usage Profile Report and Licensed Application Report. Other files such as database log files are not so important to us for now. So our goal is to find out these two files in each customer audit data folder and to analysis, extract data from these two files and store the extracted information in database. In practice, we found that ifwe run data processing procedure directly instead of pre-processing the historical data first, then the data processing procedures efficiency is very low. The reason it that every time the procedure is run, it need to traversal every file in the appointed folders to see whether this file is useful for us or not, that is to say the procedure will open each file to see whether this file is the ApplicationDetailUsage ProfileReportand Licensed Application Report or not, thus a lot of time is spent. To solve this problem, it need to plus a layer of data pretreatment process before the above processing procedures.That is to say, after running the data pretreatment process, some historical audit files which are not needed will be filtered, only two kinds of report mentioned above will be remained according to the original directory structure. So, on the basis of data pretreatment, the program will greatly improve the efficiency of the operation. Aftersolving this problem successfully, it is time to deposit the analyzed data into database.可编辑资料 - - - 欢迎下载精品名师归纳总结According to the historical data information and related auditing data information stored in external database, in accordance with the requirement, and six tables were designed. This database filling with audit information data will provide efficient data source for OLAP mentioned below.Since we already have a relational database source now, we can use SQL Server Analysis Service to build dimensional modeling for audit data. This paper detailed discusses the concept of audit data model design and logical model design, including the measure, dimension and granularity design, fact table and dimension tables design, also adopted the logic structure model of snowflakes, generating a view of the auditinformationandeventuallygenerated multidimensionalcubeofaudit information,whichprovidea multidimensionaldata source forauditresults statements and data mining. So the application of OLAP in QAD product audit has been brought into effect. In order to generate audit results report, we can use Excel, establishthepivottable,andchoosetobuilddatabase connectionof multidimensional data source. Then we can read the contents of the multidimensional data. In order to facilitate customer review, more than ten report templates were defined, which can be provided for customer to choose, basically covers the entire audit results, also customers can choose to have a check on the content and the data of drilling, very convenient at all.Finally, the data mining technology should be used to do some mining task study on audit data. The traditional data mining is often based on relational database. However, in this paper, it details the application of data mining technology based on OLAP in product audit, using decision trees algorithm and the neural network algorithm respectively for the same mining model, also a liftchart was build to compare the two algorithms mining accuracy. This paper established a mining model to find out the key factors which influence the customerschoice of different types of QAD product combination, in order to find a best practice for using a combination of products which QAD provides in a specula industry field, which can be used for differenttypes ofcustomers inchoosing products combinationprovide somesuggestions. Due to the limited time and energy of mine, I only make a rough exploration of the possibility of the application of data mining in company product audit. According to the existing results, it is believed that the data mining technology can be used to excavate more guiding significance of knowledge for operation decisions.This research and results show that the application of OLAP and data mining technology in QAD product audit is feasible and it is high efficientand more convenient also. It not only provide more intelligent analysis of the ways and means form the perspective of business management for company administrators and sales personnel, but also provided new means and methods form the perspective of audit research for the company audit researchers, to create more useful knowledgehiding behind the audit data for company development.Key words:data mining, Online AnalyticalProcessing, multi-dimensionaldata analysis, SQL Server 2021 Analysis Services, product audit可编辑资料 - - - 欢迎下载精品名师归纳总结目录可编辑资料 - - - 欢迎下载精品名师归纳总结第一章 绪论11.1 QAD 产品审计问题简述及分析11.2 争论目的与意义11.3 国内外争论现状21.4 论文争论内容2其次章 解决方案比较与选定42.1 数据库的挑选42.1.1 Progress 数据库42.1.2 MySQL 数据库42.1.3 Access 数据库42.1.4 SQL Server 数据库42.2 报表工具的挑选52.2.1 QAD报表生成框架52.2.2 微软 Access 报表52.2.3 微软 Excel 报表52.3 本章小结5第三章 数据处理与储备63.1 数据的分析与处理63.1.1 历史数据结构与内容概述63.1.2 历史数据处理73.2 数据的储备83.3 本章小结11第四章 OLAP的应用124.1 OLAP技术概述124.2 维度、度量及立方体的设计124.2.1 维度的设计124.2.2 度量的设计134.2.3 事实表和维表的设计144.3 建立审计多维数据模型154.4 审计信息 MDX 多维查询分析174.5 审计信息统计报表生成184.6 本章小结20第五章 数据挖掘的应用215.1 数据挖掘技术概述215.2 基于决策树算法的数据挖掘应用225.2.1 决策树算法的基本原理225.2.2 使用决策树算法235.3 基于神经网络算法的数据挖掘应用255.3.1 神经网络算法的基本原理255.3.2 使用神经网络算法265.4 本章小结27第六章 结论286.1 论文总结286.2展望28参考文献30谢辞31可编辑资料 - - - 欢迎下载精品名师归纳总结第一章 绪论1.1 QAD 产品审计问题简述及分析QAD 企安达 公司是国际上闻名的MRPII软件公司，它于1979 年在美国加州成立， 是一家特的为制造业供应企业解决方案的供应商。目前在全球范畴内，已有遍布90 个国家的 6000 个制造商企业使用了QAD 的产品。随着企业规模的扩大及公司ERP 软件使用客户数的增多，每年对产品使用情形作一次审计就显得特别有必要。其产品审计的作用主要表现在以下两方面：一方面， QAD的产品是通过软件许可权（License ）进行收费的，客户依据自身需求可以挑选记名和并发两种许可权方式，通过购买肯定数量的许可权，对软件进行使用。但在实际使用过程中，为了不影响客户的日常工作，QAD答应客户有违反许可权的行为存在，比犹如时使用软件的人数超过了所购买的许可权数量。为此，就特别有必要通过每年的产品审计，发觉那些有违反许可权使用情形的客户，对他们进行额外的补收费，以保证公司方面的利益。另一方面，由于产品审计的数据是由客户通过产品软件的内置菜单自动生成，再由客户将这些数据打包给公司，因此产品审计这一前期的数据搜集过程是需要客户的支持的。为了激发客户的积极性使得能更好的协作审计，公司认为可以对这些产品使用数据进行肯定的分析，生成相应的使用情形分析报表供应应客户，让他们明白自己在软件的使用过程中，哪些模块并未得到充分的利用等。同时公司自身的销售与执行治理层也期望通过审计的结果，明白目前产品和模块在不同领域、不同区域的客户处的使用频率与使用量，从而能更好的指导新产品的开发方向，更是期望能从中得出每个领域的正确实践，以此来指导公司的客户更好的使用产品，使他们物尽其用，物更有所值，最终达到双赢的目的。基于以上两点，同时考虑到历史数据量的巨大性，因此公司特的建立了UCA （ User Count Audit ） for Master Bundle 这个工程，并期望能通过此来较好的实现这些目标，并且尽可能的高效、简洁，便于操作。1.2 争论目的与意义运算机科学与信息技术的飞速进展，使得人类可以借助运算机为自己解决很多问题。但随之而来，是我们每天面对的信息量不断增多扩大。在这样的大环境下，对于一个企业而言，要想保持自己在行业内的竞争优势，没有处理大量数据的才能是不行的，以往的手工数据录入、分析在海量的数据面前也是无能为力，更是低效，跟不上时代节奏的表现。于是乎，人们想到了数据库技术，它能对现实世界存在的大量数据进行有效的组织与管 理。但是随着数据库应用的规模、范畴和深度的不断扩大，随着数据和数据库的急剧增 长，仅仅依靠数据库治理系统的查询检索机制和统计学分析方法已远远不能满意现实需 要，它迫切的要求自动、智能的将待处理的数据转化为有用的信息和学问。就是在这种背景下，使得 OLAP （ Online AnalyticalProcessing）和数据挖掘（ Data Mining ，简称 DM ） 为了迎合这种要求而产生并快速进展起来。使用 OLAP 和数据挖掘技术，对产品审计数据进行多方面的综合分析，从中可以发觉对公司业务决策所需的学问，并以直观易懂的形式将分析结果呈现给客户与公司治理层， 为他们的决策供应了客观依据。通过对产品审计信息数据库进行数据联机分析，更可以方 便的生成多种形式的报表，使软件的开发商与使用商都能快速的明白软件使用的各项统计 信息。另外，通过争论本课题，经过最终结论的证明，更可以将OLAP 和数据挖掘技术更多可编辑资料 - - - 欢迎下载精品名师归纳总结更好的应用在相类似的行业中，使本课题的争论更具有有用价值和宽阔的进展前景。1.3 国内外争论现状OLAP和数据挖掘技术是目前国际上数据库、数据仓库和信息决策系统领域最前沿的争论方向之一，引起了国内外众多领域科学家和工商界的广泛关注。对于这方面的应用与研 究，国外比国内领先很多，这里主要以国内现状阐述为主。国内对 OLAP 的争论起步较晚，主要是对数据立方运算、储备，多维数据查询和物化视图等关键技术的争论，以及基于国外OLAP 服务器产品的 OLAP 应用。国内企业对于决策分析需求大部分都是通过开发一些功能单一的专用程序来完成1 。近些年随着国内企业信息系统的不断完善与进展和数据的连续积存，各行各业已经普遍关怀数据挖掘技术的应用。国内应用数据挖掘的企业仍是以通信企业（移动、联通、电信）为首，应用的深度和广度都处于领先位置，缘由主要是行业竞争比较猛烈、直接，另外通信业的数据质量和数量都仍不错。除了通信业，国内的银行、保险、证券使用数据挖掘技术的意愿也比较剧烈，这跟国际趋势相吻合，将来几年金融领域的数据分析应用肯定会从传统的统计分析进展到大规模数据挖掘应用。但跟国外相比，国内零售业对数据挖掘的应用似乎并不太热衷，这可能与客户信息的完整性有关，也就是说“啤酒和尿片 ”的故事需要再过几年才能在国内零售业发生。我国政府部门中使用数据挖掘技术比较领先的是税务系统，国税总局对信息系统建设及数据分析应用工作也越来越重视。随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且快速从中取得商业价值。比如，国内好多网上商城已经开头使用数据挖掘技术进行客户聚类或者商品关联推广。另外，个人认为搜寻引擎企业使用数据挖掘技术的需求也特别迫切。从技术角度讲，他们需要使用数据挖掘算法发觉Web 页面之间的关联与结构关系，更好的进行网页推送。从商务角度讲，各大搜寻引擎需要取得更多的广告收入，需要对点击流数据进行分析，以实现最大的商业利润。虽然数据挖掘已经在移动通信、保险、证券、银行、电子商务等相关行业进行了较为胜利的应用，但在企业日常业务信息系统中的应用，如产品审计信息等目前仍处于起步阶段，需要更多的争论与应用。1.4 论文争论内容OLAP和数据挖掘各有所长，但是也各有缺陷，而如能将二者结合起来使用，进展一种建立在OLAP 基础上的，针对多维数据的数据挖掘技术，就更能适合实际的需要。本课题拟在探讨一种将OLAP 与数据挖掘相结合的方法，使之能运用到QAD 公司的产品审计分析中。针对以上的争论内容，本课题将提出一种基于OLAP和数据挖掘技术的软件使用信息 数据的多维分析系统的设计，争论使用基于SQL Server 2021 分析服务（ SSAS）在用户审计数据仓库之上的OLAP多维数据分析和MDX多维数据查询，并争论使用神经网络规 就，决策树等数据挖掘算法及改进算法对模块及程序使用情形进行数据挖掘，得出有用的学问，从而帮忙指导客户更好更高效的使用公司产品，也可使公司对现有产品有更好的明白与规划。具体的主要争论内容如下：1. 利用 OLAP 技术和数据挖掘技术的基本理论学问、多维分析方法及数据立方体的储备结构，分析其在QAD 产品审计中的具体运用。2. 对历史数据进行过滤、分析、提取并存入预先定义的数据库表中。可编辑资料 - - - 欢迎下载精品名师归纳总结3. 完成产品审计信息多维立方体的分析、设计，采纳维度建模的方法建立了产品使用信息的多维立方体。4. 进行产品审计数据结果的拜访设计，定义Excel 报表模板用于显示数据分析结果、查询等。5. 对数据挖掘中决策树算法、神经网络算法等进行分析，并进行改进，利用这些算法对产品审计信息进行数据挖掘，使用SSAS 的数据挖掘功能来实现并得到有用的学问。其次章 解决方案比较与选定2.1 数据库的挑选由于已确定了使用OLAP和数据挖掘技术对QAD产品审计信息进行分析与争论，但在具体实现上仍需要有对多个可行方案进行比较挑选，最终挑选最为合适的解决方案，存储历史数据信息的数据库的挑选就是其中之一。如以下举了几个可选的数据库方案，并依次分析它们的优点与