数据挖掘课程设计报告正文.docx

名目§第 1 章 数据挖掘根本理论2§1.1 数据挖掘的产生2§1.2 数据挖掘的概念3§1.3 数据挖掘的步骤3§第 2 章 系统分析4§2.1 系统用户分析4§2.2 系统功能分析4§2.3 系统算法分析5§第 3 章 数据治理6§3.1 数据治理的方法6§第 4 章 数据采集6§4.1 数据采集的方法6§第 5 章 数据预处理6§5.1 数据预处理的方法6§第 6 章 数据挖掘7§6.1 算法描述与流程图7§6.1.1 算法描述7§6.1.2 算法流程图8§第 7 章 结果显示与解释评估9§7.1 结果显示界面的具体实现9§7.1.1 系统主界面的具体实现9§7.1.2 超市销售记录界面的具体实现10§7.1.3 数据采集界面的具体实现11§7.1.4 挖掘条件界面的具体实现12§7.1.5 数据挖掘界面的具体实现13§7.1.6 帮助界面的具体实现14§7.1.7 系统主界面运行后显示的结果14学习体会15参考文献1610§第 1 章 数据挖掘根本理论§1.1 数据挖掘的产生随着计算机硬件和软件的飞速进展，尤其是数据库技术与应用的日益普及， 人们面临着快速扩张的数据海洋，如何有效利用这一丰富数据海洋的宝藏为人类效劳业已成为宽阔信息技术工作者的所重点关注的焦点之一。与日趋成熟的数据治理术与软件工具相比，人们所依靠的数据分析工具功能，却无法有效地为决策者提其决策支持所需要的相关学问，从而形成了一种独特的现象“丰富的数据， 贫乏学问”。为有效解决这一问题，自二十世纪年月开头，数据挖掘技术逐步进展来，数据挖掘技术的快速进展，得益于目前全世界所拥有的巨大数据资源以及对这些数据资源转换为信息和学问资源的巨大需求，对信息和学问的需求来自各行业，从商业治理、生产掌握、市场分析到工程设计、科学探究等。数据挖掘可以为是数据治理与分析技术的自然进化产物，如图 1.1 所示。数据收集与数据库创立60年月或更早根底文件处理数据库治理系统70年月网络和关系数据库系统数据建模工具索引和数据组织技术查询语言和查询处理用户界面和优化方法在线事务处理先进数据库系统80年月中期至今先进数据模型扩展关系、面对对象、对象关系面对应用空间、时间、多媒体、学问库数据仓库和数据挖掘80年月后期至今先进数据模型扩展关系、面对对象、对象关系面对应用空间、时间、多媒体、学问库一代信息系统2023 年之后自八十年到中期开头，关系数据库技术被普遍承受，一轮争论与开发型强大的数据库喜用悄然兴起，并提出了很多先进的数据模型：扩展关系模型、面对对象模型、演绎模型等；以及应用数据库系统：空间数据库、时序数据库、多媒体数据库等；日前异构数据库系统和基于互联网的全球信息系统也已开头消灭并在信息工业中开头扮演重要角色。图 1-1 数据挖掘进化过程示意描述§1.2 数据挖掘的概念数据挖掘Data Mining，简称 DM，简洁地讲就是从大量数据中挖掘或抽取出学问，数据挖掘概念的定义描述有假设干版本，一下给出一个被普遍承受的定义描述：数据挖掘，又称为数据库中学问觉察Knowledge Discovery from Database， 简称 KDD，它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等学问的简单过程。§1.3 数据挖掘的步骤整个学问挖掘KDD过程是有假设干挖掘步骤组成的，而数据挖掘近视其中的一个主要步骤。整个学问挖掘的主要步骤有：数据清洗data clearning，其作用就是去除数据噪声和与挖掘主题明显无关的数据；数据集成data integration，其作用就是将来自多数据源中的相关数据组合到一起；数据转换data transformation，其作用就是将数据转换为易于进展数据挖掘的数据存储形式；数据挖掘data mining，它是学问挖掘的一个根本步骤，其作用就是利用智能方法挖掘数据模式或规律学问；模式评估pattern evaluation，其作用就是依据肯定评估标准interesting measures从挖掘结果筛选出有意义的模式学问；学问表示knowledge presentation，其作用就是利用可视化和学问表达技术，向用户展现所挖掘出的相关学问。尽管数据挖掘仅仅是整个学问挖掘过程中的一个重要步骤，但由于目前工业界、媒体、数据库争论领域中，“数据挖掘”一词已被广泛使用并被普遍承受，因此本书也广义地使用“数据挖掘”一词来表示整个学问挖掘过程，即数据挖掘就是一个从数据库、数据仓库或其它信息资源库的大量数据中开掘出好玩的学问。§第 2 章 系统分析§2.1 系统用户分析利用数据挖掘技术可以帮助获得决策所需的多种学问。在很多状况下，用户并不知道数据存在哪些有价值的信息学问，因此对于一个数据挖掘系统而言，它应当能够同时搜寻觉察多种模式的学问，以满足用户的期望和实际需要。此外数据挖掘系统还应能够挖掘出多种层次抽象水平的模式学问。数据挖掘系统还应容许用户指导挖掘搜寻有价值的模式学问。比方：作为一个商场主管，确定想要知道商场顾客的购物习惯；尤其是期望了解在一次购物过程中，那些商品会在一起被顾客所购置。为帮助答复这一问题，就需要进展市场购物分析， 即对顾客在商场购物交易记录数据进展分析。所分析的结果将帮助商场主管制定有针对性的市场营销和广告宣传打算，以及编撰适宜的商品名目。比方：市场购物分析结果将帮助商家对商场内商品应如何合理摆放进展规划设计。其中一种策略就是将常常一起购置的商品摆放在相邻近的位置，以便利顾客同时购置这两件商品；如：假设顾客购置电脑的同时常也会购置一些金融治理类软件，那么将电脑软件摆放在电脑硬件四周明显将有助于促进这两种商品的销售；而另一种策略则是将电脑软件与电脑硬件分别摆放在商场的两端，这就会促使顾客在购置两种商品时，走更多的路从而到达诱导他们购置更多商品的目的。比方：顾客在打算购置一台昂贵电脑之后，在去购置相应金融治理软件的路上可能会看到安全系统软件，这时他就有可能购置这一类软件。市场购物分析可以帮助商场主管确定那些物品可以进展捆绑减价销售，如一个购置电脑的顾客很有可能购置一个捆绑减价销售的打印机。§2.2 系统功能分析我们组所开发的超市销售记录数据挖掘系统是承受关联规章挖掘的方法来挖掘出商家期望得到的销售信息。关联规章挖掘就是从大量的数据中挖掘出有价值描述数据项之间相互联系的有关学问。我们开发的超市销售记录数据挖掘系统主要应用就是市场购物分析。依据被放到一个购物袋的购物内容记录数据而觉察的不同被购置商品之间所存在的关联学问无疑将会帮助商家分析顾客的购置习惯。如图- 所示。觉察常在一起被购置的商品关联学问将帮助商家制定有针对性的市场营销策略。比方：顾客在购置牛奶时，是否也可能同时购置面包或会购置哪个牌子的面包，明显能够答复这些问题的有关信息确定会有效地帮助商家进展有针对性的促销，以及进展适宜的货架商品摆放。如可以将牛奶和面包放在相近的地方或许会促进这两个商品的销售。将商场全部销售商品设为一个集合，每个商品item均为一个取布尔值真/假的变量以描述相应商品是否被一个顾客购置。因此每个顾客购物袋 就可以用一个布尔向量来表示。分析相应布尔向量就可获得那些商品是在一起被购置关联的购物模式。如顾客购置电脑的同时也会购置金融治理软件的购物模式就可以用以下的关联规章来描述：computer=>financial_management_softwaresupport=2%,confidence=60%关联规章的支持度support和信任度confidence是两个度量有关规则趣味性的方法。它们分别描述了一个被挖掘出的关联规章的有用性和确定性。规章的支持度为 2%，就表示所分析的交易记录数据中有交易记录同时包含电脑和金融治理软件即在一起被购置。规章的 60%信任度则表示有 60%的顾客在购置电脑的同时还会购置金融治理软件。通常假设一个关联规章满足最小支持度阈值minimum support threshold和最小信任度阈值minimum confidence threshole，那么就认为该关联规章是有意义的；而用户或专家可以设置最小支持度阈值和最小信任度阈值。§2.3 系统算法分析设 I=i1,i2,im为数据项集合；设为与任务相关的数据集合，也就是一个交易数据库；其中的每个交易T 是一个数据项子集，即T 包含于 I；每个交易均包含一个识别编号 TID。设A 为一个数据项集合，当且仅当A 包含于 T 时就称交易 T 包含 A。一个关联规章就是具有“A=>B”形式的蕴含式；其中有 A 包含于I，B 包含于 I 且 AB =UNLL。规章A=>B 在交易数据集 D 中成立，且具有s 支持度和 c 信任度。这也就意味着交易数据集 D 中有 s 比例的交易 T 包含 AB 数据项；且交易数据集 D 中有 c 比例的交易 T 满足“假设包含 A 就包含 B 条件”。具体描述就是：support(A=>B)=P(AB) confidenceA=>B=PB|A满足最小支持度阈值和最小信任度阈值的关联规章就称为强规章strong。通常为便利起见，都将最小支持度阈值简写为min_sup；最小信任度阈值简写为min_conf。这两个阈值均在 0%到 100%之间，而不是 0 到 1 之间。一个数据项的集合就称为项集itemset；一个包含 k 个数据项的项集就称为 k-项集。因此集合computer,financial_management_software，就是一个2-项集。一个项集的消灭频度就是整个交易数据集 D 中包含该项集的交易记录数；这也称为是该项集的支持度support count。而假设一个项集的消灭频度大于最小支持度阈值乘以交易记录集 D 中记录数，那么就称该项集满足最小支持度阈值；而满足最小支持度阈值所对应的交易记录数就称为最小支持频度minmum support count。满足最小支持阈值的项集就称为频繁项集frequent itemset。全部频繁 k-项集的集合就记为 Lk挖掘关联规章主要包含以下二个步骤：步骤一：觉察全部的频繁项集，依据定义，这些项集的频度至少应等于预先设置的最小支持频度；步骤二：依据所获得的频繁项集，产生相应的强关联规章。依据定义这些规章必需满足最小信任度阈值。此外还可利用好玩性度量标准来帮助挖掘有价值的关联规章学问。由于步骤二中的相应操作极为简洁，因此挖掘关联规章的整共性能就是由步骤一中的操作处理所打算。§第 3 章 数据治理§3.1 数据治理的方法软件的开发是离不开数据库的，本次超市销售记录数据挖掘系统共使用到了14 张数据表来存储数据帮助软件完成相关的功能。如：销售记录，数据采集， 数据预处理，挖掘条件，一元频繁项集，二元频繁项集等等。对数据的治理主要有对数据表的增、删、改和对各个数据表数据构造的设计以及对内容的增、删、改操作，固然具体到每一个数据表时治理方法略有区分。§第 4 章 数据采集§4.1 数据采集的方法本软件在开发中，数据采集主要是借用程序和人工来实现的。通过人工的录入来输入超市的销售记录数据，然后再借用所编写的程序来筛选出所要挖掘的销售物品的信息，以备后期数据预处理和数据挖掘所使用。§第 5 章 数据预处理§5.1 数据预处理的方法本软件在开发中，数据预处理主要是借用程序和人工来实现的。通过人工的录入来检查超市的销售记录数据，去除或者修改错误数据物品名，实现数据的完整性、全都性、正确性。然后再借用所编写的程序来转换成满足软件挖掘的数据形式或类型，以备后期数据挖掘所使用。§第 6 章 数据挖掘§6.1 算法描述与流程图§6.1.1 算法描述Apriori 算法是挖掘产生布尔关联规章所需频繁项集的根本算法；它也是一个很有影响的关联规章挖掘算法。Apriori 算法就是依据有关频繁项集特性的先验学问prior knowledge而命名的。该算法利用了一个层次挨次搜寻的循环方法来完成频繁项集的挖掘工作。这一循环方法就是利用 k-项集来产生(k+1)- 项集。具体做法就是：首先找出频繁 1-项集，记为L1；然后利用L1 来挖掘 L2， 即频繁 2-项集；不断如此循环下去直到无法觉察更多的频繁 k-项集为止。每挖掘一层 Lk 就需要扫描整个数据库一遍。为提高按层次搜寻并产生相应频繁项集的处理效率。Apriori 算法利用了一个重要性质，又称为Apriori 性质来帮助有效缩小频繁项集的搜寻空间。Apriori 性质：一个频繁项集中任一子集也应是频繁项集。Apriori 性质是依据以下观看而得出结论。依据定义：假设一个项集I 不满足最小支持度阈值 s，那么该项集I 就不是频繁项集，即P(I)<s；假设增加一个项A 到项集 I 中，那么所获得的项集 IA 在整个交易数据库所消灭的次数也不行能多原项集 I 消灭的次数，因此 IA 也不行能是频繁的，即 P(IA)<s。这样就可以依据逆反公理：即假设一个集合不能通过测试，该集合全部超集也不能通过同样的测试。因此很简洁确定 Apriori 性质成立。为了解释清楚 Apriori 性质是如何应用到频繁项集的挖掘中的，这里就以用Lk-1 来产生 Lk 为例来说明具体应用方法。利用 Lk-1 来获得 Lk 主要包含两个处理步骤，即连接和删除操作步骤。（1） 连接步骤。为觉察 Lk，可以将 Lk-1 中两个项集相连接以获得一个 Lk 的候选集合 Ck。设 l1 和 l2 为 Lk-1 中的两个项集元素，记号表示 lij 中的第 j 个项；如 lik-2就表示 li 中的倒数其次项。为便利起见，假设交易数据库中各交易记录中各项均已按字典排序。假设 Lk-1 的连接操作记为 Lk-1Lk-1 ，它表示假设 l1 和 l2 中的前k-2项是一样的，也就是说假设有(l11=l21)(l1k-2=l2k-2) (l1k-1<l2k-1)，则 Lk-1 中 l1 和 l2 的内容就可以连接到一起。而条件(l1k-1<l2k-1)可以确保不产生重复的项集。（2） 删除步骤。Ck 是 Lk 的一个超集，它其中的各元素项集不肯定都是频繁项集，但全部的频繁-项集肯定都在 Ck 中，即有Lk 包含于 Ck。扫描一遍数据库就可以打算 Ck 中各候选项集元素的支持频度，并由此获得 Lk 中各个元素频繁 k-项集。全部频度不小于最小支持频度的候选项集就是属于 Lk 的频繁项集。然而由于 Ck 中的候选项集很多，如此操作所涉及的计算量时间 是格外大的，为了削减 Ck 的大小，就需要利用 Apriori 性质：“一个非频繁(k-1)-项集不行能成为频繁 k-项集的一个子集”。因此假设一个候选 k-项集中任一子集(k-1)-项集不属于 Lk-1，那么该候选 k-项集就不行能成为一个频繁 k-项集， 因而也就可以将其从 Ck 中删去。在从数据库 D 中挖掘出全部的频繁项集后，就可以较为简洁获得相应的关联规章。也就是要产生满足最小支持度和最小信任度的强关联规章，可以利用公式Confidence(A=>B)=P(B|A)=support_count(AB)/support_count(A)来计算所获关联规章的信任度。其中 support_count(AB)为包含项集 AB 的交易记录数目；support_count(A)为包含项集 A 的交易记录数目；基于上述公式，具体产生关联规章的操作说明如下：（1） 对于每个频繁项集 l,产生 l 的全部非空子集；（2） 对于每个 l 的非空子集 s，假设 support_count(l)/ support_count(s)>=min_conf； 则产生一个关联规章 s=>(l-s)；其中 min_conf 为最小信任度阈值。由于规章是通过频繁项集直接产生的，因此关联规章所涉及的全部项集均满足最小支持度阈值。§6.1.2 算法流程图取一元频取二元频取三元频取四元频取五元频取元取k-3 元频取k-2 元频取k-1 元频繁项集繁项集繁项集繁项集繁项集频繁项集繁项集繁项集繁项集度一元频繁二元频繁三元频繁四元频繁五元频繁六元频繁k-3 元频繁k-2 元频繁项连接生项连接生项连接生项连接生项连接生项连接生项连接生项连接生成二元项成三元项成四元项成五元项成六元项成 元成k-2 元项成k-1 元项集集集集集项集集集统计全部统计全部统计全部统计全部统计全部统计所统计全部统计全部统计全部 k二元项的三元项的四元项的五元项的六元项的有 元项k-2 元项的k-1 元项的元项的支支持度、支持度、支持度、支持度、支持度、支持度、支持度、支持度、持度、置置信度置信度置信度置信度置信度置信度置信度置信度信度Y满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件满足挖掘条件YYYYYYYYYY存储一元存储二元存储三元存储四元存储五元存储六元存储存储k-2 元存储k-1 元存储k元频频繁项集频繁项集频繁项集频繁项集频繁项集频繁项集元频繁项频繁项集频繁项集繁项集显示一元显示二元显示三元显示四元显示五元显示六元显示显示k-2 元显示k-1 元显示k元频频繁项集频繁项集频繁项集频繁项集频繁项集频繁项集元频繁项频繁项集频繁项集繁项集信信息信息信息信息信息信息集信息信息信息息开头数据采集数据预处理 读取挖掘条件count:=1;count 值？123456k-2k-1k统计数据预处理中各个一元项的支持k-1 元频繁项连接生成k元项集count:=count+1;连续？N完毕图 6-1 算法流程§第 7 章 结果显示与解释评估§7.1 结果显示界面的具体实现§7.1.1 系统主界面的具体实现图 7-1 系统主界面具体实现图系统主界面主要使用的组件有：Mainmenu,XPManifest,Button. 各个组件的功能：Mainmenu 的功能是创立超市商品销售数据挖掘系统的各个菜单；XPManifest 的功能是在软件运行后美化界面；Button退出的功能是执行退出挖掘系统的命令。§7.1.2 超市销售记录界面的具体实现图 7-2 超市销售记录界面具体实现图超市销售记录界面主要使用的组件有：ADOConnection, ADOQuery,DataSource, DBGrid, Button.各个组件的功能：ADOConnection 的功能是建立与数据库的连接；ADOQuery 的功能是用于检索和操作由合法的 SQL 语句产生的数据集，也可以执行一条 SQL 命令；DataSource 的功能是作为数据掌握组件 DBGrid，DBEdit 的数据传送通道；DBGrid 的功能是为前端应用程序供给扫瞄数据库数据的表格，这些表格操作者编辑数据；Button显示销售记录的功能是执行输出销售记录表 XSJL 中数据的命令； Button关闭的功能是执行关闭当前窗口的命令。§7.1.3 数据采集界面的具体实现图 7-3 数据采集界面具体实现图数据采集界面主要使用的组件有：ADOConnection, ADOQuery, DataSource, DBGrid, Button.各个组件的功能：ADOConnection 的功能是建立与数据库的连接；ADOQuery 的功能是用于检索和操作由合法的 SQL 语句产生的数据集，也可以执行一条 SQL 命令；DataSource 的功能是作为数据掌握组件 DBGrid，DBEdit 的数据传送通道；DBGrid 的功能是为前端应用程序供给扫瞄数据库数据的表格，这些表格操作者编辑数据；Button数据采集的功能是执行输出销售记录表 SJCJ 中的数据的命令； Button关闭的功能是执行关闭当前窗口的命令。§7.1.4 挖掘条件界面的具体实现图 7-4 挖掘条件界面具体实现图挖掘条件界面主要使用的组件有：ADOConnection, ADOQuery, DataSource,Label，edit，GroupBox，ListBox，Button。各个组件的功能：ADOConnection 的功能是建立与数据库的连接；ADOQuery 的功能是用于检索和操作由合法的 SQL 语句产生的数据集，也可以执行一条 SQL 命令；DataSource 的功能是作为数据掌握组件 DBGrid，DBEdit 的数据传送通道； Label支持度阈值，置信度阈值，%的功能是显示文字符号作为标签使用； Edit 的功能是显示、修改数据库表中当前记录的字段数据；GroupBox 的功能是组合框，把一些相关组件组合一起；ListBox 显示数据库表中一个指定字段的数据； Button确定的功能是执行输入数据支持度阈值和置信度阈值到 WJTJ 表中；Button关闭的功能是执行关闭当前界面命令。§7.1.5 数据挖掘界面的具体实现图 7-5 数据挖掘界面具体实现图数据挖掘界面主要使用的组件有：ADOConnection, ADOQuery, DataSource, Label，GroupBox，Button.各个组件的功能：ADOConnection 的功能是建立与数据库的连接；ADOQuery 的功能是用于检索和操作由合法的 SQL 语句产生的数据集，也可以执行一条 SQL 命令；DataSource 的功能是作为数据掌握组件 DBGrid，DBEdit 的数据传送通道； Label支持度阈值，置信度阈值，%的功能是显示文字符号作为标签使用； GroupBox 的功能是组合框，把一些相关组件组合一起； Button开头的功能是执行挖掘命令； Button退出的功能是执行退出挖掘命令。§7.1.6 帮助界面的具体实现图 7-6 帮助界面具体实现图帮助界面主要使用的组件有：Button.各个组件的功能：Button(关闭)的功能是执行关闭当前窗体的命令。§7.1.7 系统主界面运行后显示的结果图 7-7 系统主界面程序运行后系统主界面显示如上图，界面标签是超市商品销售数据挖掘系统。系统主界面有五个主菜单：超市销售记录、数据采集、任务定义、数据挖掘、帮助，和一个退出软件使用的按钮。学习体会利用数据挖掘技术可以帮助获得决策所需的多种学问。在很多状况下，用户并不知道数据存在哪些有价值的信息学问，因此对于一个数据挖掘系统而言，它应当能够同时搜寻觉察多种模式的学问，以满足用户的期望和实际需要。此外数据挖掘系统还应能够挖掘出多种层次抽象水平的模式学问。数据挖掘系统还应容许用户指导挖掘搜寻有价值的模式学问。我们组所开发的超市销售记录数据挖掘系统是承受关联规章挖掘的方法来挖掘出商家期望得到的销售信息。关联规章挖掘就是从大量的数据中挖掘出有价值描述数据项之间相互联系的有关学问。我们开发的超市销售记录数据挖掘系统主要应用就是市场购物分析。依据被放到一个购物袋的购物内容记录数据而觉察的不同被购置商品之间所存在的关联学问无疑将会帮助商家分析顾客的购置习惯。通过这次的课程设计，然我对数据挖掘技术有了一个整体的生疏。同样在编写程序的时候也遇到了这样或那样的问题。但在教师及同学们的帮助下，困难的完成了这个系统。这让我对数据挖掘技术以后的深入学习打下了良好的根底。参考文献1 敬喜，王钧.·Delphi7 数据库编程学习捷径.·北京:·科海电子出版社,·2023·2 吕伟臣，霍言，高小山.·Delphi 2023 入门与提高.·北京:·清华大学出版社,·2023·3 刘瑞，汪远征，李凤华.·Delphi 程序设计教程. ·北京:·机械工业出版社，·2023·4 毛国君.·数据挖掘原理与算法. ·北京:·清华大学出版社,·2023·