2023年数据挖掘实验报告.docx

数据挖掘实验报告学院名称 计算机科学与技术学院专业名称学生姓名学 号5指导教师1、依据航空公司客户价值分析的LRFMC模型提取客户信息的L RFMC指标。对其进行标 准差标准化并保存后，采用kme a ns算法完毕客户的聚类，分析每类的客户特性，从而获 得每类客户的价值。编写R程序，完毕客户的k-mean s聚类，获得聚类中心与类标号,并记录 每个类别的客户数四、实验环节1、对已有的数据进行数据清理，对解决后的数据进行保存。2、数据探索,拟定探索分析的变量，去掉口期型变量，最终输出变量最值、缺失情况。3、将数据进行标准化解决。4、进行聚类分析，得出类别分布。五、实验结果1、数据清理结果MEMBER.NOFFP.DATEGENDERFfP.TIERWORK.CITYWORK.PROVINCEWORK.COUI1549932006/11/22008/12/246无京CNA2280652007/2/192007/8/3关0北京CN3551062007/2/12007/8/30£6北京CN4211892008/8/222008/8/23«5Los AngelesCAUS5395462009/4/102009/4/15罢0贵阳分州CN6569722008/2/102009/9/29男6广州广东CN7449242OOG/3Z222006/3/296马木齐市好建CN8220312010/4/92010/4/9女6港开帚浙aCN9321972011/6/72011/7/15DRANCYFR2、聚类分析结果XLRFMC155841.00.136539410.00666153490.0086002610.0064901260.01019503218617.0-0.151643630.02842155070.01 1965821-0.0106254020.01176776343434.00.096366970.02460480920.0219702900.0173019240.0193462746206.00.17851727-0.01113125550.0128504710.008503481-0.01066226531026.50.013289070.00064735250.014253815-0.0086884920.01025627六、思考与分析1、使用不同的预解决对数据进行变化，再使用k-mean s算法进行聚类，对比聚类的结果。k-me a ns算法接受参数k;然后将事先输入的n个数据对象划分为k个聚类以便使得 所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类 相似度是运用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。优点:1.计算时间段，速度快2容易解释3聚类效果还不错。实验四一、实验原理A P r iori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和 情节的向下封闭检测两个阶段来挖掘频繁项集。该算法的基本思想是:一方面找出所有的频 集，这些项集出现的频繁性至少和预定义的最小支持度同样。然后由频集产生强关联规则, 这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生盼望的规则, 产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的 定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。 为了生成所有频集，使用了递归的方法。二、实验目的掌握R语言实现Ap r iori算法的过程。三、实验内容1、用R导入案例的事务集，每一行为一个事务集。调用其中的关联规则算法函数，输入算法 的最小支持度与置信度，获得中医症型系数与患者TNM分期的关联规则，并将规则保存。 四、实验环节1、对数据进行离散化的解决，取六种证型列数，然后对每单个属性列进行聚类操作，结果保 存用来后面的实验结果分析 工2、对已解决好的数据实行Apriori算法，生成关联规则。五、实验结果1、支持度和置信度的值如卜图所示set item appearances .0 item(s) done 0.00s.set transactions .28 item(s), 930 transaction(s) done 0.00s.sorting and recoding items . 24 item(s) done 0.00s.creating transaction tree done 0.00s.checking subsets of size 1 2 3 4 done 0.00s.writing . 2 rule(s) done 0.00s.creating S4 object . done 0.00s.> rules#显示31小中关联规贝I条效set of 2 rules> inspect (rules)中美联规则Ihsrhssupport confidence1 冲任失调证型系数Y 3,肝肾阴虚证型系数3) -> TNM分期4 0.07526882 0.87500002 肝气郁结证型系数=A 4,肝首因虑证型系数=F 3 -> TNM分期=H 4 0.07849462 0.8795181lift1 1.9608432 1.970968六、思考与分析1、Apriori算法的关键环节是找频繁集与根据置信度筛选规则,明白这两部后，可以按照自 己的思绪编写与优化关联规则程序。代码如下1 ibr a ry(ar u Ie s ) #加载 a r ules 程序包*data(Grocer i es) #调用数据文献f r e quentsets=eclat (Groce r ies.paramete r = I ist(su pport=0.0 5, maxi en= 10)# n s p ec t (fr e que n ts e t s 1 :1 0 ) #察看求得的频繁项集i nsp e ct(so r t(f r e q u e n t s ets,by="s u pport")1： 10) #根据支持度对求得的频繁项集排序 并察看(等价于 i n s p ect(s o rt(f r equentset s) 1 :10)ru 1 e s=aprio r i (Gro eerie s , p a r amet e r= 1 i st(support=0. 01,conf i dence= 0.01)#求关联规则summary (r u Ie s) #察看求得的关联规则之摘要x=s u b se t ( r ules,s u bs e t =rh s % i n %"whole mil k "&lift>=1.2) #求所需要的关联规则子集in s pec t (sort(x, b y =" s u pport") L :5J ) #根据支持度对求得的关联规则子集排序并察看*hs r hs suppor t co n f ide n c e lif tOth er vegeta bl es => wh o Ie milk 0.0 7 4834 7 7 0 . 3867578 1. 5136341 r ol 1 s/buns=> whole mi 1 k 0.05663 4 47 0.307 9 0 4 9 1.2050323A y o g urt => whole milk 0. 05 6 02440 0.40 16 0 3 5 1.5717354 ro ot vegeta b 1 e s => w h ole mi Ik 0.0 4 890 6 9 6 0.448 6 94 0 1.75 6 0315 tr o p ica 1 fru i t => whole m i Ik 0.04 2 2 9 7 9 2 0.40310 0 8 1 .577595实验内容实验一一、实验原理(1) .缺省值的解决:用均值替换、回归查补和多重查补对缺省值进行解决通过R语言提供的方法拟定哪些有缺省值，哪些是异常值，并把异常置为缺失值来 解决，通过表格形式打EfJ出来。将数据集提成完整数据和缺失数据两部分。(2) .用均值替换：求变量未缺失部分的均值，用均值替换缺失。回归查补：是把缺失属性作为因变最，其他相关属性作为自变最，运用他们之间的关系 建立回归模型的来预测缺失值，以此完毕缺失值插补的方法。(3) .多重查补：多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来 日于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声,形成多 组可选插补值。根据某种选择依据，选取最合适的插补值。多重插补方法分为三个环节:为每个空值产生一套也许的插补值，这些值反映了无响 应模型的不拟定性;每个值都可以被用来插补数据集中的缺失值,产生若干个完整数据集合。 每个插补数据集合都用针对完整数据集的记录方法进行记录分析。对来自各个插补数据 集的结果，根据评分函数进行选择,产生最终的插补值。二、实验目的掌握数据预解决的基本方法。三、实验内容1、R语言初步结识(掌握R程序运营环境)2、实验数据预解决。(掌握R语言中数据预解决的使用)对给定的测试用例数据集，进行以下操作。1)、加载程序,熟悉各按钮的功能。2)、熟悉各函数的功能，运营程序,并对程序进行分析。对餐饮销量数据进记录量分析，求销量数据均值、中位数、极差、标准差，变异系数和四分位数间距。对餐饮公司菜品的赚钱奉献度（即菜品赚钱帕累托分析），画出帕累托图。3）数据预解决。缺省值的解决：用均值替换、回归查补和多重查补对缺省值进行解决对连续属性离散化：用等频、等宽等方法对数据进行离散化解决四、实验环节.将数据加栽，通过函数计算所需的值1 .对餐饮公司菜品的赚钱奉献度（即菜品赚钱帕累托分析），画出帕累托图。2 .数据预解决。分别采用等宽离散化，等频离散化，聚类离散化来实现，画出图示结果。五、实验结果.销售数据的加载以及对于函数的计算均值中位 效极差标准差交异系 致1/4分 位效3/4分 位效分间 四位距12755.2152655.859084.44751.02980.27258482451.9753026.125574.15.画出帕累托图S6O98OHO89090zsocosro用 0 No 9LOSOO0000-SS§09§0寸S0N 0代”甯3.对数据的预解决(1)缺省值的解决salesdate :53442.119063393.118973136.618883744.118794060.31861040603185113614.7183123295.5182132332.1181142699.3180152332.1179163036.8178（2）对连续属性离散化六、思考与分析1、异常值的存在会对挖掘结果带来什么样的不良影响？对异常值分析是检查数据是否有录入错误以及具有不合常理的数据。忽视异常值的存在 是十分危险的，不加剔除的把异常值涉及进数据的计算分析过程中，会给结果带来不良影响2、为什么需要对数据进行规范化?进行规范化的目地:规范化目的是使结构更合理，消除存储异常，使数据冗余尽量小，便于插入、删除和更新实验二一、基本原理分类算法是解决分类问题的方法。分类算法通过对已知类别训练集的分析，从中发现分 类规则，以此预测新数据的类别。分类算法的应用非常广泛，银行中风险评估、客户类别分 类、文本检索和搜索引擎分类、安全领域中的入侵检测以及软件项目中的应用等等。二、实验目的：掌握C A RT决策树构建分类模型。三、实验内容对所有窃漏电用户及真诚用户的电量、告警及线损数据和该用户在当天是否窃漏电的标 记，按窃漏电评价指标进行解决并选取其中29 1个样本数据，得到专家样本，使用CAR T决 策树实现分类预测模型。注意：数据的8 0 %作为训练样本，剩下的2 0 %作为测试样本。四、实验环节1、对数据进行预解决2、把数据随机分为两部分，一部分用于训练，一部分用于测试。3、使用tree包里的iree函数以及训练数据构建CART决策树模型，使用predic t函数 和构建的CART决策树模型分别对训练数据和测试数据进行分类。4、使用nne t包里面的nnei函数以及训练数据构建神经网络模型，使用pre d ict函数和构建 的神经网络模型分别对训练数据和测试数据进行分类。5、对比分析CART决策树和神经网络模型对数据解决的结果。五、实验结果1、划分后的决策树ele tnd < 4 5tossjn 1 < 0.5alarm_ialarmakirm ind <052运营的n net脚本# weights3：51initialvalue179.274797iter10value74.875984iter20value52.715783iter30value50.984392iter40value50.559722iter50value50.441791iter60value50.423756iter70value50.413564iter80value50.123238iter90value49.969205iter100value49.957947final value 49.957947 stopped after 100 iterations六、思考与分析1、尝试采用神经网络对数据进行分类，并与CART决策树的结果进行比较。比较结果如下1、尝试采用神经网络对数据进行分类，并与CART决策树的结果进行比较。比较结果如下图显示00020.4060810False positive rate实验三一、实验原理K-me a ns算法是硬聚类算法，是典型的基丁原型的目的函数聚类方法的代表，它是数 据点到原型的某种距离作为优化的目的函数，运用函数求极值的方法得到迭代运算的调整规 则。K -means算法以欧式距离作为相似度测度，它是求相应某一初始聚类中心向量V最优 分类,使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。二、实验目的：1、运用R实现数据标准化。2、运用R实现K-Meam s聚类过程。三、实验内容