数据仓库与数据挖掘实验指导(共18页).doc

《数据仓库与数据挖掘实验指导(共18页).doc》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘实验指导(共18页).doc（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上 数据仓库与数据挖掘课程实验本实验是数据仓库与数据挖掘课程的验证性实验环节。课程共计8学时。实验目标:1、掌握建立和配置数据仓库的基本操作技能。主要包括数据仓库系统的安装。2、掌握数据仓库中数据的处理技术。主要包括数据仓库的建模、事务数据的转换、备份数据的恢复。3、掌握基于数据仓库的自动数据分析技术的基本操作技能。包括多维数据分析和数据挖掘。4、掌握一种专用数据挖掘软件,用以分析处理文本或电子表格的数据。实验环境:l Microsoft SQLServer2000l Microsoft SQLServer2000 Analysis Servcel DBMiner2.0

2、l Microsoft SQLServer2000 PACK4l JAVA运行时环境:JRE5.0l WEKA3.55实验项目:l实验1:安装数据仓库系统平台 1.5学时l实验2:构建数据仓库数据环境 1.5学时l实验3:多维数据分析 1.5学时l实验4:基于数据仓库的数据挖掘实验 2.0学时l实验5:数据挖掘平台应用实验 1.5学时实验1:安装数据仓库系统平台l实验任务:1.掌握Microsoft Server2000 数据仓库系统的安装与配置2.安装实验分析环境:1安装Microsoft Server2000 analysis Service2安装DBMiner2.03 安装Java运行时

3、环境JRE5.04安装WEKAl实验准备:请从黑板或网上获取安装文件所在的网络地址。并记在下面:网络资料的地址是:_本实验不得超过1.5学时。l实验指导:Lab1.1检查并安装Microsoft Server2000单元目标:确保完整正确的数据仓库实验环境工作步骤:1.检查你所使用的电脑上是否有Microsoft Server2000。如果有,启动并检查Microsoft Server2000 是否安装了Server Pack3以上的补丁文件。2.如果以上都没问题,则本实验结束。3.下载相应的系统文件安装。先安装Microsoft Server2000,再安装Server Pack3或Serv

4、er Pack4。Lab1.2检查并安装数据分析环境单元目标:确保安装了相应的数据分析软件工作步骤:1.检查你所使用的电脑是否安装了Microsoft Server2000 analysisService,DBMiner2.0, JRE5.0, WEKA3.5.5。如果都已安装且能正常运行,则本实验结束。否则进入以下步骤。2.如果没有安装以上软件。请按以下次序从网络资料地址上下载软件完成安装。完成Lab1.1 和Lab1,2后,本实验结束。实验2:构建数据仓库数据环境l实验任务:本实验主要验证ETL的数据处理过程。主要实验任务有:1.构建数据仓库模型,并在数据仓库系统中生成相应的数据表。2.将

5、事务数据库中的数据转入数据仓库中。3.还原备份和还原的数据仓库中的数据。l实验准备:请从黑板或网上获取数据文件所在的网络地址。并记在下面:数据文件的地址是:_ 本实验不得超过1.5学时。本实验将使用Microsoft SQLserver的示例数据库:Northwind,这是一个商贸公司的销售数据库。我们将这个事务型的数据导入到分析型的数据仓库中去。l实验指导:Lab2.1用caseStudio2.15 建立数据仓库的星型模型单元目标:建立Northwind_DW的数据仓库模型。如下图所示。并根据该模型生成相应的数据仓库的维表和事实表的结构。工作步骤:1. 按下图样式建立Northwind_DW

6、的昨型数据模型,请根据原事务数据库中相应字段的数据类型和宽度,对应地设计相应字段的数据类型和宽度。 2. 安装并启动CaseStudio2.15,设计以上模型。3. 运行生成脚本(Generate script生成相应的SQL代码。Lab2.2将事务型数据加载到分析数据环境中单元目标:根据以上实验单元建立的数据模型,在MicrosoftSQL2000中建立相应的物理数据仓库。工作步骤:1. 请从教师课件中“数据仓库与数据挖掘”目录下的Lab2008中下载文档“多维数据分析操作演练.pdf ”2. 用Adobe reader打开该文档。3. 在数据仓库创建部分,可以使用Lab2.1中的模型进行创

7、建和转化。4. 按照上面所列步骤进行操作。最终完成事实表和维表的数据转移。Lab2.3数据仓库中数据的备份与恢复单元目标:1.将已生成的数据仓库的数据进行备份。2.利用备份文件向新的数据库中还原数据仓库的数据。工作步骤:1、备份打开Sqlserver企业管理器,在需要备份的数据库上点鼠标右键,所有任务中选备份数据库。再从Sqlserver安装目录中的Data目录下,拷贝出要备份的数据库文件*.mdf,*.ldf,并备份这两个文件2、还原将要还原的数据库文件*.mdf,*.ldf拷贝到Sqlserver安装目录下的Data目录下。打开Sqlserver企业管理器,新建一个数据库,在数据库这一项上

8、点鼠标右键,在所有任务中选导入数据库,以拷贝到Data目录下的mdf恢复数据库。还原过程中,如果有什么异常,请参考“数据仓库与数据挖掘技术上机”目录下的“数据仓库实习指导.pdf”中的还原部分的内容。实验3:多维数据分析l实验任务:本实验主要验证OLAP多维分析的过程。主要包括完成OLAP数据库的创建,多维数据集的创建。存储和处理多维数据,浏览多维数据集等实验任务。l实验准备:本实验使用的操作参考为Lab2.2中下载的文档,“多维数据分析操作演练.pdf ”。本实验不得超过1.5学时。l实验指导:Lab3.1多维数据分析实验单元目标:1.掌握Microsoft analysis Service

9、的中对OALP数据库的操作步骤2.在使用过程中熟悉和理解相应的概念。工作步骤:1.在“多维数据分析操作演练.pdf ”中从P85开始进行相应的操作演练。2.在实验过程中,如果对相应的操作还不是很理解,请在”数据仓库与数据挖掘技术上机”目录下有“Sqlserver数据分析.rar ”文档,解压后,有详细的帮助和演练信息。实验4:基于数据仓库的数据挖掘实验l实验任务:1.基于Microsoft SQLserver2000 Analyses Service的数据挖掘模型对数据仓库中的数据进行决策树分析和聚类分析;2.使用DBMiner2.0对数据仓库中的数据进行聚类、关联分析;3.使用DBMiner

10、2.0对数据仓库的数据分析进行可视化。l实验准备:本实验的实验指导参考资料在网上,请下载参考。本实验不得超过1.5学时。l实验指导:Lab4.1 基于Microsoft SQLserver2000 Analyses Service的数据挖掘单元目标:掌握Microsoft SQLserver2000 Analyses Service的数据挖掘模型的使用步骤工作步骤:请在”数据仓库与数据挖掘技术上机”目录下有“Sqlserver数据分析.rar ”文档,解压后,按下图所指,完成“数据挖掘”的演练。 Lab4.2 基于DBMiner2.0的数据挖掘(选做单元目标:掌握DBminer2.0对数据仓库

11、中的数据进行可视化分类、聚类、关联分析由于时间有限,指导教师将进行一些现场的演练指导。工作步骤:1. 在”数据仓库与数据挖掘技术Lab2008”目录下下载相应的操作手册“DBMinerManual.pdf ”文档,阅读第一、二章。2. 对多维数据集进行可视化分析。(chapter 43. 对多维数据集进行关联分析。(chapter 64. 对多维数据集进行分类挖掘。(chapter 75. 对多维数据集进行聚类分析。(chapter 8实验5:数据挖掘平台应用实验l实验任务:1.熟悉WEKA数据挖掘平台的基本功能。2.能够对存于文本或电子表格中的数据进行数据挖掘分析3.本实验为选做,对毕业论文

12、分析数据有利用价值。l实验准备:1.下载Java运行时环境JRE1.5。2.下载WEKA并安装运行3. 在”数据仓库与数据挖掘技术Lab2008”目录下下载“WEKA中文使用手册.pdf”,有较详细的使用说明4.所需要的数据存放在“数据仓库与数据挖掘技术Lab2008WEKA_DATA”下。l实验指导:Lab5.1用WEKA进行决策树分析单元目标:掌握WEKA进行决策树分析的步骤。工作步骤:WEKA把分类(Classification和回归(Regression都放在“Classify”选项卡中,这是有原因的。在这两个任务中,都有一个目标属性(输出变量。我们希望根据一个样本(WEKA中称作实例

13、的一组特征(输入变量,对目标进行预测。为了实现这一目的,我们需要有一个训练数据集,这个数据集中每个实例的输入和输出都是已知的。观察训练集中的实例,可以建立起预测的模型。有了这个模型,我们就可以新的输出未知的实例进行预测了。衡量模型的好坏就在于预测的准确程度。在WEKA中,待预测的目标(输出被称作Class属性,这应该是来自分类任务的“类”。一般的,若Class属性是分类型时我们的任务才叫分类,Class属性是数值型时我们的任务叫回归。选择算法我们使用C4.5决策树算法对bank-data建立起分类模型。我们来看原来的“bank-data.csv”文件。“ID”属性肯定是不需要的。由于C4.5算

14、法可以处理数值型的属性,我们不用像前面用关联规则那样把每个变量都离散化成分类型。尽管如此,我们还是把“Children”属性转换成分类型的两个值“YES”和“NO”。另外,我们的训练集仅取原来数据集实例的一半;而从另外一半中抽出若干条作为待预测的实例,它们的“pep”属性都设为缺失值。经过了这些处理的训练集数据在这里下载;待预测集数据在这里下载。我们用“Explorer”打开训练集“bank.arff”,观察一下它是不是按照前面的要求处理好了。切换到“Classify”选项卡,点击“Choose”按钮后可以看到很多分类或者回归的算法分门别类的列在一个树型框里。3.5版的WEKA中,树型框下方有

15、一个“Filter.”按钮,点击可以根据数据集的特性过滤掉不合适的算法。我们数据集的输入属性中有“Binary”型(即只有两个类的分类型和数值型的属性,而Class变量是“Binary”的;于是我们勾选“Binary attributes”“Numeric attributes”和“Binary class”。点“OK”后回到树形图,可以发现一些算法名称变红了,说明它们不能用。选择“trees”下的“J48”,这就是我们需要的C4.5算法,还好它没有变红。点击“Choose”右边的文本框,弹出新窗口为该算法设置各种参数。点“More”查看参数说明,点“Capabilities”是查看算法适用范

16、围。这里我们把参数保持默认。现在来看左中的“Test Option”。我们没有专门设置检验数据集,为了保证生成的模型的准确性而不至于出现过拟合(overfitting的现象,我们有必要采用10折交叉验证(10-fold cross validation来选择和评估模型。若不明白交叉验证的含义可以Google一下。建模结果OK,选上“Cross-validation”并在“Folds”框填上“10”。点“Start”按钮开始让算法生成决策树模型。很快,用文本表示的一棵决策树,以及对这个决策树的误差分析等等结果出现在右边的“Classifier output”中。同时左下的“Results lis

17、t”出现了一个项目显示刚才的时间和算法名称。如果换一个模型或者换个参数,重新“Start”一次,则“Results list”又会多出一项。我们看到“J48”算法交叉验证的结果之一为Correctly Classified Instances 206 68.6667 % 也就是说这个模型的准确度只有69%左右。也许我们需要对原属性进行处理,或者修改算法的参数来提高准确度。但这里我们不管它,继续用这个模型。右键点击“Results list”刚才出现的那一项,弹出菜单中选择“Visualize tree”,新窗口里可以看到图形模式的决策树。建议把这个新窗口最大化,然后点右键,选“Fit to s

18、creen”,可以把这个树看清楚些。看完后截图或者关掉。这里我们解释一下“Confusion Matrix”的含义。= Confusion Matrix =a b R，我 们常用支持度（Support）和置信度（Confidence）来衡量它的重要性。规则的支 持度是用来估计在一个购物篮中同时观察到 L 和 R 的概率 P(L,R，而规则的置信 度是估计购物栏中出现了 L 时也出会现 R 的条件概率 P(R|L。关联规则的目标一 般是产生支持度和置信度都较高的规则。 有几个类似的度量代替置信度来衡量规则的关联程度，它们分别是 Lift（提升 度？） P(L,R/(P(LP(R Lift=1 时

19、表示 L 和 R 独立。这个数越大，越表明 L 和 ： R 存 在 在 一 个 购 物 篮 中 不 是 偶 然 现 象 。 Leverage （ 不 知 道 怎 么 翻 译 ） ： P(L,R-P(LP(R 它和 Lift 的含义差不多。Leverage=0 时 L 和 R 独立，Leverage 越大 L 和 R 的关系越密切。 Conviction （更不知道译了） P(LP(!R/P(L,!R （!R ： 表示 R 没有发生） Conviction 也是用来衡量 L 和 R 的独立性。从它和 lift 的关系 （对 R 取反，代入 Lift 公式后求倒数）可以看出，我们也希望这个值越大越

20、好。 值得注意的是，用 Lift 和 Leverage 作标准时，L 和 R 是对称的，Confidence 和 Conviction 则不然。 参数设置 现在我们计划挖掘出支持度在 10%到 100%之间， 并且 lift 值超过 1.5 且 lift 值排在前 100 位的那些关联规则。 我们把“lowerBoundMinSupport”和“upperBoundMinSupport”分别设为 0.1 和 1， “metricType”设为 lift， “minMetric”设为 1.5， “numRules”设为 100。 其他选项保持默认即可。 “OK” 之后在“Explorer”中点击

21、“Start”开始运行算 法，在右边窗口显示数据集摘要和挖掘结果。 下面是挖掘出来的 lift 排前 5 的规则。 Best rules found: 1. age=52_max save_act=YES current_act=YES 113 = income=43759_max 61 conf:(0.54 lev:(0.0 45 conv:(1.85 2. income=43759_max 80 = age=52_max save_act=YES current_act=YES 61 conf:(0.76 lev:(0.0 45 conv:(3.25 3. income=43759_max

22、 current_act=YES 63 = age=52_max save_act=YES 61 conf:(0.97 lev:(0.0 45 conv:(15.72 4. age=52_max save_act=YES 151 = income=43759_max current_act=YES 61 conf:(0.4 lev:(0.0 45 conv:(1.49 5. age=52_max save_act=YES 151 = income=43759_max 76 conf:(0.5 lev:(0.09 55 conv:(1.72 对于挖掘出的每条规则，WEKA 列出了它们关联程度的四

23、项指标。 命令行方式 我们也可以利用命令行来完成挖掘任务，在“Simlpe CLI”模块中输入如下格式 的命令： java weka.associations.Apriori options -t directory-pathbank-data-final.arff 即可完成 Apriori 算法。 注意， “-t”参数后的文件路径中不能含有空格。 在前面我们使用的 option 为 -N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 命令行中使用这些参数得到的结果和前面利用 GUI 得到的一样。 我们还可以加上 I” “- 参数， 得到不同项数的

24、频繁项集。 我用的命令如下： java weka.associations.Apriori -N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 -I -t d:wekabank-data-final.arff 挖掘结果在上方显示。 Lab5.3 用 WEKA 进行聚类分析 单元目标： 掌握 WEKA 进行聚类分析的步骤。 工作步骤： 聚类分析中的 “类” （cluster） 和前面分类的 “类” （class） 是不同的， cluster 对 更加准确的翻译应该是“簇” 。聚类的任务是把所有的实例分配到若干的簇，使得 同一个簇的实例聚集在一个簇中心

25、的周围，它们之间距离的比较近；而不同簇实 例之间的距离比较远。对于由数值型属性刻画的实例来说，这个距离通常指欧氏 距离。 现在我们对前面的 “bank data” 作聚类分析， 使用最常见的 K 均值 （K-means） 算法。下面我们简单描述一下 K 均值聚类的步骤。 K 均值算法首先随机的指定 K 个簇中心。然后：1将每个实例分配到距它最近的簇中心，得到 K 个簇；2计分 别计算各簇中所有实例的均值，把它们作为各簇新的簇中心。重复 1和 2，直到 K 个簇中心的位置都固定，簇的分配也固定。 上述 K 均值算法只能处理数值型的 属性，遇到分类型的属性时要把它变为若干个取值 0 和 1 的属性

26、。WEKA 将自动 实施这个分类型到数值型的变换，而且 WEKA 会自动对数值型的数据作标准化。 因此，对于原始数据“bank-data.csv” ，我们所做的预处理只是删去属性“id” ， 保存为 ARFF 格式后，修改属性“children”为分类型。这样得到的数据文件为 “bank.arff” ，含 600 条实例。 用 “Explorer” 打开刚才得到的 “bank.arff” 并切换到 ， “Cluster” 点 。 “Choose” 按钮选择“SimpleKMeans” ，这是 WEKA 中实现 K 均值的算法。 点击旁边的文本框，修改“numClusters”为 6，说明我们希

27、望把这 600 条实 例聚成 6 类，即 K=6。下面的“seed”参数是要设置一个随机种子，依此产生一 个随机数，用来得到 K 均值算法中第一次给出的 K 个簇中心的位置。我们不妨暂 时让它就为 10。 选中“Cluster Mode”的“Use training set” ，点击“Start”按 钮，观察右边“Clusterer output”给出的聚类结果。也可以在左下角“Result list” 中这次产生的结果上点右键， “View in separate window”在新窗口中浏览结果。 结果解释 首先我们注意到结果中有这么一行： Within cluster sum of sq

28、uared errors: 1604.32 这是评价聚类好坏的标准，数值越小说明同一簇实例之间 的距离越小。也许你得到的数值会不一样；实际上如果把“seed”参数改一下， 得到的这个数值就可能会不一样。我们应该多尝试几个 seed，并采纳这个数值最 小的那个结果。例如我让“seed”取 100，就得到 Within cluster sum of squared errors: 1555.18 我该取后面这个。当然再尝试几个 seed，这个数 值可能会更小。 接下来“Cluster centroids:”之后列出了各个簇中心的位置。对于数值型的属 性，簇中心就是它的均值（Mean） ；分类型的就

29、是它的众数（Mode） 也就是说 ， 这个属性上取值为众数值的实例最多。对于数值型的属性，还给出了它在各个簇 里的标准差（Std Devs） 最后的“Clustered Instances”是各个簇中实例的数 。 目及百分比。 为了观察可视化的聚类结果，我们在左下方“Result list”列出的 结果上右击，点“Visualize cluster assignments” 。弹出的窗口给出了各实例的散 点图。最上方的两个框是选择横坐标和纵坐标，第二行的“color”是散点图着色 的依据，默认是根据不同的簇“Cluster”给实例标上不同的颜色。 可以在这里点 “ Save ” 把 聚 类 结 果 保 存 成 ARFF 文 件 。 在 这 个 新 的 ARFF 文 件 中 ， “instance_number”属性表示某实例的编号， “Cluster”属性表示聚类算法给出 的该实例所在的簇。 专心-专注-专业