数据挖掘SPSSclementine数据处理.pptx

《数据挖掘SPSSclementine数据处理.pptx》由会员分享，可在线阅读，更多相关《数据挖掘SPSSclementine数据处理.pptx（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1培训内容培训内容 第一章第一章 合并多个数据源数据第二章第二章 抽取样本，选择和缓存数据第三章第三章 处理缺失数据第四章第四章 处理日期第五章第五章 处理时序数据第六章第六章 文件操作第七章第七章 效率第1页/共72页2第一章第一章合并多个数据源数据合并多个数据源数据第2页/共72页3第一章第一章 合并多个数据源数据合并多个数据源数据内容：使用追加节点串联包含相似字段的记录集的文件使用合并节点把不同数据源的信息加入到现有数据源使用超级节点简化数据流区域的内容数据：acct97.txt，accounts98.sav，customer.dat第3页/共72页4追加节点合并数据文件追加节点合并数据

2、文件不同组记录的相似信息有可能存储在不同数据文件不同财政年度的银行帐目信息不同学年的考试结果不同部门的欺诈信息不同周的事务办理数据追加节点可以合并两个或者更多的数据源，可以分析和比较不同记录组的相似信息。第4页/共72页5文件读入文件读入追加节点读取并下传来自同一数据源的所有记录直至该数据源不再有记录为止，然后读取下一个数据源的记录。第一个读入的数据源的数据结构（记录和字段数目等）默认为输出数据的数据结构。追加节点假定读入的数据源和最初输入源有相似的数据结构，根据不同数据文件的字段名合并数据。第5页/共72页6字段数目不同时的读入规则字段数目不同时的读入规则如果一个输入的字段数目比最初数据源少

3、，输入源记录缺失的字段用未定义值($null$)填补。如果一个输入的字段数目比最初数据源多，默认为从流中过滤掉多余的字段，有一个选项可以允许输入所有数据集的字段，所有记录缺失的字段用未定义值($null$)填补。第6页/共72页7追加文件追加文件使用变量文件节点读入文件acct97.txt确定选中“从文件读取字段名”使用SPSS文件节点读入文件accounts98.sav使用追加节点连接两个数据源节点使用制表节点分别输出表格第7页/共72页8输入条目改变主数据集输入条目改变主数据集第8页/共72页9条目设置条目设置第9页/共72页10处理字段处理字段使用导出节点和子链函数提取字段substri

4、ng(1,2,ACCTNO)提取字段ACCTsubstring(4,5,ACCTNO)提取字段CUSTREF substring(10,5,ACCTNO)提取字段ACCTREF使用过滤节点过滤字段ACCTNO第10页/共72页11数据流和追加文件数据流和追加文件第11页/共72页12合并节点合并数据文件合并节点合并数据文件在很多企业里，个体的信息存放于不同数据源中消费者信息和购买信息账目详细资料和事务办理数据房产商的信息按照个体和财产水平同样本调查中每隔一段时间收集的个体的信息合并节点可以合并两个或者更多的数据源，可以整体分析个体存放于不同数据源中的信息。第12页/共72页13合并文件合并文件

5、使用变量文件节点读入文件customer.dat确认选中从文件读取字段名分隔符选中制表符，取消逗号分隔符使用合并节点连接变量文件节点和追加节点选中按照关键字段包括匹配和不匹配记录使用制表节点输出表格第13页/共72页14合并方法合并方法按照顺序合并数据：如每一输入的第n 个记录被合并生成第n 个输出记录。只要任一记录缺少匹配的输入记录，则不会生成任何输出记录。按照关键字段合并数据：如果某一关键字段值不止一次的出现，则返回所有可能的组合。只包括匹配记录(内部合并)包括匹配和不匹配记录（完全外部合并）包括匹配和选中的不匹配记录（部分全外部合并）包括第一个数据集中且不与其它数据集匹配的记录（反向合并

6、）合并相同的关键字段：每个输出字段都有不同的字段名第14页/共72页15外部合并选择数据集外部合并选择数据集第15页/共72页16超级节点简化数据流超级节点简化数据流超级节点在流中用星型图标表示，图标的明暗程度表示超级节点的类型和流的方向（流向或者流出）总共有三种类型的超级节点：源超级节点 过程超级节点 终端超级节点第16页/共72页17超级节点超级节点规则两个选中的节点之间必须有路径通过。一个完整的流不能压缩为一个超级节点。要压缩的部分流不能包括分叉路径（终端超级节点在每个分叉路径包含终端节点除外）。操作创建超级节点编辑超级节点保存超级节点第17页/共72页18练习练习custtravel1

7、.dat，custtravel2.dat 记录旅游公司顾客的信息，holtravel.dat记录不同假期，公司提供的旅游信息，合并三个数据文件。使用变量文件节点分别读入这三个数据文件。连接三个制表节点，检查数据文件的读入是否正确。用Append节点，追加两个记录顾客信息的数据文件。编辑节点，并检查节点设置是否正确（确保custtravel1.dat是第一个数据文件），用制表节点，查看追加结果。用Merge节点，合并holtravel.dat和生成的数据文件，选择包括匹配和不匹配记录。用制表节点，查看合并结果。第18页/共72页19第二章第二章抽取样本，选择和缓存数据抽取样本，选择和缓存数据第1

8、9页/共72页20第二章第二章 抽取样本，选择和缓存数据抽取样本，选择和缓存数据内容：使用区分节点删除副本使用抽样和选择节点抽取样本使用分割节点分割数据为训练和测试样本使用缓存数据加速数据处理和冻结样本目的：介绍一系列对数据进行预处理的方法数据：前一章合并生成的数据，存储于文件fulldata.txt第20页/共72页21使用区分节点删除副本使用区分节点删除副本打开分割数据.str使用变量文件节点读入文件fulldata.txt确定选中“从文件读取字段名”使用制表节点输出表格使用区分节点连接变量文件节点在字段ID选择副本使用制表节点输出表格第21页/共72页22使用抽样节点抽取样本使用抽样节点

9、抽取样本使用抽样节点连接变量文件节点设定抽样节点选项包括样本random值为60设定随机种子数54321使用制表节点输出表格第22页/共72页23使用导出、选择节点抽取样本使用导出、选择节点抽取样本使用导出节点连接变量文件节点导出字段flag规则random0(2)使用制表节点输出表格使用分布节点连接导出节点选择字段flag输出分布图使用选择节点连接导出节点条件flag=0 使用制表节点输出表格第23页/共72页24使用分割节点分割样本使用分割节点分割样本使用分割节点连接数据文件节点选择分成两部分分割部分的和少于100%，丢弃剩余的数据设定随机种子123使用分布节点连接分割节点选择字段Part

10、ition输出分布图第24页/共72页25数据缓存数据缓存为了最优化的执行，用户可以对任何没有结束的节点建立一个缓存。当对一个节点建立一个缓存的时候，缓存区会被下一次执行数据流时要通过节点的数据所填满。以后数据就从该缓存区中读取而不是从数据源中读取。缓存的主要作用：避免预处理过程的重复，提高速度冻结样本，例如导出和分割节点中使用随机函数选择样本第25页/共72页26分割节点中使用缓存分割节点中使用缓存启用缓存带有缓冲区的节点能够以一个小的文件图标被显示在右上角。当数据在节点处被缓存时，这个文件图标是绿色的。刷新缓存保存缓存以SPSS 文件的形式来保存一个缓存区的内容读取缓存可以通过SPSS 文

11、件节点在流中读入可以恢复到最初生成缓存的节点第26页/共72页27练习练习使用变量文件节点，读入数据文件custandhol.dat。使用区分节点移除重复记录，区分字段为CUSTID。使用制表节点查看数据文件对上述数据文件，用抽样节点随机抽取70%的记录 在抽样节点，设置随机种子值执行该流，观察每次的结果是否相同使用分割节点把数据文件分割成两部分，70训练集，30测试集。分别使用制表节点和分布节点查看结果在抽样节点，缓存数据再次执行数据流，观察数据流是从数据源节点，还是从抽样节点执行第27页/共72页28第三章第三章处理缺失数据处理缺失数据第28页/共72页29第三章第三章 处理缺失数据处理缺

12、失数据内容：使用质量节点产生过滤和选择节点包含和排除具有缺失数据的字段和记录使用填充节点删除空白使用类型节点自动检查空白处理缺失数据的建议目的：这一章引入一系列方法处理缺失数据数据：数据文件SmallSampleMissing.txt第29页/共72页30使用质量节点提高数据质量使用质量节点提高数据质量使用变量文件节点读入数据SmallSampleMissing.txt 确定选中“读取字段名”使用类型节点连接变量文件节点CHILDREN值99设定空白使用制表节点输出表格使用质量节点选中未定义值，空格，空白和空字符串输出质量报告第30页/共72页31生成选择节点和过滤节点生成选择节点和过滤节点质

13、量报告产生菜单生成选择节点和过滤节点，插入类型节点和制表节点之间使用制表节点输出表格生成选择节点选择带有至少一个缺失值的记录生成过滤节点过滤带有缺失值的字段第31页/共72页32数据流和输出数据流和输出第32页/共72页33使用填充节点移除空白使用填充节点移除空白使用类型节点指定空白三个填充节点插入类型节点和制表节点之间字段CHILDREN替换为0字段INCOME替换为23407 字段SEX 替换为“unknown”使用制表节点输出表格第33页/共72页34自动检查缺失和超出边界的值自动检查缺失和超出边界的值类型节点包含一种自动检查过程，自动检查数据是否符合当前的类型和边界设置。检查过程会忽略

14、空白自动检查设置：无，无效，强制，丢弃，警告，中止强制设置选项第34页/共72页35强制设定结果强制设定结果第35页/共72页36处理缺失数据的建议处理缺失数据的建议使用生成的选择节点丢弃有问题的记录使用生成的过滤节点丢弃有问题的字段使用填充节点填充值使用自动检查强制或丢弃不合规定的值可以用预测模型（例如神经网络）导出的值填充缺失值第36页/共72页37练习练习变量文件节点读入数据文件custandhol.dat。类型节点连接数据源节点，指定空白。GENDER 字段White Space指定为空白HOLCOST字段null指定为空白在类型节点上连接质量节点，计算空白值数目。从质量节点自动生成选

15、择节点，选择没有缺失值的记录统计节点连接生成选择节点，计算HOLCOST 字段的均值。填充节点连接类型节点，均值填充HOLCOST字段缺失值。用制表节点查看输出结果。用超级节点封装填充节点和制表节点保存流mystream.str，以后的练习将会用到这个流。第37页/共72页38第四章第四章处理日期处理日期第38页/共72页39第四章第四章 处理日期处理日期内容：介绍如何设定流中的日期格式介绍日期函数处理涉及日期字段的计算介绍字符串函数处理日期的格式介绍如何使用导出节点的多重模式目的：这一章我们介绍在Clementine中如何处理日期字段数据：fulldata.txt，Account_DateP

16、rob.dat，MultDate.txt 第39页/共72页40在在Clementine中指定日期格式中指定日期格式第40页/共72页41计算时间长度计算时间长度使用变量文件节点读入数据fulldata.txt确定选中“从文件读取字段名”使用导出节点导出字段LENGTH_WAIT导出规则date_months_difference(STARTDT,OPENDATE)使用过滤节点过滤除STARTDT,OPENDATE和 LENGTH_WAIT以外的字段使用制表节点输出表格第41页/共72页42日期格式化的字符串处理实例日期格式化的字符串处理实例打开流日期格式化.str 流基本上由一些导出节点组成

17、，把字段中不正常的格式转换成Clementine支持的日期格式。第42页/共72页43表格显示有问题的日期字段表格显示有问题的日期字段可以看出Open_Date 字段有两个问题有些记录中部分字段名“Open_”前缀于日期值有些记录中只有月和年解决办法移除前缀“Open_”缺失天数值的记录，填补15第43页/共72页44从字段中提取日期部分从字段中提取日期部分第44页/共72页45填补天数值填补天数值第45页/共72页46多重字段的处理多重字段的处理打开数据流 多重时间.str 加入导出节点选择多重模式导出字段Pur1,Pur2,Pur3,Pur4 和 Pur5 字段名后缀_Time 导出规则d

18、ate_days_difference(AcctEst,FIELD)第46页/共72页47练习练习打开数据流ex4.str通过数据流特征对话框更改日期显示的格式为dd/mm/yy2-digit date设置为2005导出节点连接生成选择节点导出两个字段分别表示顾客年龄和开始旅游的月份。字段age，导出规则date_years_difference(date1,date2)字段hol_month，导出规则substring(position,length,field)使用制表节点查看结果。保存流。第47页/共72页48第五章第五章处理时序数据处理时序数据第48页/共72页49第五章第五章 处理时

19、序数据处理时序数据内容：介绍一些CLEM时序函数介绍导出节点的计数和状态选项介绍使用历史节点重构时序数据目的：这一章中我们介绍在Clementine中可用的一些处理时序数据的方法数据：year_balances.txt，year_balances.sav第49页/共72页50数据数据变量文件节点读入数据文件year_balances.txt 确定选中“从文件读取字段名”使用类型节点实例化数据使用排序节点按照ACCTNO,MONTH 排序使用制表节点输出表格第50页/共72页51CLEM时序函数时序函数使用INDEX记录索引使用OFFSET重新得到字段的值OFFSET(ACCTNO,1)OFFS

20、ET(ACCTNO,-3)平均，求和，比较值MIN MAX MEAN SUM SDEVSUM(BALANCE)MEAN(BALANCE,3)第51页/共72页52计算每个账目字段余额计算每个账目字段余额3月平均月平均 第52页/共72页53导出节点的计数选项导出节点的计数选项第53页/共72页54导出节点的状态选项导出节点的状态选项第54页/共72页55图解数据经过历史节点图解数据经过历史节点第55页/共72页56使用历史节点重构时序数据使用历史节点重构时序数据使用历史节点连接排序节点选择字段BALANCE 偏差1，间隔11使用制表节点输出表格使用抽样样本包括样本抽样1-in-12使用制表节点

21、输出表格第56页/共72页57练习练习首先，创建新的字段表示假日消费的累积总额。在创建新的字段前，我们必须对数据根据日期进行排序。排序节点连接导出节点hol_month。设置Sort节点，根据hol_month和TRAVDATE字段的升序排序导出节点连接排序节点。导出一个字段用以表示字段HOL_COST的累积值。导出规则SUM（field）使用制表节点查看数据。附加题：对字段HOLCODE，hol_month和TRAVDATE进行升序排序后生成新的字段。从1开始，每次遇到新的度假地点时增加1可以利用OFFSET和导出节点的计数形式第57页/共72页58第六章第六章文件操作文件操作第58页/共7

22、2页59第六章第六章 文件操作文件操作内容介绍聚合节点总结记录介绍设计标记节点转换一个集字段为一组标记字段使用合并节点合并聚合节点和设计标记节点的输出目的这一章介绍两个能改变数据整体结构的节点数据fulldata.txt第59页/共72页60图解数据经过聚合节点图解数据经过聚合节点第60页/共72页61聚合数据聚合数据打开流File Manipulation.str排序节点连接选择节点按字段ID排序聚合节点连接排序节点关键字段ID，关键字段相邻聚合字段：AGE,INCOME和 CHILDREN 聚合模式：Max聚合字段OPEN_BAL和 CURR_BAL聚合模式：Sum使用制表节点输出表格第6

23、1页/共72页62图解数据经过设计标记字段和聚合字段图解数据经过设计标记字段和聚合字段第62页/共72页63设为标志节点设为标志节点设为标记节点连接排序节点集字段ACCOUNT 排序节点连接设计标记节点按ID排序设计标记节点中选中聚合关键词ID使用制表节点输出表格第63页/共72页64输出结果比较输出结果比较第64页/共72页65合并聚合节点和设计标记节点的输出合并聚合节点和设计标记节点的输出第65页/共72页66练习练习生成新的数据文件，使每个假日对应一个记录。每个新的记录包括数据聚合的信息。首先根据HOLCODE字段排序聚合节点连接排序节点。关键字段HOLCODE聚合字段 NUMPARTY

24、，HOLCOST，NIGHTS，AGE，DIST_TO_BEECH（使用最小模式），Total number of bookings for this holiday（包括记录计数)制表节点查看数据。附加题：利用设计标记节点生成3个新的字段，用以表示顾客是否要求Full board(FB),Half board(HB)，或者self-catering(SC)。第66页/共72页67第七章第七章效率效率第67页/共72页68第七章第七章 效率效率内容介绍SQL Pushback，利用数据库效率和可测量性介绍流特征Maximum Set Size目标这一章我们介绍提高Clementine性能的一些

25、特性。数据Holidays数据库（文件 custandhol.mdb）第68页/共72页69SQL PushbackClementine通过向数据库返回SQL指令让数据库运行数据处理操作提高操作的效率。如合并、排序、过滤、区分和设计标记等节点支持SQL优化，假设目标数据库支持它们的功能。一些图表节点和生成的模型节点也可以利用SQL优化导出和选择节点也可能支持SQL优化，依赖于节点中的CLEM表达式是否被SQL支持。第69页/共72页70数据流：数据流：SQL_Pushback.str 第70页/共72页71最大集合规模最大集合规模第71页/共72页 2006 SPSS Inc.72感谢您的观看！第72页/共72页