2019年-数据挖掘4章节挖掘原语-语言和体系结构ppt课件.ppt

《2019年-数据挖掘4章节挖掘原语-语言和体系结构ppt课件.ppt》由会员分享，可在线阅读，更多相关《2019年-数据挖掘4章节挖掘原语-语言和体系结构ppt课件.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘原语，语言和体系结构n数据挖掘原语n数据挖掘语言n数据挖掘系统体系结构n总结数据挖掘原语划分挖掘相关的数据挖掘相关的数据 挖掘的知识类型挖掘的知识类型背景知识背景知识模式的兴趣度量模式的兴趣度量结果的表示与可视化结果的表示与可视化经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用任务相关数据任务相关数据n数据库（或数据仓库）名称数据库（或数据仓库）名称n例如：例如：AllElectr

2、onics_dbn数据库表（或数据仓库的立方体）数据库表（或数据仓库的立方体）n例如：表例如：表item,customer,purchase,items_soldn数据选择条件数据选择条件n例如：选取本年度加拿大地区购买商品的数据例如：选取本年度加拿大地区购买商品的数据n选取条件可能在概念上层次高于选取条件可能在概念上层次高于DB/DW的数据的数据n如：如：”type=home entertainment”，DB/DW中数据中数据tv,cd player,vcrn有关的属性（或维）有关的属性（或维）n例如：例如：item表的表的name,price属性属性;customer表的表的income

3、,age属性。属性。n系统应具备自动选取相关属性的机制，比如通过评估各属性与特系统应具备自动选取相关属性的机制，比如通过评估各属性与特定操作的相关程度。定操作的相关程度。n数据分组的标准数据分组的标准n例如：根据日期进行分组例如：根据日期进行分组经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘的知识类型挖掘的知识类型n描述描述(characterization)n区别分析区别分析(discrimination)n关联关联(association)n分类分类/预测预测(classification/predic

4、tion)n聚类聚类(clustering)经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用n例例:用户如果想发掘用户如果想发掘AllElectronics数据库中用户的购买数据库中用户的购买习惯，可能会选择下面关联规则：习惯，可能会选择下面关联规则：P(X:customer,W)Q(X,Y)=buys(X,Z)X是是customer表的主键，表的主键，P,Q是谓词变量是谓词变量(在相关数在相关数据中定义据中定义)，W,Y,Z是目标变量。可能的挖掘结果是：是目标变量。可能的挖掘结果是：nage(X,”3039”)

5、income(X,”40k49k”)=buys(X,”VCR”)2.2%,60%naccupation(X,”student”)age(X,”2029”)=buys(X,”computer”)1.4%,70%经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用背景知识：概念层次背景知识：概念层次n概念层次概念层次n模式层次模式层次(schema hierarchy)(schema hierarchy)n例：例：Streetcityprovince_or_statecountryn集合集合-分组层次分组层次(set-g

6、rouping hierarchy)n例：例：young,middle_aged,seniorall(age)20-39=young,40-59=middle_agedn基于操作层次基于操作层次(operation-derived hierarchy)n包括信息解码，复杂数据对象的信息提取，数据聚类，数据分布分析算包括信息解码，复杂数据对象的信息提取，数据聚类，数据分布分析算法等法等n例：例：email address:login-name department university countryn基于规则层次基于规则层次(rule-based hierarchy)n例：例：low_prof

7、it_margin(X)=price(X,P1)and cost(X,P2)and(P1-P2)B)=n(A nd B)/n(all),nnoise threshold(description)n新颖程度新颖程度(novelty)n如：如：not previously known,surprising(used to remove redundant rules,e.g.,Canada vs.Vancouver rule implication support ratio经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务

8、的费用结果模式的可视化结果模式的可视化n挖掘系统应能够用多种形式来显示发掘挖掘系统应能够用多种形式来显示发掘出来的模式出来的模式n如：规则，表，报表，图表，图，决策数和立方体如：规则，表，报表，图表，图，决策数和立方体n挖掘系统应能够支持挖掘结果的多种操挖掘系统应能够支持挖掘结果的多种操作作n如：如：drill-down,roll-up,slicing,dicing,rotation经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘原语，语言和体系结构n数据挖掘原语n数据挖掘语言n数据挖掘系统体系结构n总结经营

9、者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用DMQL一个数据挖掘语言n动机动机n为了能提供交互式数据挖掘能力为了能提供交互式数据挖掘能力n通过提供一个类似通过提供一个类似SQL的语言的语言n希望能像希望能像SQL语言一样成为挖掘标准语言语言一样成为挖掘标准语言n希望成为系统开发和演化希望成为系统开发和演化(evolution)的基础的基础n希望促进信息交换，技术转移，商业化并获得广希望促进信息交换，技术转移，商业化并获得广泛承认泛承认n设计设计nDMQL 在前面介绍的挖掘原语基础之上进行设计在前面介绍的挖掘原语基

10、础之上进行设计经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用任务相关数据的语法表示任务相关数据的语法表示nuse database,or use data warehouse nfrom where nin relevance to norder by ngroup by nhaving 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用任务相关数据语法表示（续）任务相关数据语法表示（续）n例：如果挖掘例：如果挖掘AllElectr

11、onics的加拿大顾客经常购买的商的加拿大顾客经常购买的商品之间的关联，针对顾客不同收入和年龄，并且数据品之间的关联，针对顾客不同收入和年龄，并且数据用购买日期进行分组。挖掘相关数据可以写成用购买日期进行分组。挖掘相关数据可以写成：use database AllElectronics_dbin relevance to I.name,I.price,C.income,C.agefrom customer C,item I,purchase P,item_sold Swhere I.item_ID=S.item_ID and S.trans_ID=P.trans_ID and P.cust_I

12、D=C.cust_IDgroup by P.date 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘知识类型的语法挖掘知识类型的语法n:=|n:=Mine characterization as analyze n例：例：mine characteristics as customerPurchasing analyze count%n:=Mine comparison as for where versus where analyze n例：例：mine comparison as purchaseGro

13、ups for bigSpenders where avg(I.price)$100 analyze count versus budgetSpenders where avg(I.price),$100经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘知识类型的语法挖掘知识类型的语法(续续)n:=mine association as matching n例：例：mine associations as buyingHabits matching P(X:customer,W)Q(X,Y)=buys(X,Z)

14、n:=mine classification as analyze n例：例：mine classification as classifyingCustomerCreditRating analyze credit_infon:=Mine prediction as analyze set attribute_or_dimention_i=n例：例：mine prediction as predictItemPrice analyze price set category=“TV”and brand=“SONY”经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增

15、加赔偿的金额为消费者购买商品的价款或接受服务的费用概念层次语法n语法：语法：Use hierarchy for n不同概念层次采用不同定义方式不同概念层次采用不同定义方式n模式概念层次模式概念层次define hierarchy time_hierarchy on date as date,month quarter,yearn集合集合-分组概念层次分组概念层次define hierarchy age_hierarchy for age on customer aslevel1:young,middle_aged,senior level0:alllevel2:20,.,39 level1:y

16、ounglevel2:40,.,59 level1:middle_agedlevel2:60,.,89 level1:senior经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用概念层次语法（续）n基于操作概念模式基于操作概念模式(operation-derived hierarchies)define hierarchy age_hierarchy for age on customer as age_category(1),.,age_category(5):=cluster(default,age,5)al

17、l(age)n基于规则概念模式基于规则概念模式(rule-based hierarchies)define hierarchy profit_margin_hierarchy on item as level_1:low_profit_margin level_0:all if(price-cost)$50 level_1:medium-profit_margin$50)and(price-cost)=$250)level_1:high_profit_margin$250经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务

18、的费用兴趣度量语法n语法：语法：with threshold=threshold_valuen例例:with support threshold=0.05with confidence threshold=0.7 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘知识表示语法n 用户指定显示方法用户指定显示方法display asdisplay as n 为在不同概念层次上观察结果：为在不同概念层次上观察结果：Multilevel_Manipulation:=Multilevel_Manipulation:=r

19、oll up onroll up on|drill down ondrill down on|addadd|dropdrop 经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用一个完整的DMQL语句use database AllElectronics_db use hierarchy location_hierarchy for B.addressmine characteristics as customerPurchasing analyze count%in relevance to C.age,I.typ

20、e,I.place_made from customer C,item I,purchases P,items_sold S,works_at W,branch Bwhere I.item_ID=S.item_ID and S.trans_ID=P.trans_ID and P.cust_ID=C.cust_ID and P.method_paid=AmEx and P.empl_ID=W.empl_ID and W.branch_ID=B.branch_ID and B.address=Canada and I.price=100with noise threshold=0.05 displ

21、ay as table经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用其它数据挖掘语言n关联规则语言关联规则语言nMSQL(Imielinski&Virmani99)nMineRule(Meo Psaila and Ceri96)nQuery flocks 基于基于Datalog 语法语法(Tsur et al98)nOLEDB for DM(Microsoft2000)n和和 OLE DB,OLE DB for OLAP一起致力于一起致力于DB,DW,DM的标准化的标准化n到到2000年年3月止，已经完成了月止

22、，已经完成了predictive modeling(classification&Prediction),clustering,还未包含还未包含 characterization,discrimination,association modeling 等。等。nCRISP-DM(CRoss-Industry Standard Process for Data Mining)n是一个国际性项目，包含数据库公司，数据仓库公司，用户公司是一个国际性项目，包含数据库公司，数据仓库公司，用户公司(user companies)n目的在于提供有效数据挖掘的平台和过程结构目的在于提供有效数据挖掘的平台和过程

23、结构(process structure)n强调运用数据挖掘技术来解决商业问题强调运用数据挖掘技术来解决商业问题经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘原语，语言和体系结构n数据挖掘原语n数据挖掘语言n数据挖掘系统体系结构n总结经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据挖掘系统体系结构n数据挖掘系统与数据挖掘系统与 DB/DW 系统的耦合程度系统的耦合程度n零耦合零耦合用文件作为数据源和存放结果数据用文件作为数

24、据源和存放结果数据,不推荐不推荐n松散耦合松散耦合n用用DB/DW作数据源，查询结果写入文件或作数据源，查询结果写入文件或DB/DW；但不使用；但不使用DB/DW的提供的数据结构和查询优化方法。的提供的数据结构和查询优化方法。n半紧耦合半紧耦合提升挖掘系统性能提升挖掘系统性能n部分挖掘原语在部分挖掘原语在DB/DW中实现，如中实现，如sorting,indexing,aggregation,histogram analysis,multiway join,precomputation of some statistic functions such as count,sum,max,min,s

25、tandard deviation.n紧耦合紧耦合一个统一的信息处理环境一个统一的信息处理环境nDM 被集成到被集成到DB/DW系统，作为信息系统的一个组成部分；并利系统，作为信息系统的一个组成部分；并利用用DB/DW的数据结构，索引模式查询处理过程对挖掘查询进行优的数据结构，索引模式查询处理过程对挖掘查询进行优化。化。经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用挖掘原语，语言和体系结构n数据挖掘原语n数据挖掘语言n数据挖掘系统体系结构n总结经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或接受服务的费用总结n数据挖掘查询原语数据挖掘查询原语n任务相关数据任务相关数据n挖掘知识类型挖掘知识类型n背景知识背景知识n兴趣度量兴趣度量n知识表示和可视化知识表示和可视化n数据挖掘查询语言数据挖掘查询语言nDMQL,MS/OLEDB for DM等等.n数据挖掘系统体系结构数据挖掘系统体系结构n零耦合，松散耦合，半紧密耦合，紧密耦合零耦合，松散耦合，半紧密耦合，紧密耦合