第6章挖掘大型数据库中的关联规则数据挖掘概念与技术教学课件ppt.ppt

《第6章挖掘大型数据库中的关联规则数据挖掘概念与技术教学课件ppt.ppt》由会员分享，可在线阅读，更多相关《第6章挖掘大型数据库中的关联规则数据挖掘概念与技术教学课件ppt.ppt（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。第第6章：挖掘大型数据库中的关联规则章：挖掘大型数据库中的关联规则6.1 关联规则挖掘关联规则挖掘关联规则挖掘寻找给定数据集中项之间的有趣联系。关联规则挖掘寻找给定数据集中项之间的有趣联系。2023/4/131Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/132Data Mining:

2、Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/133Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.1.2 基本概念基本概念:频繁模式和关联规则频繁模式和关联规则nItemset（项集）（项集）X=x1,xkn找出满足最小支持度和置信度的所找出满足最小支持度和置信度的所规则规则 XY

3、：n支持度支持度,s,事务包含事务包含 X Y 的的概概率率 n置信度置信度,c,事务含事务含 X 也包含也包含 Y 的的条件概率条件概率.设设 min_support=50%,min_conf =50%:A C (50%,66.7%)C A (50%,100%)顾客购买顾客购买尿布尿布顾客购买顾客购买二者二者顾客购买顾客购买啤酒啤酒Transaction-idItems bought10A,B,C20A,C30A,D40B,E,F2023/4/134Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开

4、式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。挖掘关联规则挖掘关联规则一个例子一个例子规则规则 A C:支持度支持度=support(A C)=50%置信度置信度=support(A C)/support(A)=66.6%最小支持度最小支持度 50%最小置信度最小置信度 50%Transaction-idItems bought10A,B,C20A,C30A,D40B,E,FFrequent patternSupportA75%B50%C50%A,C50%2023/4/135Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较

5、广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.1.3 关联规则挖掘：一个路径图关联规则挖掘：一个路径图2023/4/136Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/137Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很

6、少使用，在此不再说明。2023/4/138Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/139Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.2 单维关联规则挖掘算法单维关联规则挖掘算法最简单形式的关联规则挖潜方法：关联规则是单维、最简单形式的关联规则挖潜方法

7、：关联规则是单维、单层、布尔关联规则。单层、布尔关联规则。2023/4/1310Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.2.1 Apriori:一种候选产生一种候选产生-测试方法测试方法nApriori性质：频繁项集的任何子集必须是频繁的。性质：频繁项集的任何子集必须是频繁的。n如果如果 beer,diaper,nuts 是频繁的是频繁的,beer,diaper也是。也是。n每个包含每个包含 beer,diaper,nuts

8、的事务的事务 也包含也包含 beer,diaper。nApriori 剪枝原则剪枝原则:n如果一个项集不是如果一个项集不是频繁的频繁的,将不产生将不产生/测试它的超集反单调性。测试它的超集反单调性。n方法方法:n由长度为由长度为k的的频繁频繁项集产生长度为项集产生长度为(k+1)的候选项集的候选项集,并且并且n根据根据 DB测试这些候选。测试这些候选。n性能研究表明了它的有效性和可伸缩性。性能研究表明了它的有效性和可伸缩性。nAgrawal&Srikant 1994,Mannila,et al.19942023/4/1311Data Mining:Concepts and Techniques

9、从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。AprioriApriori算法：通过已知的频繁项集构成长度更大的算法：通过已知的频繁项集构成长度更大的项集，并将其称为潜在频繁项集。潜在频繁项集，并将其称为潜在频繁项集。潜在频繁k k项集的集合项集的集合C Ck k 是指由有可能成为频繁是指由有可能成为频繁k k项集项集L Lk k的项集组成的集合。的项集组成的集合。以后只需计算潜在频繁项集的支持度，而不必计算以后只需计算潜在频繁项集的支持度，而不必计算所有不同项集的支持度，因此在一定程度上减少了计算所有

10、不同项集的支持度，因此在一定程度上减少了计算量。量。2023/4/1312Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。1.Apriori 算法算法 一个例子一个例子数据库数据库 TDB第第1次扫描次扫描C1L1L2C2C2第第2次扫描次扫描C3L3第第3次扫描次扫描TidItems10A,C,D20B,C,E30A,B,C,E40B,EItemsetsupA2B3C3D1E3ItemsetsupA2B3C3E3ItemsetA,BA

11、,CA,EB,CB,EC,EItemsetsupA,B1A,C2A,E1B,C2B,E3C,E2ItemsetsupA,C2B,C2B,E3C,E2ItemsetB,C,EItemsetsupB,C,E2最小支持度最小支持度=22023/4/1313Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2.Apriori 算法算法n算法伪代码算法伪代码:Ck:长度为长度为 k的候选项集的候选项集Lk:长度为长度为k的频繁项集的频繁项集L1=频

12、繁项频繁项;for(k=1;Lk!=;k+)do begin Ck+1=由由 Lk产生的候选产生的候选;for each 数据库中的事务数据库中的事务 t do 增加包含在增加包含在t 中的所有候选中的所有候选Ck+1的计数的计数 Lk+1 =Ck+1 中满足中满足 min_support的候选的候选 endreturn k Lk;2023/4/1314Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。3.Apriori的重要细节的重要细

13、节n如何产生候选如何产生候选?n步骤步骤 1:Lk的自连接的自连接 n步骤步骤 2:剪枝剪枝n入何对候选的支持度计数入何对候选的支持度计数?n候选产生的例子候选产生的例子nL3=abc,abd,acd,ace,bcdn自连接自连接:L3*L3nabcd：由由 abc 和和 abdnacde：由由 acd 和和 acen剪枝剪枝:nacde 被删除被删除,因为因为 ade 不在不在 L3nC4=abcdL4的每个频繁项的子的每个频繁项的子集都应在集都应在L3中。中。2023/4/1315Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞

14、开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。4.如何产生候选如何产生候选?n假定假定 Lk-1 中的项集已排序中的项集已排序n步骤步骤 1:Lk-1自连接自连接 insert into Ckselect p.item1,p.item2,p.itemk-1,q.itemk-1from Lk-1 p,Lk-1 qwhere p.item1=q.item1,p.itemk-2=q.itemk-2,p.itemk-1 q.itemk-1在在p和和q中，前中，前K-2项相同，且项相同，且p的第的第k-1项少于项少于q的第的第k-1项值。项值。nSte

15、p 2:剪枝剪枝forall itemsets c in Ck doforall(k-1)-subsets s of c doif(s is not in Lk-1)then delete c from Ck2023/4/1316Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。5.完整的完整的Apriori算法算法n(1)L1=频繁频繁1项集项集;n(2)for(k=2;Lk-1;k+)do begin n(3)Ck=apriori_g

16、en(Lk-1);/新的潜在频繁项集新的潜在频繁项集 n(4)for all transactions t D do begin n(5)Ct=subset(Ck,t);/t中包含的潜在频繁项集中包含的潜在频繁项集 n(6)for all candidates c Ct do n(7)c.count+;n(8)end;n(9)Lk=c Ck|c.count minsup n(10)end;2023/4/1317Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很

17、少使用，在此不再说明。D：2023/4/1318Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/1319Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.2.2 由频繁项集产生关联规则由频繁项集产生关联规则2023/4/1320Data Mining:Concep

18、ts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/1321Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。关联规则的可视化关联规则的可视化:Pane Graph2023/4/1322Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中

19、有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。关联规则的可视化关联规则的可视化:Rule Graph2023/4/1323Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.2.3 提高提高Apriori算法的有效性算法的有效性频繁模式挖掘的挑战频繁模式挖掘的挑战n挑战挑战n事务数据库的多遍扫描事务数据库的多遍扫描n数量巨大的候选数量巨大的候选n候选支持度计数繁重的工作量候选支持度计数繁重的工作量

20、n改进改进 Apriori:基本思想基本思想n减少事务数据库的扫描遍数减少事务数据库的扫描遍数n压缩候选数量压缩候选数量n便于候选计数便于候选计数2023/4/1324Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。1.基于基于Hash的技术的技术一种基于一种基于Hash的技术可以用于压缩候选的技术可以用于压缩候选k项集项集Ck（k1）。）。2023/4/1325Data Mining:Concepts and Techniques从使

21、用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。由由C1中的候选中的候选1项集产生项集产生1项集项集L1时，可以时，可以对每个事务产生所有的对每个事务产生所有的2项集。项集。Hash函数：函数：h(Ii,Ij)=(i*10+j)mod 7若支持度若支持度=3，则，则0、1、3和和4桶中的项集不可能是频繁的。桶中的项集不可能是频繁的。频繁项：频繁项：I2,I3:4、I1,I2:4、I1,I3:42023/4/1326Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使

22、用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2.事务压缩事务压缩不包含任何不包含任何k项集的事务不可能包含任何项集的事务不可能包含任何k+1项集。项集。这样，这种事务在其后的考虑时，可以加上标记或删除。这样，这种事务在其后的考虑时，可以加上标记或删除。因为为产生因为为产生j项集（项集（jk），扫描数据库时不再需要），扫描数据库时不再需要它们。它们。2023/4/1327Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些

23、年的城市地下工程施工中已很少使用，在此不再说明。3.划分划分:只扫描数据库两次只扫描数据库两次n项集在项集在DB中是频繁的中是频繁的,它必须至少在它必须至少在DB的一个划分中是频的一个划分中是频繁的繁的n扫描扫描 1:划分数据库划分数据库,并找出局部频繁模式。并找出局部频繁模式。n扫描扫描 2:求出全局频繁模式。求出全局频繁模式。2023/4/1328Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。4.选样计算频繁模式选样计算频繁模式选

24、取给定数据库选取给定数据库D的随机样本的随机样本S，然后，在，然后，在S而不是而不是D中找频繁项集。中找频繁项集。牺牲一些精度换取了有效性。牺牲一些精度换取了有效性。2023/4/1329Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。5.动态项集计数动态项集计数将数据库划分为标记开始点的块。不像将数据库划分为标记开始点的块。不像Aprior仅在每次完整的数据库扫描之前确定新的候选，在仅在每次完整的数据库扫描之前确定新的候选，在这种变形

25、中，可以在任何开始点添加新的候选项集。这种变形中，可以在任何开始点添加新的候选项集。如果一个项集的所有子集已被确定为频繁的，如果一个项集的所有子集已被确定为频繁的，则添加它作为新的候选。结果算法需要的数据库扫则添加它作为新的候选。结果算法需要的数据库扫描比描比Apriori少。少。2023/4/1330Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。频繁模式挖掘的瓶颈频繁模式挖掘的瓶颈n多遍数据库扫描是多遍数据库扫描是 昂贵的。昂贵的。

26、n挖掘长模式需要很多遍扫描挖掘长模式需要很多遍扫描,并产生大量候选。并产生大量候选。n挖掘频繁模式挖掘频繁模式 i1i2i100n扫描次数扫描次数:100n候选个数候选个数:(1001)+(1002)+(110000)=2100-1=1.27*1030!n瓶颈瓶颈:候选产生候选产生-测试。测试。n能够避免候选产生吗能够避免候选产生吗?6.2.4 不产生候选挖掘频繁项集不产生候选挖掘频繁项集2023/4/1331Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很

27、少使用，在此不再说明。挖掘频繁模式而不产生候选挖掘频繁模式而不产生候选n使用局部频繁的项使用局部频繁的项,由短模式增长产生长模式由短模式增长产生长模式n“abc”是频繁模式是频繁模式n得到包含得到包含“abc”的所有事务的所有事务:DB|abcn“d”是是 DB|abc 中的局部频繁项中的局部频繁项 abcd 是频繁模式是频繁模式2023/4/1332Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。由事务数据库构造由事务数据库构造FP树

28、（树（FrequentPattern tree）f:4c:1b:1p:1b:1c:3a:3b:1m:2p:2m:1Header TableItem frequency head f4c4a3b3m3p3min_support=3TIDItems bought (ordered)frequent items100f,a,c,d,g,i,m,pf,c,a,m,p200a,b,c,f,l,m,of,c,a,b,m300 b,f,h,j,o,wf,b400 b,c,k,s,pc,b,p500 a,f,c,e,l,p,m,nf,c,a,m,p1.扫描扫描 DB 一次一次,找出频繁找出频繁 1-items

29、et(单个项的模式单个项的模式)2.按频率的降序将频繁项排按频率的降序将频繁项排序序,得到得到 f-list3.再次扫描再次扫描 DB,构造构造 FP树树F-list=f-c-a-b-m-p2023/4/1333Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。FP树结构的优点树结构的优点n完全性完全性 n保留频繁模式挖掘的完整信息。保留频繁模式挖掘的完整信息。n不截断任何事务的长模式。不截断任何事务的长模式。n压缩性压缩性n压缩无关信息

30、压缩无关信息非频繁的项被删除。非频繁的项被删除。n项按频率的降序排列项按频率的降序排列:越是频繁出现越是频繁出现,越可能被共享。越可能被共享。n绝对不比原来的数据库大绝对不比原来的数据库大(不计结点链和计数字段不计结点链和计数字段)。n对于对于Connect-4 DB,压缩率超过压缩率超过 100。2023/4/1334Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n基本思想基本思想(分而治之分而治之)n用用FP-tree地归增长频繁

31、集地归增长频繁集n方法方法 n对每个项，生成它的对每个项，生成它的 条件模式库条件模式库,然后是它的然后是它的 条件条件 FP-tree。n对每个新生成的条件对每个新生成的条件FP-tree，重复这个步骤。，重复这个步骤。n直到结果直到结果FP-tree为空为空,或只含维一的一个路径或只含维一的一个路径(此路径此路径的每个子路径对应的项集都是频繁集的每个子路径对应的项集都是频繁集)。2023/4/1335Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用

32、，在此不再说明。n为为FP-tree中的每个节点生成条件模式基。中的每个节点生成条件模式基。n用条件模式基构造对应的条件用条件模式基构造对应的条件FP-tree。n递归构造条件递归构造条件 FP-trees 同时增长其包含的频繁集同时增长其包含的频繁集n如果条件如果条件FP-tree只包含一个路径，则直接生成所只包含一个路径，则直接生成所包含的频繁集。包含的频繁集。挖掘挖掘 FP-tree的主要步骤的主要步骤2023/4/1336Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城

33、市地下工程施工中已很少使用，在此不再说明。条件条件 模式基模式基itemcond.pattern basecf:3afc:3bfca:1,f:1,c:1mfca:2,fcab:1pfcam:2,cb:1f:4c:1b:1p:1b:1c:3a:3b:1m:2p:2m:1头表头表Item frequency head f4c4a3b3m3p3步骤步骤1:从从 FP-tree 到条件模式基到条件模式基n从从FP-tree的头表开始。的头表开始。n按照每个频繁项的连接遍历按照每个频繁项的连接遍历 FP-tree。n列出能够到达此项的所有前缀路径，得到条件模式基。列出能够到达此项的所有前缀路径，得到条件

34、模式基。2023/4/1337Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。FP-tree支持条件模式基构造的属性支持条件模式基构造的属性n节点链接节点链接n任何包含任何包含ai,的可能频繁集，都可以从的可能频繁集，都可以从FP-tree头表中的头表中的ai沿着沿着ai 的的节点链接得到。节点链接得到。n前缀路径前缀路径n要计算路径要计算路径P 中包含节点中包含节点ai 的频繁集，只要考察到达的频繁集，只要考察到达ai 的路径前缀的路

35、径前缀即可，且其支持度等于节点即可，且其支持度等于节点ai 的支持度。的支持度。2023/4/1338Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n对于每个条件模式基对于每个条件模式基n累计条件模式基中每个项的计数。累计条件模式基中每个项的计数。n构造模式基中频繁项的构造模式基中频繁项的FP树。树。m-条件条件 模式基模式基:fca:2,fcab:1f:3c:3a:3 m-条件条件 FP树树涉及涉及 m的所有频繁的所有频繁模式：模式

36、：m,fm,cm,am,fcm,fam,cam,fcamf:4c:1b:1p:1b:1c:3a:3b:1m:2p:2m:1头表头表Item frequency head f4c4a3b3m3p3min_support=3步骤步骤2:建立条件建立条件 FP-tree2023/4/1339Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。通过建立条件模式基得到频繁集通过建立条件模式基得到频繁集EmptyEmptyf(f:3)|c(f:3)c(

37、f:3,c:3)|a(fc:3)aEmpty(fca:1),(f:1),(c:1)b(f:3,c:3,a:3)|m(fca:2),(fcab:1)m(c:3)|p(fcam:2),(cb:1)p条件条件FP-tree条件模式基条件模式基项项2023/4/1340Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。f:3c:3a:3m-条件条件 FP树树“am”的条件模式基的条件模式基:(fc:3)f:3c:3am-条件条件 FP树树“cm”

38、的条件模式基的条件模式基:(f:3)f:3cm-条件条件 FP树树“cam”的条件模式基的条件模式基:(f:3)f:3cam-条件条件 FP树树第第3步步:递归挖掘条件递归挖掘条件FP-tree2023/4/1341Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。使用使用FP树挖掘频繁模式树挖掘频繁模式n基本思想基本思想:频繁模式增长频繁模式增长n通过模式和数据库划分递归地增长频繁模式。通过模式和数据库划分递归地增长频繁模式。n方法方法

39、 n对于每个频繁项对于每个频繁项,构造它的条件模式基构造它的条件模式基,然后构造它的条件然后构造它的条件 FP树。树。n在新构造的条件在新构造的条件FP树上重复这一过程。树上重复这一过程。n直到结果条件直到结果条件 FP树为空树为空,或者它只包含一条路径或者它只包含一条路径单个路径将单个路径将产生其子路径的所有组合产生其子路径的所有组合,每个子路径是一个频繁模式。每个子路径是一个频繁模式。2023/4/1342Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很

40、少使用，在此不再说明。FP增长算法增长算法2023/4/1343Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。2023/4/1344Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.2.5 FP树的存放树的存放nFP树不能放在内存树不能放在内存,怎么办怎么办?数据库投影数据库

41、投影n数据库投影数据库投影n首先将数据库划分成一组投影首先将数据库划分成一组投影 数据库。数据库。n然后对每个投影数据库构造并挖掘然后对每个投影数据库构造并挖掘FP树。树。n并行投影并行投影 vs.划分投影划分投影 技术。技术。n并行投影空间花费很大。并行投影空间花费很大。2023/4/1345Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。基于划分的投影基于划分的投影n并行并行 投影投影 需要大量磁盘空需要大量磁盘空间间n划分投影划分

42、投影 节省节省Tran.DB fcampfcabmfbcbpfcampp-proj DB fcamcbfcamm-proj DB fcabfcafcab-proj DB fcba-proj DBfcc-proj DBff-proj DB am-proj DB fcfcfccm-proj DB fff2023/4/1346Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。FP增长增长 vs.Apriori:随支持度增长的可伸缩性随支持度增长

43、的可伸缩性Data set T25I20D10K2023/4/1347Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。FP增长增长 vs.树树-投影投影:随支持度增长的可伸缩性随支持度增长的可伸缩性Data set T25I20D100K2023/4/1348Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工

44、中已很少使用，在此不再说明。6.3 挖掘各种关联挖掘各种关联/相关规则相关规则多层关联规则是这样的一些规则：它们涉及多多层关联规则是这样的一些规则：它们涉及多个抽象层中的项。个抽象层中的项。2023/4/1349Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n项常常形成层次结构。项常常形成层次结构。n灵活的支持度设定灵活的支持度设定:较低层中的项一般具有较低的支持度。较低层中的项一般具有较低的支持度。n事务数据库可以基于维和层进行编码

45、。事务数据库可以基于维和层进行编码。n探测共享的多层挖掘。探测共享的多层挖掘。6.3.1 多层关联规则多层关联规则2023/4/1350Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n一种自顶向下一种自顶向下,逐步深入的方法逐步深入的方法:n 首先挖掘最高层的频繁模式首先挖掘最高层的频繁模式:milk(15%),bread(10%)n 然后挖掘它们下层然后挖掘它们下层“较弱的较弱的”频繁模式频繁模式:50%milk(5%),wheat

46、 bread(4%)n多层之间的不同的最小支持度阈值导致不同的算法多层之间的不同的最小支持度阈值导致不同的算法:n如果不同层之间采用相同的如果不同层之间采用相同的min_support则丢弃则丢弃 t 如果如果 t的任意祖先是非频繁的的任意祖先是非频繁的.n如果在较低层采用递减的如果在较低层采用递减的 min_support则只考察其祖先为频则只考察其祖先为频 繁的项集繁的项集.6.3.2 挖掘多层关联规则的方法挖掘多层关联规则的方法2023/4/1351Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部

47、敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。一致的支持度一致的支持度Milksupport=10%2%Milk support=6%Skim Milk support=4%层层 1min_sup=5%层层 2min_sup=5%n对于所有层使用一致的最小支持度（一致支持度）对于所有层使用一致的最小支持度（一致支持度）2023/4/1352Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。Milksupport=10

48、%2%Milk support=6%Skim Milk support=4%Level 1min_sup=5%Level 2min_sup=3%递减的支持度递减的支持度n对于所有层使用一致的最小支持度（一致支持度）对于所有层使用一致的最小支持度（一致支持度）2023/4/1353Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n逐层独立逐层独立完全是宽度搜索，没有频繁项集的背景知识完全是宽度搜索，没有频繁项集的背景知识用于剪枝。用于剪枝

49、。2023/4/1354Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。n层交叉单项过滤层交叉单项过滤一个第一个第i层的项被考虑，当且仅当它在第层的项被考虑，当且仅当它在第i-1层的层的父节点是频繁的。父节点是频繁的。2023/4/1355Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不

50、再说明。n层交叉层交叉k项集过滤项集过滤一个第一个第i层的层的k项集被考虑，当且仅当它在项集被考虑，当且仅当它在第第i-1层的对应父节点层的对应父节点k项集是频繁的。项集是频繁的。均被考察均被考察2023/4/1356Data Mining:Concepts and Techniques从使用情况来看，闭胸式的使用比较广泛。敞开式盾构之中有挤压式盾构、全部敞开式盾构，但在近些年的城市地下工程施工中已很少使用，在此不再说明。6.3.3 多层关联多层关联:冗余过滤冗余过滤n由于项之间的由于项之间的“祖先祖先”联系联系,有些规则可能是多余的。有些规则可能是多余的。n例如：例如：nmilk（牛奶）（牛