商务智能理论与应用7-关联规则34653.pptx

1关联规则2023/3/14一、关联规则的定义2关联规则一般用以发现事务数据库中不同商品（项）之间的联系，用这些规则找出顾客的购买行为模式。这种规则可以应用于超市商品货架设计、货物摆放以及根据购买模式对用户进行分类。2023/3/143二、关联规则：基本概念二、关联规则：基本概念（一）支持度与置信度 AAB B买尿布的客户二者都买的客户买啤酒的客户2023/3/14置信度confidence(.)：是指购物篮分析中有了左边商品，同时又有右边商品的交易次数百分比，也就是说在所有的购买了左边商品的交易中，同时又购买了右边商品的交易概率。41、置信度2023/3/142、支持度支持度sup(.)：表示在购物篮分析中同时包含关联规则左右两边物品的交易次数百分比，即支持这个规则的交易的次数百分比。52023/3/14例：例：6对于规则A Csupport=support(A,C)=50%confidence=support(A,C)/support(A)=66.6%2023/3/14交易项目交易项目成交次数成交次数夹克，球鞋夹克，球鞋300300滑雪衫，球鞋滑雪衫，球鞋100100夹克，滑雪衫，球鞋夹克，滑雪衫，球鞋100100球鞋球鞋5050慢跑鞋慢跑鞋4040夹克，慢跑鞋夹克，慢跑鞋100100滑雪衫，慢跑鞋滑雪衫，慢跑鞋200200衬衣衬衣1010夹克夹克4040滑雪衫滑雪衫6060合计合计100010007表1运动鞋运动鞋Y1单独单独购买购买合计合计球鞋球鞋Y11慢跑鞋慢跑鞋Y12上衣上衣X衬衣衬衣X11010外套外套X2夹克夹克X2140010040540滑雪衫滑雪衫X2220020060460单独购买单独购买5040合合 计计65034010008表2规则“夹克球鞋”的计算92023/3/14运动鞋Y1单独购买合计球鞋Y11慢跑鞋Y12上衣X衬衣X11010外套X2夹克X211001滑雪衫X2218980899单独购买090090合 计298810100010表3存在的问题：111.高置信度，低支持度：夹克球鞋”的置信度高达100，但因为只有一人买了球鞋，这条关联规则支持度只有千分之一。2.支持度、置信度都比较高，但几乎是没有作用的规则。“买方便面则买牛奶”，“买牙刷则买牛奶”，“喜欢野外休闲则会买牛奶”。2023/3/14121、关联规则的分类二、关联规则的分类与作用二、关联规则的分类与作用2023/3/14布尔型关联规则与数值型关联规则布尔型关联规则布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系；数值型关联规则数值型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。2023/3/1413如果关联规则中的项或属性每个只涉及一个维，则它是单维关联规则单维关联规则；反之，为多维关联规则。如，计算机财务软件；年龄3039岁、月收入4000元以上高清电视如果在给定的规则集中，规则不涉及不同抽象层的项或属性，就称单层关联规则单层关联规则；反之，称多层。142023/3/142、关联规则的作用15购物篮分析：关联规则就是要找出哪些产品总是会同时出现在客户的购物篮中。l商品摆放，基于商店不同的经营理念，如果将会经常一起购买的东西较近摆放，客户会比较方便购买，如果有意放在购物通道的两端，顾客寻找的过程中可以增加其他物品销售的可能性。l关联规则可以处理所谓的匿名消费。（一张发票就是一个购物篮与决策树和类神经网络不同。）l关联规则与时序规则相结合（不能匿名，适合会员制）。l先找出来哪些事务总是同时发生的关联规则，再加入时间的因素，找出哪些事务总是会先后发生的潜在规律。2023/3/14另外，只有同一个购物篮的商品信息能够分析的项目也很有限，因此，可以将气象资讯（温度、湿度、降雨）等转换为虚拟的商品项目，并入到购物篮中进行关联规则的分析。如，日本7-11相当著名的“七五三”规则。即是说如果一天当中温度相差7度、今天和昨天的温度差到5度、湿度差大于30%的话，代表感冒的人会增加，药店就要考虑把感冒药、温度计和口罩之类的用品上架。162023/3/14三、三、关联规则的挖掘172023/3/14（一）关联规则挖掘的步骤第一步：找出所有频繁项集：根据定义，这些项集出现的频繁性（支持度）至少和预定义的最小支持度一样。第二步：由频繁项集产生强关联规则：根据定义，这些规则必须满足最小支持度和最小置信度。182023/3/1419对于一个给定的候选数据集，项集的数目呈指数增长。2023/3/14（二）Apriori演算法关联规则计算虽然容易但由于规则太多容易形成“组合爆炸”，因此，需要对这些规则进行筛选，筛选需要的统计量如下：最小支持度：规则必须符合的最小支持度阀值。最小置信度：计算规则所必须符合的最低置信度阀值。如果关联规则满足最小支持度和最小置信度，可以说该规则是有趣的。202023/3/141、算法所需要的前置统计量：2、频繁项集项的集合称为项集（itemset）包含k个项的项集称为k-项集。集合计算机，金融管理软件就是一个2-项集。项集出现频数是包含项集的事务数，简称为项集的频数、支持计数或计数。212023/3/14如果项集满足最小支持度或满足min_sup与数据库中事务总数的乘积（即最小支持计数），则称它为频繁项集(frequent itemset)。频繁k-项集的集合通常记作Lk。2023/3/142223对于A C：support=support(A、C)=50%confidence=support(A、C)/support(A)=66.6%最小支持度 50%最小可信度 50%例：例：2023/3/144、Apriori算法：使用候选项集找频繁项集Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。算法的名字基于这样的事实：算法使用频繁项集性质的先验知识。它使用一种称作逐层搜索的迭代方法逐层搜索的迭代方法，k-项集用于探索(k+1)-项集。首先，找出频繁1-项集的集合。该集合记作L1。L1用于找频繁2-项集的集合L2，而L2用于找L3，如此下去，直到不能找到频繁k-项集。找每个Lk需要一次数据库扫描。242023/3/14例例1 125数据库数据库D D扫描扫描DC1L1L2C2C2扫描扫描DC3L3扫描扫描D2023/3/14为什么只有一项？26例：L3=abc,abd,acd,ace,bcd连接:L3*L3abcd from abc and abdacde from acd and ace修剪:acde is removed because ade is not in L3C4=abcd2023/3/14Apriori剪枝频繁项集的任何子集也一定是频繁的。例例3 3：273 3、AprioriApriori算法的实现过程算法的实现过程282023/3/144、由频繁项集产生关联规则一旦找出频繁项集，再通过最小置信度产生关联规则。关联规则的产生步骤如下：对于每个频繁项集l，产生l的所有非空子集。对于l的每个非空子集s，如果则输出规则“s(l-s)”。292023/3/14以例3为例，看其中一个频繁项集l=I1,I2,I5，可以由l产生哪些关联规则？l的非空子集有I1,I2I1,I5I2,I5I1I2I5。结果关联规则如下，每个都列出了置信度。如果最小置信度阀值为70%，则只有第2、3和最后一个规则可以输出。302023/3/14真正可取的规则具备的条件31并非所有的规则在符合阀值限制后都是有意义的，这样的规则还分为：有用的规则：包含高品质的有效情报常识无法解释的结果关联规则真正可取的是具备以下两个条件的规则：人们常识之外、意料之外的关联该规则必须具有潜在的作用2023/3/145、案例2023/3/14322023/3/143334Apriori算法的核心:用频繁的(k 1)-项集生成候选的频繁k-项集用数据库扫描和模式匹配计算候选集的支持度Apriori的瓶颈:候选集生成巨大的候选集:104个频繁1-项集要生成107个候选2-项集要找尺寸为100的频繁模式，如a1,a2,a100,你必须先产生21001030个候选集多次扫描数据库：如果最长的模式是n的话，则需要(n+1)次数据库扫描（三）（三）AprioriApriori够快了吗够快了吗?性能瓶颈性能瓶颈2023/3/14（四）负关联规则挖掘2023/3/1435正确吗？结 束362023/3/14