关联规则挖掘技术在零售业中的应用.doc

【精品文档】如有侵权，请联系网站删除，仅供学习与交流关联规则挖掘技术在零售业中的应用.精品文档.关联规则挖掘技术在零售业中的应用【摘要】 数据挖掘技术是近年来数据库和人工智能领域研究的热点课题,它引起了科学界和产业界的广泛关注。作为一门交叉性学科,它涉及到机器学习、模式识别、归纳推理、统计学、数据库、数据可视化、高性能计算等多个领域。关联规则是数据挖掘研究中的一个重要的研究内容,它是完成数据挖掘任务的一个重要手段。在零售业,数据挖掘可有助于识别顾客购买行为,发现顾客购买模式和趋势,改进服务质量,取得更好的顾客保持力和满意程度,提高货品销量比率,设计更好的货品运输与分销策略,减少商业成本。【关键词】 关联规则 数据挖掘 Apriori 算法一：关联规则的含义： 设I=i1, i2, im是项的集合，其中的元素称为项(item)。记D为事务(transaction)T的集合，这里事务T是项的集合，并且TÍI 。对应每一个事务有唯一的标识，如事务号，记作TID。设X是一个I中项的集合，如果XÍT，那么称事务T包含X。一个关联规则是形如XÞY的蕴涵式，这里XÌI, YÌI，并且XÇY=F。规则XÞY在事务数据库D中的支持度（support）是事务集中包含X和Y的事务数与所有事务数之比，记为support(XÞY)，即support(XÞY)= P(X È Y)规则XÞY在事务集中的可信度（confidence）是指包含X和Y的事务数与包含X的交易数之比，记为confidence(XÞY)，即confidence(XÞY)= P(X|Y)给定一个事务集D，挖掘关联规则问题就是寻找支持度和可信度分别大于用户给定的最小支持度(minsupp)和最小可信度(minconf)的关联规则。二：关联规则的分类： 按照不同情况，关联规则可以进行分类如下：1.基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型。 布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系；而数值型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。例如：性别=“女”=>职业=“秘书” ，是布尔型关联规则；性别=“女”=>avg（收入）=2300，涉及的收入是数值类型，所以是一个数值型关联规则。2.基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。 在单层的关联规则中，所有的变量都没有考虑到现实的数据是具有多个不同的层次的；而在多层的关联规则中，对数据的多层性已经进行了充分的考虑。例如：IBM台式机=>Sony打印机，是一个细节数据上的单层关联规则；台式机=>Sony打印机，是一个较高层次和细节层次之间的多层关联规则。3.基于规则中涉及到的数据的维数，关联规则可以分为单维关联规则和多维关联规则。 在单维的关联规则中，我们只涉及到数据的一个维，如用户购买的物品；而在多维的关联规则中，要处理的数据将会涉及多个维。换成另一句话，单维关联规则是处理单个属性中的一些关系；多维关联规则是处理各个属性之间的某些关系。例如：啤酒=>尿布，这条规则只涉及到用户的购买的物品；性别=“女”=>职业=“秘书”，这条规则就涉及到两个字段的信息，是两个维上的一条关联规则。三：关联规则的相关算法： 1.Apriori算法：使用候选项集找频繁项集 Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递推的方法。 Apriori算法可以产生相对较小的候选项目集，扫描数据库的次数由最大频繁项目集的项目数决定。因此，该算法适合于最大频繁项目集相对较小的数据集中的关联规则挖掘问题。 Apriori算法的两大缺点:1.可能产生大量的候选集；2.可能需要重复扫描数据库。 2.FP-growth算法 针对Apriori算法的固有缺陷， FP-growth算法是一种不产生候选挖掘频繁项集的方法，弥补了Apriori算法中的固有缺陷，是大型数据库挖掘频繁项集的一个有效的算法。FP-growth算法采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树（FP-tree），同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。实验表明，FP-growth对不同长度的规则都有很好的适应性，同时在效率上较之Apriori算法有巨大的提高。3.多层关联规则挖掘算法    对于很多的应用来说，由于数据分布的分散性，所以很难在数据最细节的层次上发现一些强关联规则。当我们引入概念层次后，就可以在较高的层次上进行挖掘。虽然较高层次上得出的规则可能是更普通的信息，但是对于一个用户来说是普通的信息，对于另一个用户却未必如此。所以数据挖掘应该提供这样一种在多个层次上进行挖掘的功能。    多层关联规则的分类：根据规则中涉及到的层次，多层关联规则可以分为同层关联规则和层间关联规则。    多层关联规则的挖掘基本上可以沿用“支持度-可信度”的框架。不过，在支持度设置的问题上有一些要考虑的东西。 4.多维关联规则挖掘算法    对于多维数据库而言，除维内的关联规则外，还有一类多维的关联规则。例如：年龄（X，“2030”） 职业（X，“学生”）=> 购买（X，“笔记本电脑”）在这里我们就涉及到三个维上的数据：年龄、职业、购买。    根据是否允许同一个维重复出现，可以又细分为维间的关联规则（不允许维重复出现）和混合维关联规则（允许维在规则的左右同时出现）。如：年龄（X，“2030”） 购买（X，“笔记本电脑”） => 购买（X，“打印机”） 这个规则就是混合维关联规则。    在挖掘维间关联规则和混合维关联规则的时候，还要考虑不同的字段种类：种类型和数值型。对于种类型的字段，原先的算法都可以处理。而对于数值型的字段，需要进行一定的处理之后才可以进行。四：关联规则的优缺点： 1.优点：j它可以产生清晰有用的结果。 k它支持间接数据挖掘。 l可以处理变长的数据。 m它的计算的消耗量是可以预见的。 2.缺点：j当问题变大时，计算量增长得厉害。 k难以决定正确的数据。 l容易忽略稀有的数据。 五：关联规则的过程： 关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(Frequent Itemsets)，第二阶段再由这些高频项目组中产生关联规则(Association Rules)。关联规则挖掘的第一阶段必须从原始资料集合中，找出所有高频项目组(Large Itemsets)。高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。一项目组出现的频率称为支持度(Support)，以一个包含A与B两个项目的2-itemset为例，我们可以经由公式(1)求得包含A,B项目组的支持度，若支持度大于等于所设定的最小支持度(Minimum Support)门槛值时，则A,B称为高频项目组。一个满足最小支持度的k-itemset，则称为高频k-项目组(Frequent k-itemset)，一般表示为Large k或Frequent k。算法并从Large k的项目组中再产生Large k+1，直到无法再找到更长的高频项目组为止。关联规则挖掘的第二阶段是要产生关联规则(Association Rules)。从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小信赖度(Minimum Confidence)的条件门槛下，若一规则所求得的信赖度满足最小信赖度，称此规则为关联规则。例如：经由高频k-项目组A,B所产生的规则AB，其信赖度可经由公式(2)求得，若信赖度大于等于最小信赖度，则称AB为关联规则。六：关联规则挖掘技术在零售业中的应用： 目前，关联技术的主要应用领域是商业，它的主要挖掘对象是事务数据库。利用关联技术从交易数据库发现规则的过程称为购物篮分析（Market Basket Analysis）。通过对商业数据库中的海量销售记录进行分析，提取出反映顾客购物习惯和偏好的有用规则（或知识），可以决定商品的降价、摆放以及设计优惠券等。当然也可以把得到的信息应用到促销和广告中，例如，关联规则中所有后项为“Diet Coke”的规则可能会给商店提供出信息：什么会促使Diet Coke大量售出。    另外，关联规则也可以服务于Cross-sale。服务业的激烈竞争使得公司留住老顾客和吸引新顾客一样重要。通过分析老顾客的购买记录，了解他们的产品消费偏好，给他们提供其它产品的优惠及服务，这样不但能留住他们还可以使他们逐渐熟悉另外的产品，公司从而以尽快的速度获得利润。 Cross-sale就是试图让一种产品的固定购买客户购买另一种产品。但大公司的顾客购买数据库很大，人工分析是很难的，关联规则挖掘技术可以结合专家从大型数据库中发现有用知识，来帮助领域专家做出决策。    关联技术不但在商业分析中得到了广泛的应用，在其它领域也得到了应用，包括工程、医疗保健、金融证券分析、电信和保险业的错误校验等。在零售业,数据挖掘可有助于识别顾客购买行为,发现顾客购买模式和趋势,改进服务质量,取得更好的顾客保持力和满意程度,提高货品销量比率,设计更好的货品运输与分销策略,减少商业成本。 下面给出一个某超市顾客购买商品的事务数据库中的数据,说明关联规则对商品销售数据的挖掘过程,通过挖掘发现顾客的购买习惯和偏好。 某超市对一定时期内顾客购买商品的数据收集如下: 数据挖掘过程如下: 第一步,计算出表中每种商品的关联规则支持度,根据定义,计算出 Support(棉衣)=2/5=0.4=40% Support(帽子)=3/5=0.6=60% Support(围巾)=3/5=0.6=60% Support(手套)=3/5=0.6=60% Support(毛巾)=1/5=0.2=20% Support(毛毯)=1/5=0.2=20% 第二步,根据设定的最小支持度阀值,将大于或等于最小支持度阀值的商品挑选出来,设最小支持度阀值为0.3,可挑选出商品棉衣、帽子、围巾和手套。第三步,计算商品的关联规则信任度。 根据定义,计算出棉衣、帽子、围巾和手套四种商品的信任度。 Confidence(棉衣=>帽子)= Support(棉衣=>帽子)/ Support(棉衣)=20%/40%=0.5; Confidence(棉衣=>围巾)=Support(棉衣=>围巾) / Support(棉衣)= 20%/40%=0.5; Confidence(棉衣=>手套)=Support(棉衣=>手套) / Support(棉衣)= 40%/40%=1,说明该规则有100%的情况是成立的。 为了简便,其余数据通过X=>Y的信任度表表示如下 第四步,根据设定的最小信任度阀值,设最小信任度阀值为0.6,得到如下规则: 第五步,根据上述关联规则,可以发现超市顾客的购买习惯和偏好,销售管理人员可采取如下措施:一是调整货架,将商品帽子、围巾统一放置在一起,便于顾客选购,甚至可考虑将商品帽子、围巾和手套,商品棉衣和手套捆绑销售;二是在进货或仓储方面,可考虑将关联商品统购统存;三是印发关联商品的促销广告,提高商品的支持度和信任度;四是在企业网络销售中,应将关联商品放在同一页面或增加关联商品间的链接。在采取以上措施后,超市可以扩大销售额,提高了服务水平,顾客可以扩大交叉购买,增加消费。 通常关联规则挖掘普遍使用“支持度信任度”度量机制,但需要注意的是,在实际应用中,不加额外的限制条件会产生大量的规则。这些规则并不是对用户都是有用的或感兴趣的。衡量关联规则挖掘结果的有效性应该从多种综合角度来考虑。一是准确性:挖掘出的规则必须反映数据的实际情况。尽管规则不可能是100%适用。二是实用性:挖掘出的规则必须是简洁可用的,而且是针对挖掘目标的。不能是有100条规则,其中50条与商业目标无关,30条用户无法理解。三是新颖性:挖掘出的规则可以为用户提供新的有价值信息。但如果它们是用户事先知道的,那么这样的规则即使再正确也是毫无价值的。 上述销售管理的数据挖掘,可应用于商品批零业和大型超市等商业企业中。为更好地满足客户需求,通过对商品数据的挖掘,发现商品之间的关联特征,在有效利用企业有限资源的基础上,采取相应的销售策略,既能够提高企业的服务水平,提高客户满意度,又能够节约企业资源,利用最小的投入,获得到较大的收益。在信息时代,对提高企业的竞争力,更好地应对机遇和挑战具有重要作用和意义。参考文献1. 张俊妮，数据挖掘与应用，北京大学出版社。2. Jiawei Han,Micheline Kamber.数据挖掘概念与技术(第2版)M.范明,孟小峰译.北京:机械工业出版社,2007:145-148.3. 张鹤,关泽群.多媒体数据挖掘中图像数据的关联规则挖掘J.地理空间信息,2005,3(6):33-35.4. 陈波,邵勇,王成华,等.高效的关联规则挖掘算法研究J.计算机工程与计,2008,29(24):6235-6240.5. 韦玉科,汪仁煌,李江平,等.一种新的关联规则挖掘算法研究J.计算机应用研究2008,25（10）：292-964。