数据挖掘在电子商务公司中的应用(共12页).docx

《数据挖掘在电子商务公司中的应用(共12页).docx》由会员分享，可在线阅读，更多相关《数据挖掘在电子商务公司中的应用(共12页).docx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上FEB 15 , , , 我将以阿里巴巴，百度，腾讯三家公司为案例，来简单的探讨这一应用。阿里巴巴是国内最大的电子商务服务供应商，百度是全球最大的中文搜索引擎服务供应商，腾讯是中国最大的即时聊天工具服务供应商。当这几家公司都将注意力陆续投入到网络交易平台的时候，对于我们的商家和消费者来说无疑将获得更大的益处，在此文中我将抛开我们经常关注的谁拥有这样的平台，我让大家更加深入的了解下，未来会影响几大电子商务巨头市场格局背后隐藏的电子商务软实力-数据挖掘。什么是数据挖掘？数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery i

2、n Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。 应用于电子商务平台服务公司来说，就需要从目前几大电子商务公司积累的交易平台中抽取出针对消费者购买行为，购物习惯，偏好，消费支出，消费能力，消费者品牌忠诚度，性别差异，年龄等抽取出消费者行为指数。就目前而言淘宝拥有中国最大的购物平台和商品数，在海量的商品数量里需要解决根据消费者行为偏好进行有策略的精准营销上，如何将抽取出上千万消费者再购物习惯的偏好则需要投入大量的高素质人才，以抽取出消费者购物时的关联信息，为卖家提供有科技含量的产

3、品推广模式，为品牌广告主提供品牌宣传最优的模式，淘宝作为网络交易平台的先行者，面对后面越来越多的挑战者，需要更多的投入到这一基础领域的研究中去，以支撑未来庞大的业务，同时需要渐进的整合阿里巴巴企业客户资源抽取出差异化其他竞争对手的数据，同时在未来的2，3年内淘宝作为国内电子商务霸主将继续领先。就目前而言拍拍拥有中国第二大的购物平台和商品数，在海量的商品数量同样需要解决根据消费者行为偏好进行有策略的精准营销上，如何将抽取出上千万消费者再购物习惯的偏好则需要投入大量的高素质人才，以抽取出消费者购物时的关联信息，为卖家提供有科技含量的产品推广模式。当时背靠腾讯已经培育了大量的潜在消费者，通过腾讯其他

4、平台积累了网民的一些消费习惯及对品牌的偏好，比如腾讯空间，个人在完善信息时需要对自己已经熟知的品牌进行填写，某种意义上这也是为未来消费者行为分析及品牌忠诚度分析方面准备，在消费信息定向传播时有很大的操作空间，同时能为品牌客户提供良好的解决品牌宣传解决方案。就目前而言百度的交易平台还没有正式上线，但精心的市场导入及强大的实力对国内任何一个竞争对手来说都是有所防范的，百度的交易平台没有上线，但是在数据挖掘领域的技术储备是优先于其他竞争对手的，同时百度的空间已经为百度积累了大量的消费者资源，并且拥有大量的可供参考的消费者行为指数，在未来电子商务领域中拥有比较优势。不过在电子商务平台运营方面还需要短期

5、内的试错和纠偏以及受到竞争对手的阻击。数据挖掘基础知识1)数据挖掘能做以下六种不同事情（分析方法）： 分类 （Classification） 估值（Estimation） 预言（Prediction） 相关性分组或关联规则（Affinity grouping or association rules） 聚集（Clustering） 描述和可视化（Des cription and Visualization） 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)2)数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘 直接数据挖掘 目标是利用可用的数据建立

6、一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系 。 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3)各种分析方法的简介 分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。例子：a. 信用卡申请者，分类为低、中、高风险 b. 分配客户到预先定义的客户分片 注意： 类的个数是确定的，预先定义好的 估值（Estimation） 估值与分类类似，

7、不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 01）。然后，根据阈值，将贷款级别分类。 预言（Prediction） 通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的

8、预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。 相关性分组或关联规则（Affinity grouping or association rules） 决定哪些事情将一起发生。 例子：a. 超市中客户在购买A的同时，经常会购买B，即A = B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析） 聚集（Clustering） 聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 例子：a. 一些特定症状的聚集可能

9、预示了一个特定的疾病b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 聚集通常作为数据挖掘的第一步。例如，哪一种类的促销对客户响应最好？，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。 描述和可视化（Des cription and Visualization）是对数据挖掘结果的表示方式。数据挖掘中的关联规则1.什么是关联规则在描述有关关联规则的一些细节之前，我们先来看一个有趣的故事： 尿布与啤酒的故事。 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加

10、了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在尿布与啤酒背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产

11、生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。Agrawal等

12、于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，以后诸多的研究人员对关联规则的挖掘问题进行了大量的研究。他们的工作包括对原有的算法进行优化，如引入随机采样、并行的思想等，以提高算法挖掘规则的效率；对关联规则的应用进行推广。关联规则挖掘在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。2.关联规则挖掘过程、分类及其相关算法2.1关联规则挖掘的过程关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(Frequent Itemsets)，第二阶段再由这些高频项目组中产生关联规则(Association Rules)。关联规则挖掘的第一阶段必须从原

13、始资料集合中，找出所有高频项目组(Large Itemsets)。高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。一项目组出现的频率称为支持度(Support)，以一个包含A与B两个项目的2-itemset为例，我们可以经由公式(1)求得包含A,B项目组的支持度，若支持度大于等于所设定的最小支持度(Minimum Support)门槛值时，则A,B称为高频项目组。一个满足最小支持度的k-itemset，则称为高频k-项目组(Frequent k-itemset)，一般表示为Large k或Frequent k。算法并从Large k的项目组中再产生Large k+1，直

14、到无法再找到更长的高频项目组为止。关联规则挖掘的第二阶段是要产生关联规则(Association Rules)。从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小信赖度(Minimum Confidence)的条件门槛下，若一规则所求得的信赖度满足最小信赖度，称此规则为关联规则。例如：经由高频k-项目组A,B所产生的规则AB，其信赖度可经由公式(2)求得，若信赖度大于等于最小信赖度，则称AB为关联规则。就沃尔马案例而言，使用关联规则挖掘技术，对交易资料库中的纪录进行资料挖掘，首先必须要设定最小支持度与最小信赖度两个门槛值，在此假设最小支持度min_support=5%

15、且最小信赖度min_confidence=70%。因此符合此该超市需求的关联规则将必须同时满足以上两个条件。若经过挖掘过程所找到的关联规则尿布，啤酒，满足下列条件，将可接受尿布，啤酒的关联规则。用公式可以描述Support(尿布，啤酒)=5%且Confidence(尿布，啤酒)=70%。其中，Support(尿布，啤酒)=5%于此应用范例中的意义为:在所有的交易纪录资料中，至少有5%的交易呈现尿布与啤酒这两项商品被同时购买的交易行为。Confidence(尿布，啤酒)=70%于此应用范例中的意义为:在所有包含尿布的交易纪录资料中，至少有70%的交易会同时购买啤酒。因此，今后若有某消费者出现购买

16、尿布的行为，超市将可推荐该消费者同时购买啤酒。这个商品推荐的行为则是根据尿布，啤酒关联规则，因为就该超市过去的交易纪录而言，支持了“大部份购买尿布的交易，会同时购买啤酒”的消费行为。从上面的介绍还可以看出，关联规则挖掘通常比较适用与记录中的指标取离散值的情况。如果原始数据库中的指标值是取连续的数据，则在关联规则挖掘之前应该进行适当的数据离散化（实际上就是将某个区间的值对应于某个值），数据的离散化是数据挖掘前的重要环节，离散化的过程是否合理将直接影响关联规则的挖掘结果。2.2关联规则的分类按照不同情况，关联规则可以进行分类如下：1.基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型。布尔

17、型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系；而数值型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。例如：性别=“女”=职业=“秘书” ，是布尔型关联规则；性别=“女”=avg（收入）=2300，涉及的收入是数值类型，所以是一个数值型关联规则。2.基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。在单层的关联规则中，所有的变量都没有考虑到现实的数据是具有多个不同的层次的；而在多层的关联规则中，对数据的多层性已经进行了充分的考虑。例如：IBM台式机=S

18、ony打印机，是一个细节数据上的单层关联规则；台式机=Sony打印机，是一个较高层次和细节层次之间的多层关联规则。3.基于规则中涉及到的数据的维数，关联规则可以分为单维的和多维的。在单维的关联规则中，我们只涉及到数据的一个维，如用户购买的物品；而在多维的关联规则中，要处理的数据将会涉及多个维。换成另一句话，单维关联规则是处理单个属性中的一些关系；多维关联规则是处理各个属性之间的某些关系。例如：啤酒=尿布，这条规则只涉及到用户的购买的物品；性别=“女”=职业=“秘书”，这条规则就涉及到两个字段的信息，是两个维上的一条关联规则。2.3关联规则挖掘的相关算法1.Apriori算法：使用候选项集找频繁

19、项集Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递

20、推的方法。可能产生大量的候选集,以及可能需要重复扫描数据库，是Apriori算法的两大缺点。2.基于划分的算法Savasere等设计了一个基于划分的算法。这个算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频集，然后把产生的频集合并，用来生成所有可能的频集，最后计算这些项集的支持度。这里分块的大小选择要使得每个分块可以被放入主存，每个阶段只需被扫描一次。而算法的正确性是由每一个可能的频集至少在某一个分块中是频集保证的。该算法是可以高度并行的，可以把每一分块分别分配给某一个处理器生成频集。产生频集的每一个循环结束后，处理器之间进行通信来产生全局的候选k-项集。通常

21、这里的通信过程是算法执行时间的主要瓶颈；而另一方面，每个独立的处理器生成频集的时间也是一个瓶颈。3.FP-树频集算法针对Apriori算法的固有缺陷，J. Han等提出了不产生候选挖掘频繁项集的方法：FP-树频集算法。采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树（FP-tree），同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。实验表明，FP-growth对不同长度的规则都有很好的适应性，同时在

22、效率上较之Apriori算法有巨大的提高。3.该领域在国内外的应用31关联规则发掘技术在国内外的应用就目前而言，关联规则挖掘技术已经被广泛应用在西方金融行业企业中，它可以成功预测银行客户需求。一旦获得了这些信息，银行就可以改善自身营销。现在银行天天都在开发新的沟通客户的方法。各银行在自己的ATM机上就捆绑了顾客可能感兴趣的本行产品信息，供使用本行ATM机的用户了解。如果数据库中显示，某个高信用限额的客户更换了地址，这个客户很有可能新近购买了一栋更大的住宅，因此会有可能需要更高信用限额，更高端的新信用卡，或者需要一个住房改善贷款，这些产品都可以通过信用卡账单邮寄给客户。当客户打电话咨询的时候，数

23、据库可以有力地帮助电话销售代表。销售代表的电脑屏幕上可以显示出客户的特点，同时也可以显示出顾客会对什么产品感兴趣。同时，一些知名的电子商务站点也从强大的关联规则挖掘中的受益。这些电子购物网站使用关联规则中规则进行挖掘，然后设置用户有意要一起购买的捆绑包。也有一些购物网站使用它们设置相应的交叉销售，也就是购买某种商品的顾客会看到相关的另外一种商品的广告。但是目前在我国，“数据海量，信息缺乏”是商业银行在数据大集中之后普遍所面对的尴尬。目前金融业实施的大多数数据库只能实现数据的录入、查询、统计等较低层次的功能，却无法发现数据中存在的各种有用的信息，譬如对这些数据进行分析，发现其数据模式及特征，然后

24、可能发现某个客户、消费群体或组织的金融和商业兴趣，并可观察金融市场的变化趋势。可以说，关联规则挖掘的技术在我国的研究与应用并不是很广泛深入。32近年来关联规则发掘技术的一些研究由于许多应用问题往往比超市购买问题更复杂，大量研究从不同的角度对关联规则做了扩展，将更多的因素集成到关联规则挖掘方法之中，以此丰富关联规则的应用领域，拓宽支持管理决策的范围。如考虑属性之间的类别层次关系，时态关系，多表挖掘等。近年来围绕关联规则的研究主要集中于两个方面，即扩展经典关联规则能够解决问题的范围，改善经典关联规则挖掘算法效率和规则兴趣性。数据挖掘的工具1. 一般分析目的用的软件包 SAS Enterprise

25、Miner IBM Intelligent Miner Unica PRW SPSS Clementine SGI MineSet Oracle Darwin Angoss KnowledgeSeeker 2. 针对特定功能或产业而研发的软件 KD1（针对零售业） Options & Choices（针对保险业） HNC（针对信用卡诈欺或呆帐侦测） Unica Model 1（针对行销业） 3. 整合DSS（Decision Support Systems）/OLAP/Data Mining的大型分析系统 结尾：因此，在未来的企业竞争中，国内的几大电子商务交易平台不单是转由商业模式的竞争，在面对海量数据的时候技术领先也将越发的显现其力量，技术领先的电子商务公司和商业模式成熟的公司在未来取得持续的领先优势，因此在未来基础学科的研究也将影响我国电子商务的进程，我们可以明显的看到国内大型的互联网企业投入持续的资金到基础学科的研究领域中专心-专注-专业