2022年数据挖掘经典方法 .pdf

《2022年数据挖掘经典方法 .pdf》由会员分享，可在线阅读，更多相关《2022年数据挖掘经典方法 .pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、 模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理， 从中挖掘出潜在的模式，可以帮助企业、 商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、 企业管理危机等。 大数据的挖掘常用的方法有分类、回归分析、 聚类、关联规则、神经网络方法、Web 数

2、据挖掘等。这些方法从不同的角度对数据进行挖掘。1. 分类分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、 趋势预测中， 如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等， 如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。分类的方法有：决策树

3、、贝叶斯、人工神经网络。1.1 决策树决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。构造决策树的目的是找出属性和类别间的关系，用它来预测将来未知类别的记录的类别。它采用自顶向下的递归方式， 在决策树的内部节点进行属性的比较，并根据不同属性值判断从该节点向下的分支，在决策树的叶节点得到结论。1.2 贝叶斯贝叶斯（ Bayes）分类算法是一类利用概率统计知识进行分类的算法，如朴素贝叶斯名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师

4、精心整理 - - - - - - - 第 1 页，共 7 页 - - - - - - - - - （Naive Bayes）算法。这些算法主要利用Bayes定理来预测一个未知类别的样本属于各个类别的可能性， 选择其中可能性最大的一个类别作为该样本的最终类别。由于贝叶斯定理的成立本身需要一个很强的条件独立性假设前提，而此假设在实际情况中经常是不成立的，因而其分类准确性就会下降。为此就出现了许多降低独立性假设的贝叶斯分类算法，如TAN 算法，它是在贝叶斯网络结构的基础上增加属性对之间的关联来实现的。1.3 人工神经网络人工神经网络（Artificial Neural Networks，ANN）是一

5、种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在这种模型中， 大量的节点 （或称“神经元”，或“单元”）之间相互联接构成网络，即“神经网络”，以达到处理信息的目的。神经网络通常需要进行训练，训练的过程就是网络进行学习的过程。训练改变了网络节点的连接权的值使其具有分类的功能，经过训练的网络就可用于对象的识别。目前， 神经网络已有上百种不同的模型，常见的有BP网络、 径向基 RBF网络、 Hopfield网络、随机神经网络（Boltzmann 机） 、竞争神经网络（Hamming 网络，自组织映射网络）等。2. 回归分析回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关

6、系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。它可以应用到市场营销的各个方面，如客户寻求、 保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。回归分析中， 当研究的因果关系只涉及因变量和一个自变量时，叫做一元

7、回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。常见的回归分析方法有线性回归、logistic 回归等。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 7 页 - - - - - - - - - 2.1 线性回归线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。线性回归有很多实际用途。分为以下两大类：1.如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预

8、测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的 y 的情况下，可以用这个拟合过的模型预测出一个y 值。2.给定一个变量y 和一些变量X1,.,Xp，这些变量有可能与y 相关，线性回归分析可以用来量化y 与 Xj 之间相关性的强度，评估出与y 不相关的Xj，并识别出哪些Xj 的子集包含了关于y 的冗余信息。2.2logistic回归分析Logistic 回归模型是一种概率模型，适合于病例对照研究、随访研究和横断面研究，且结果发生的变量取值必须是二分的或多项分类。可用影响结果变量发生的因素为自变量与因变量，建立回归方程。Logistic 回归分析的主要用途：一是寻找危险

9、因素正如上面所说的寻找某一疾病的危险因素等。二是预测如果已经建立了logistic 回归模型，则可以根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大。三是判别根据 logistic 模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。3. 聚类分析聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 7 页 - - - - - - - - -

10、几个类别。 属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。 聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。聚类

11、分析法有K-means cluster analysis快速聚类、 Hierarchical Cluster Analysis系统聚类。3.1 快速聚类要求事先确定分类。它不仅要求确定分类的类数，而且你还需要事先确定点，也就是聚类种子， 然后， 根据其他点离这些种子的远近把所有点进行分类。再然后就是将这几类的中心（均值）作为新的基石，再分类。如此迭代。3.2 系统聚类系统聚类是将样品分成若干类的方法，其基本思想是： 先将每个样品各看成一类，然后规定类与类之间的距离，选择距离最小的一对合并成新的一类，计算新类与其他类之间的距离，再将距离最近的两类合并，这样每次减少一类，直至所有的样品合为一类为止

12、。4. 关联规则关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 7 页 - - - - - -

13、- - - 关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、 定价与定制客户群， 客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。在一家超市里， 有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话， 而是发生在美国沃尔玛连锁店超市的真实案例， 并一直为商家所津津

14、乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在 尿布与啤酒 背后的美国人的一种行为模式：在美国， 一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产生这一现象的原因是： 美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈

15、夫们在买尿布后又随手带回了他们喜欢的啤酒。5. 因子分析因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子，以较少的几个因子反映原资料的大部分信息。运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力运用这种研究技术，我们还可以为市场细分做前期分析。6. 主成分分析设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析名师资料总结 - - -精品资料欢迎下载 - -

16、- - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 7 页 - - - - - - - - - 或称主分量分析，也是数学上用来降维的一种方法。主成分分析是设法将原来众多具有一定相关性（比如 P个指标） ，重新组合成一组新的互相无关的综合指标来代替原来的指标。最经典的做法就是用F1 （选取的第一个线性组合，即第一个综合指标）的方差来表达，即 Var(F1) 越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1 应该是方差最大的，故称F1 为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取 F2 即选

17、第二个线性组合，为了有效地反映原来信息，F1 已有的信息就不需要再出现在F2 中，用数学语言表达就是要求Cov(F1, F2)=0 ，则称 F2 为第二主成分，依此类推可以构造出第三、第四， , ，第P个主成分。主成分分析作为基础的数学分析方法，其实际应用十分广泛，比如人口统计学、数量地理学、 分子动力学模拟、数学建模、 数理分析等学科中均有应用，是一种常用的多变量分析方法。7. 神经网络方法神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的

18、神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以 Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法， 但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。8. Web数据挖掘Web 数据挖掘是一项综合性技术，指Web 从文档结构和使用的集合C 中发现隐含的模式 P，如果将 C看做是输入， P 看做是输出， 那么 Web 挖掘过程就可以看做是从输入到输

19、出的一个映射过程。当前越来越多的Web 数据都是以数据流的形式出现的，因此对 Web 数据流挖掘就具有名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 7 页 - - - - - - - - - 很重要的意义。 目前常用的Web 数据挖掘算法有： PageRank算法，HITS算法以及LOGSOM 算法。这三种算法提到的用户都是笼统的用户，并没有区分用户的个体。目前Web 数据挖掘面临着一些问题， 包括：用户的分类问题、 网站内容时效性问题，用户在页面停留时间问题，页面的链入与链出数问题等。在Web 技术高速发展的今天，这些问题仍旧值得研究并加以解决。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 7 页 - - - - - - - - -