数据挖掘软件发展分析(1).pptx

《数据挖掘软件发展分析(1).pptx》由会员分享，可在线阅读，更多相关《数据挖掘软件发展分析(1).pptx（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主讲人朱扬勇1一、数据挖掘概念-定义数据挖掘-从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。数据挖掘与统计学数据挖掘与人工智能数据挖掘与数据库技术数据挖掘与KDD2一、数据挖掘概念-原由国民经济和社会的信息化社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史因此政府提出“信息化”和“发展软件产业”3一、数据挖掘概念-原由数据挖掘数据库越来越大有价值的知识可怕的数据4一、数据挖掘概念-原由数据爆炸，知识贫乏 苦恼:淹没在数据中;不能制定合适的决策!数据 数据 知识 知识决策 决策n 模式n 趋势n 事实n 关系n 模型n 关联规则n 序列n 目标市

2、场n 资金分配n 贸易选择n 在哪儿做广告n 销售的地理位置n 金融n 经济n 政府n POS.n 人口统计n 生命周期5一、数据挖掘概念-发展 1989 1989 IJCAI IJCAI会议：会议：数据库中的知识发现讨论专题 数据库中的知识发现讨论专题 Knowledge Discovery in Databases(G.Piatetsky-Shapiro Knowledge Discovery in Databases(G.Piatetsky-Shapiro and W.Frawley,1991)and W.Frawley,1991)1991-1994 KDD 1991-1994 KDD讨

3、论专题 讨论专题 Advances in Knowledge Discovery and Data Mining(U.Advances in Knowledge Discovery and Data Mining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,and R.Fayyad,G.Piatetsky-Shapiro,P.Smyth,and R.Uthurusamy,1996)Uthurusamy,1996)1995-1998 KDD 1995-1998 KDD国际会议 国际会议(KDD95-98)KDD95-98)Journal of Data Mining

4、 and Knowledge Discovery(1997)Journal of Data Mining and Knowledge Discovery(1997)1998 ACM SIGKDD,SIGKDD1999-2002 1998 ACM SIGKDD,SIGKDD1999-2002 会议 会议,以及 以及SIGKDD SIGKDD Explorations Explorations 数据挖掘方面更多的国际会议 数据挖掘方面更多的国际会议 PAKDD,PKDD,SIAM-Data Mining,(IEEE)ICDM,DaWaK,PAKDD,PKDD,SIAM-Data Mining,(I

5、EEE)ICDM,DaWaK,SPIE-DM,etc.SPIE-DM,etc.6一、数据挖掘概念-技术 技术分类预言（预言（PredicationPredication）：）：用历史预测未来用历史预测未来描述（描述（DescriptionDescription）：）：了解数据中潜在的规律了解数据中潜在的规律 数据挖掘技术关联分析关联分析序列模式序列模式分类（分类（预预言言）聚集聚集异常检测异常检测7二、数据挖掘软件的发展代特征 数据挖掘算法 集成 分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法 独立的系统 单个机器 向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次

6、不能放进内存的数据数据管理系统，包括数据库和数据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预言模型系统集成 多个算法 数据管理和预言模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算设备的数据联合 多个算法 数据管理、预言模型、移动系统移动和各种计算设备普遍存在的计算模型 Robert Grossman，National Center for Data Mining University of Illinois at Chicago 的观点8二、数据挖掘软件的发展第一代数据挖掘软件9二、数据挖掘软件的发展第

7、一代数据挖掘软件第一代数据挖掘软件 CBA CBA新加坡国立大学。新加坡国立大学。基于关联规则的分类算法，能从关系数据或 基于关联规则的分类算法，能从关系数据或者交易数据中挖掘关联规则，使用关联规则进行分类和预测 者交易数据中挖掘关联规则，使用关联规则进行分类和预测10二、数据挖掘软件的发展第二代数据挖掘软件 特点 特点 与数据库管理系统（与数据库管理系统（DBMS DBMS）集成 集成 支持数据库和数据仓库，和它们具有高性能的接口，具有高 支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性 的可扩展性 能够挖掘大数据集、以及更复杂的数据集 能够挖掘大数据集、以及更复杂的数据集 通

8、过支持数据挖掘模式（通过支持数据挖掘模式（data mining schema data mining schema）和数据挖掘 和数据挖掘查询语言增加系统的灵活性 查询语言增加系统的灵活性 典型的系统如 典型的系统如DBMiner DBMiner，能通过 能通过DMQL DMQL挖掘语言进行挖掘操作 挖掘语言进行挖掘操作 缺陷 缺陷 只注重模型的生成，如何和预言模型系统集成导致了第三代 只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发 数据挖掘系统的开发11二、数据挖掘软件的发展第二代数据挖掘软件 DBMiner12二、数据挖掘软件的发展第二代软件 SAS Enterp

9、rise Miner13二、数据挖掘软件的发展第三代数据挖掘软件 特点 特点 和预言模型系统之间能够无缝的集成，使得由数据挖掘软件 和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中 产生的模型的变化能够及时反映到预言模型系统中 由数据挖掘软件产生的预言模型能够自动地被操作型系统吸 由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的 收，从而与操作型系统中的预言模型相联合提供决策支持的功能 功能 能够挖掘网络环境下（能够挖掘网络环境下（Internet/Extranet Internet/Ext

10、ranet）的分布式和高度 的分布式和高度异质的数据，并且能够有效地和操作型系统集成 异质的数据，并且能够有效地和操作型系统集成 缺陷 缺陷 不能支持移动环境 不能支持移动环境14二、数据挖掘软件的发展第三代软件 SPSS Clementine以PMML的格式提供与预言模型系统的接口15二、数据挖掘软件的发展第四代数据挖掘软件 特点 特点 目前移动计算越发显得重要，将数据挖掘和移动计算相结合 目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。是当前的一个研究领域。第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在 第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ub

11、iquitous ubiquitous）计算设备产生的各种类型的数据 计算设备产生的各种类型的数据第四代数据挖掘原型或商业系统尚未见报导，第四代数据挖掘原型或商业系统尚未见报导，PKDD2001 PKDD2001上 上Kargupta Kargupta发表了一篇在移动环境下挖掘决策树的论文，发表了一篇在移动环境下挖掘决策树的论文，Kargupta Kargupta是马里兰巴尔的摩州立大学（是马里兰巴尔的摩州立大学（University of University of Maryland Baltimore County Maryland Baltimore County）正在研制的 正在研制的

12、CAREER CAREER数据 数据挖掘项目的负责人，该项目研究期限是 挖掘项目的负责人，该项目研究期限是2001 2001年 年4 4月到 月到2006 2006年 年4 4月，目的是开发挖掘分布式和异质数据（月，目的是开发挖掘分布式和异质数据（Ubiquitous Ubiquitous设 设备）的第四代数据挖掘系统。备）的第四代数据挖掘系统。16二、数据挖掘软件的发展第一代系统与第二代相比因为不具有和数据管理系统第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷之间有效的接口，所以在数据预处理方面有一定缺陷 第三、四代系统强调预言模型的使用和在操作

13、型环境第三、四代系统强调预言模型的使用和在操作型环境的部署的部署 第二代系统提供数据管理系统和数据挖掘系统之间的第二代系统提供数据管理系统和数据挖掘系统之间的有效接口有效接口 第三代系统另外还提供数据挖掘系统和预言模型系统第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口之间的有效的接口 目前，随着新的挖掘算法的研究和开发，第一代数据目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如掘系统

14、，比如 IBM Intelligent Score ServiceIBM Intelligent Score Service。第第四代数据挖掘原型或商业系统尚未见报导四代数据挖掘原型或商业系统尚未见报导 17二、数据挖掘软件的发展数据挖掘软件发展的三个阶段 独立的数据挖掘软件 横向的数据挖掘工具集 纵向的数据挖掘解决方案Gregory Piatetsky-Shapiro的观点18二、数据挖掘软件的发展独立的数据挖掘软件（95年以前）特点 特点 独立的数据挖掘软件对应第一代系统，出现在数据挖 独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的数据挖 掘技术发展

15、早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。掘算法，就形成一个软件。这类软件要求用户对具体的算法和数据挖掘技术有相 这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。比如 当的了解，还要负责大量的数据预处理工作。比如C4.5 C4.5决策树 决策树，平行坐标可视化（平行坐标可视化（parallel-coordinate parallel-coordinate visualization visualization）。）。19二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）发展原因 发展原因 随着数据挖掘应用的发展，人们逐渐认识到数据挖

16、掘 随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：软件需要和以下三个方面紧密结合：1 1）数据库和数据）数据库和数据仓库；仓库；2 2）多种类型的数据挖掘算法；）多种类型的数据挖掘算法；3 3）数据清洗、）数据清洗、转换等预处理工作。转换等预处理工作。随着数据量的增加，需要利用数据库或者数据仓库技 随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库 术进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。结合是自然的发展。现实领域的问题是多种多样的，一种或少数数据挖掘 现实领域的问题是多种多样的，一种或少数数据挖

17、掘算法难以解决 算法难以解决 挖掘的数据通常不符合算法的要求，需要有数据清洗、挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型 转换等数据预处理的配合，才能得出有价值的模型 20二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）发展过程 发展过程 随着这些需求的出现，随着这些需求的出现，1995 1995年左右软件开发商开始提 年左右软件开发商开始提供称之为 供称之为“工具集 工具集”的数据挖掘软件 的数据挖掘软件 特点 特点 此 此 类 类 工具集的特点是提供多种数据挖掘算法 工具集的特点是提供多种数据挖掘算法 包括数据的 包括数据的 转换

18、转换 和可 和可 视 视 化 化 由于此 由于此 类 类 工具并非面向特定的 工具并非面向特定的 应 应 用，是通用的算法集 用，是通用的算法集合，可以称之 合，可以称之 为 为 横向的数据挖掘工具（横向的数据挖掘工具（Horizontal Horizontal Data Mining Tools Data Mining Tools）由于此 由于此 类 类 工具并非面向特定的 工具并非面向特定的 应 应 用，是通用的算法集 用，是通用的算法集合，合，所以 所以 称之 称之 为 为 横向的数据挖掘工具 横向的数据挖掘工具 典型的横向工具有 典型的横向工具有IBM Intelligent Mine

19、r IBM Intelligent Miner、SPSS SPSS 的 的Clementine Clementine、SAS SAS 的 的Enterprise Miner Enterprise Miner、SGI SGI 的 的MineSet MineSet、Oracle Darwin Oracle Darwin 等 等 21二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）IBM Intelligent MinerSPSS的ClementineSAS的Enterprise MinerSGI的MineSetOracle Darwin22二、数据挖掘软件的发展纵向的数据挖掘解决方案（99

20、年开始）发展原因 发展原因 随着横向的数据挖掘工具的使用日渐广泛，人们也发 随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才能熟练 现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模型 使用，如果对算法不了解，难以得出好的模型 从 从1999 1999年开始，大量的数据挖掘工具研制者开始提供 年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（纵向的数据挖掘解决方案（Vertical Solution Vertical Solution），），即 即针对特定的应用提供完整的数据挖掘方案 针对特定的应用提供完整的

21、数据挖掘方案 对于纵向的解决方案，数据挖掘技术的应用多数还是 对于纵向的解决方案，数据挖掘技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统中 为了解决某些特定的难题，而嵌入在应用系统中23二、数据挖掘软件的发展纵向的数据挖掘解决方案（99年开始）在证券系统中嵌入神经网络预测功能 在证券系统中嵌入神经网络预测功能 在欺诈检测系统中嵌入欺诈行为的分类 在欺诈检测系统中嵌入欺诈行为的分类/识别模型 识别模型 在 在客 客户 户关 关系 系管 管理 理系 系统 统中 中嵌 嵌入 入客 客户 户成 成簇 簇/分 分类 类功 功能 能或 或客 客户 户行为分析功能 行为分析功能 在 在机 机器

22、器维 维护 护系 系统 统中 中嵌 嵌入 入监 监/检 检测 测或 或识 识别 别难 难以 以定 定性 性的 的设 设备 备故障功能 故障功能 在数据库营销中嵌入选择最可能购买产品的客户功能 在数据库营销中嵌入选择最可能购买产品的客户功能 在机场管理系统中嵌入旅客人数预测、货运优化功能 在机场管理系统中嵌入旅客人数预测、货运优化功能 在基因分析系统中嵌入 在基因分析系统中嵌入DNA DNA识别功能 识别功能 在制造 在制造/生产系统中嵌入质量控制功能等 生产系统中嵌入质量控制功能等24二、数据挖掘软件的发展纵向的数据挖掘解决方案（99年开始）KD1（主要用于零售业）Options&Choice

23、(主要用于保险业)HNC（欺诈行为侦测）Unica Model 1(主要用于市场营销)25二、数据挖掘软件的发展综合的数据挖掘解决方案（复旦的工作）算法层商业逻辑层行业应用层商业应用商业模型挖掘算法相关行业26三、数据挖掘软件的现状27三、数据挖掘软件的现状2001/5/142001/5/24 2001/5/142001/5/24（实际）实际）2001/1 1/262001/12/9 2001/1 1/262001/12/9（预测）预测）28三、数据挖掘软件的现状调查报告（2002.6.3-6.16）29三、数据挖掘软件的现状（国内情况）30四、数据挖掘应用调查报告（2002.6.3-6.16

24、）31四、数据挖掘应用 银行 银行 美国银行家协会 美国银行家协会(ABA)ABA)预测数据仓库和数据挖掘技术在 预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是 美国商业银行的应用增长率是14.9 14.9。分析客户使用分销渠道的情况和分销渠道的容量 分析客户使用分销渠道的情况和分销渠道的容量；建；建立利润评测模型；客户关系优化；风险控制等 立利润评测模型；客户关系优化；风险控制等 电子商务 电子商务 网上商品推荐；个性化网页；自适应网站 网上商品推荐；个性化网页；自适应网站 生物制药、基因研究 生物制药、基因研究 DNA DNA序列查询和匹配；序列查询和匹配；识别基因序列的共发生性

25、识别基因序列的共发生性 电信 电信 欺诈甄别；客户流失 欺诈甄别；客户流失 保险、零售。保险、零售。32四、数据挖掘应用数据挖掘客户分析析基分因其他保险客户证券客户银行客户电信客户零售客户信用卡储蓄卡存折按揭借贷人类基因植物基因动物基因特殊群体基因基因序列基因表达谱基因功能基因制药.数据挖掘中国内地市场规模未来五年内将达百亿33四、数据挖掘应用为什么没有广泛使用？数据挖掘正在快速的发展 数据挖掘正在快速的发展 技术的研究和开发已经走在很前沿的地方 技术的研究和开发已经走在很前沿的地方 数据挖掘应用面已经扩充了很多 数据挖掘应用面已经扩充了很多 但是仍然没有希望的高，为什么？但是仍然没有希望的高

26、，为什么？希望在多少年内达到数十亿元的盈利？希望在多少年内达到数十亿元的盈利？是一种增值服务（是一种增值服务（Not bread-and-butter Not bread-and-butter）不能认为高不可攀，所以不去过问 不能认为高不可攀，所以不去过问 是一门年轻的技术，需要和实际结合，解决现实问题 是一门年轻的技术，需要和实际结合，解决现实问题34四、数据挖掘应用国内应用存在的问题数据积累不充分、不全面数据积累不充分、不全面业务模型构建困难业务模型构建困难缺少有经验的实施者缺少有经验的实施者35四、数据挖掘应用-业务建摸Debt$40KQQQQI I 1 23 45 6factor 1f

27、actor 2factor n神经网络 Neural Networks聚类分析 ClusteringOpenAccntAdd NewProductDecreaseUsage?T ime序列分析 Sequence Analysis 决策树 Decision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析 Association 市场组合分析 套装产品分析 目录设计 交叉销售36四、数据挖掘应用-业务建摸 聚集（Cluster）聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显，而同一

28、个群之间的数据尽量相似。常用技术：神经元网络、K均值、最近邻37四、数据挖掘应用-业务建摸 异常检测及时发现有欺诈嫌疑的异常行为，正确进行欺诈问及时发现有欺诈嫌疑的异常行为，正确进行欺诈问题的评估，对欺诈者实施控制和强制措施。题的评估，对欺诈者实施控制和强制措施。技术：决策树，神经元网络，异常因子技术：决策树，神经元网络，异常因子LOFLOF检测检测客户消费异常行为分析模型38四、数据挖掘应用-业务建摸 客户分析业务模型 客户分析业务模型 交叉销售 交叉销售 客户响应 客户响应 客户流失 客户流失 客户利润 客户利润 信用卡分析业务模型 信用卡分析业务模型 客户信用等级评估 客户信用等级评估

29、客户透支分析 客户透支分析 客户利润分析 客户利润分析 客户消费行为分析 客户消费行为分析 客户消费异常行为分析 客户消费异常行为分析39四、数据挖掘应用-业务建摸CDW客户数据仓库模型库行业应用知识CIAS应用服务器 信息系统 行业分析数据挖掘应用平台CIAS40四、数据挖掘应用-业务建摸客户响应模型基本概念响应率分析响应率分析:分析客户对某种新服务或者新产品的感兴趣情况 分析客户对某种新服务或者新产品的感兴趣情况.为什么要进行响应率分析为什么要进行响应率分析:通过响应率分析能够有效的降低市场推广的费用 通过响应率分析能够有效的降低市场推广的费用,同时 同时能够更加有针对性的面对目标市场 能

30、够更加有针对性的面对目标市场.达到以最小的投入 达到以最小的投入获得最佳效果的目的 获得最佳效果的目的41四、数据挖掘应用-业务建摸用哪一种数据挖掘技术实现？响应率分析是为了对某项市场营销（新产品销售）活 响应率分析是为了对某项市场营销（新产品销售）活动找到最合适的响应客户，需要预测哪些客户能够响 动找到最合适的响应客户，需要预测哪些客户能够响应，以及响应的可能性是多少。应，以及响应的可能性是多少。因此，需要构建预言模型 因此，需要构建预言模型 分类是预言模型的一种技术，可以利用分类技术构建 分类是预言模型的一种技术，可以利用分类技术构建客户响应率模型 客户响应率模型 决策树 决策树 神经网络 神经网络贝叶斯分类贝叶斯分类42五、数据挖掘未来发展 与数据库数据仓库系统集成 与预言模型系统集成 挖掘各种复杂类型的数据 与应用相结合 研制和开发数据挖掘标准 支持移动环境 43联系方式谢 谢！44