数据挖掘发展分析.pptx

《数据挖掘发展分析.pptx》由会员分享，可在线阅读，更多相关《数据挖掘发展分析.pptx（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主讲人朱扬勇1一、数据挖掘概念一、数据挖掘概念-定义定义数据挖掘数据挖掘-从大量数据中寻找其规律的技术，从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。是统计学、数据库技术和人工智能技术的综合。数据挖掘与统计学数据挖掘与统计学数据挖掘与人工智能数据挖掘与人工智能数据挖掘与数据库技术数据挖掘与数据库技术数据挖掘与数据挖掘与KDD2一、数据挖掘概念一、数据挖掘概念-原由原由国民经济和社会的信息化国民经济和社会的信息化社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史因此政府提出因此

2、政府提出“信息化信息化”和和“发展软件产业发展软件产业”3一、数据挖掘概念一、数据挖掘概念-原由原由数据挖掘数据挖掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据可怕的数据4一、数据挖掘概念一、数据挖掘概念-原由原由数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼:淹没在数据中;不能制定合适的决策!数据数据数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.POS.n人口统计人口统计n生

3、命周期生命周期5一、数据挖掘概念一、数据挖掘概念-发展发展 1989 1989 IJCAIIJCAI会议：会议：会议：会议：数据库中的知识发现讨论专题数据库中的知识发现讨论专题数据库中的知识发现讨论专题数据库中的知识发现讨论专题 Knowledge Discovery in Databases(G.Piatetsky-Shapiro Knowledge Discovery in Databases(G.Piatetsky-Shapiro and W.Frawley,1991)and W.Frawley,1991)1991-1994 KDD1991-1994 KDD讨论专题讨论专题讨论专题讨论专

4、题 Advances in Knowledge Discovery and Data Mining(U.Advances in Knowledge Discovery and Data Mining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,and R.Fayyad,G.Piatetsky-Shapiro,P.Smyth,and R.Uthurusamy,1996)Uthurusamy,1996)1995-1998 KDD1995-1998 KDD国际会议国际会议国际会议国际会议(KDD95-98)(KDD95-98)Journal of Data Mining

5、 and Knowledge Discovery(1997)Journal of Data Mining and Knowledge Discovery(1997)1998 ACM SIGKDD,SIGKDD1999-2002 1998 ACM SIGKDD,SIGKDD1999-2002 会议会议会议会议,以及以及以及以及SIGKDD SIGKDD ExplorationsExplorations 数据挖掘方面更多的国际会议数据挖掘方面更多的国际会议数据挖掘方面更多的国际会议数据挖掘方面更多的国际会议 PAKDD,PKDD,SIAM-Data Mining,(IEEE)ICDM,DaWaK,

6、PAKDD,PKDD,SIAM-Data Mining,(IEEE)ICDM,DaWaK,SPIE-DM,etc.SPIE-DM,etc.6一、数据挖掘概念一、数据挖掘概念-技术技术技术分类技术分类 预言（预言（预言（预言（PredicationPredication）：）：）：）：用历史预测未来用历史预测未来用历史预测未来用历史预测未来 描述（描述（描述（描述（DescriptionDescription）：）：）：）：了解数据中潜在的规律了解数据中潜在的规律了解数据中潜在的规律了解数据中潜在的规律数据挖掘技术数据挖掘技术 关联分析关联分析关联分析关联分析 序列模式序列模式序列模式序列模式

7、分类（分类（分类（分类（预预言言言言）聚集聚集聚集聚集 异常检测异常检测异常检测异常检测7二、数据挖掘软件的发展二、数据挖掘软件的发展代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一第一代代作为一个独作为一个独立的应用立的应用支持一个或者支持一个或者多个算法多个算法 独立的系统独立的系统单个机器单个机器向量数据向量数据第二第二代代和数据库以和数据库以及数据仓库及数据仓库集成集成多个算法：能多个算法：能够挖掘一次不够挖掘一次不能放进内存的能放进内存的数据数据数据管理系数据管理系统，包括数统，包括数据库和数据据库和数据仓库仓库同质、局同质、局部区域的部区域的

8、计算机群计算机群集集有些系统支持有些系统支持对象对象,文本和文本和连续的媒体数连续的媒体数据据第三第三代代和预言模型和预言模型系统集成系统集成 多个算法多个算法数据管理和数据管理和预言模型系预言模型系统统intranet/extranet网网络计算络计算支持半结构化支持半结构化数据和数据和webweb数数据据第四第四代代和移动数据和移动数据/各种计算设各种计算设备的数据联备的数据联合合 多个算法多个算法数据管理、数据管理、预言模型、预言模型、移动系统移动系统移动和各移动和各种计算设种计算设备备普遍存在的计普遍存在的计算模型算模型 Robert Grossman，National Center

9、for Data Mining University of Illinois at Chicago 的观点的观点8二、数据挖掘软件的发展二、数据挖掘软件的发展第一代数据挖掘软件9二、数据挖掘软件的发展二、数据挖掘软件的发展第一代数据挖掘软件第一代数据挖掘软件 CBACBA新加坡国立大学。新加坡国立大学。新加坡国立大学。新加坡国立大学。基于关联规则的分类算法，能从关系数据或基于关联规则的分类算法，能从关系数据或基于关联规则的分类算法，能从关系数据或基于关联规则的分类算法，能从关系数据或者交易数据中挖掘关联规则，使用关联规则进行分类和预测者交易数据中挖掘关联规则，使用关联规则进行分类和预测者交易数

10、据中挖掘关联规则，使用关联规则进行分类和预测者交易数据中挖掘关联规则，使用关联规则进行分类和预测10二、数据挖掘软件的发展二、数据挖掘软件的发展第二代数据挖掘软件 特点特点特点特点与数据库管理系统（与数据库管理系统（与数据库管理系统（与数据库管理系统（DBMSDBMSDBMSDBMS）集成集成集成集成 支持数据库和数据仓库，和它们具有高性能的接口，具有高支持数据库和数据仓库，和它们具有高性能的接口，具有高支持数据库和数据仓库，和它们具有高性能的接口，具有高支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性的可扩展性的可扩展性的可扩展性 能够挖掘大数据集、以及更复杂的数据集能够挖掘大

11、数据集、以及更复杂的数据集能够挖掘大数据集、以及更复杂的数据集能够挖掘大数据集、以及更复杂的数据集 通过支持数据挖掘模式（通过支持数据挖掘模式（通过支持数据挖掘模式（通过支持数据挖掘模式（data mining schemadata mining schemadata mining schemadata mining schema）和数据挖掘和数据挖掘和数据挖掘和数据挖掘查询语言增加系统的灵活性查询语言增加系统的灵活性查询语言增加系统的灵活性查询语言增加系统的灵活性 典型的系统如典型的系统如典型的系统如典型的系统如DBMinerDBMinerDBMinerDBMiner，能通过能通过能通过能通

12、过DMQLDMQLDMQLDMQL挖掘语言进行挖掘操作挖掘语言进行挖掘操作挖掘语言进行挖掘操作挖掘语言进行挖掘操作 缺陷缺陷缺陷缺陷只注重模型的生成，如何和预言模型系统集成导致了第三代只注重模型的生成，如何和预言模型系统集成导致了第三代只注重模型的生成，如何和预言模型系统集成导致了第三代只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发数据挖掘系统的开发数据挖掘系统的开发数据挖掘系统的开发11二、数据挖掘软件的发展二、数据挖掘软件的发展第二代数据挖掘软件 DBMiner12二、数据挖掘软件的发展二、数据挖掘软件的发展第二代软件 SAS Enterprise Miner13二

13、、数据挖掘软件的发展二、数据挖掘软件的发展第三代数据挖掘软件 特点特点特点特点和预言模型系统之间能够无缝的集成，使得由数据挖掘软件和预言模型系统之间能够无缝的集成，使得由数据挖掘软件和预言模型系统之间能够无缝的集成，使得由数据挖掘软件和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中产生的模型的变化能够及时反映到预言模型系统中产生的模型的变化能够及时反映到预言模型系统中产生的模型的变化能够及时反映到预言模型系统中 由数据挖掘软件产生的预言模型能够自动地被操作型系统吸由数据挖掘软件产生的预言模型能够自动地被操作型系统吸由数据挖掘软件产生的预言模型能够

14、自动地被操作型系统吸由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的收，从而与操作型系统中的预言模型相联合提供决策支持的收，从而与操作型系统中的预言模型相联合提供决策支持的收，从而与操作型系统中的预言模型相联合提供决策支持的功能功能功能功能 能够挖掘网络环境下（能够挖掘网络环境下（能够挖掘网络环境下（能够挖掘网络环境下（Internet/ExtranetInternet/ExtranetInternet/ExtranetInternet/Extranet）的分布式和高度的分布式和高度的分布式和高度的分布式和高度异质的数据，并且能够有效地和

15、操作型系统集成异质的数据，并且能够有效地和操作型系统集成异质的数据，并且能够有效地和操作型系统集成异质的数据，并且能够有效地和操作型系统集成 缺陷缺陷缺陷缺陷不能支持移动环境不能支持移动环境不能支持移动环境不能支持移动环境14二、数据挖掘软件的发展二、数据挖掘软件的发展第三代软件 SPSS Clementine以PMML的格式提供与预言模型系统的接口15二、数据挖掘软件的发展二、数据挖掘软件的发展第四代数据挖掘软件 特点特点特点特点目前移动计算越发显得重要，将数据挖掘和移动计算相结合目前移动计算越发显得重要，将数据挖掘和移动计算相结合目前移动计算越发显得重要，将数据挖掘和移动计算相结合目前移动

16、计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。是当前的一个研究领域。是当前的一个研究领域。是当前的一个研究领域。第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitousubiquitousubiquitousubiquitous）计算设备产生的各种类型的数据计算设备产生的各种类型的数据计算设备产生的各种类型的数据计算设备产生的各种类型的数据第四代数据挖掘原型或商业系统尚未见报导，第四代数据挖掘原型或商业系统尚未

17、见报导，第四代数据挖掘原型或商业系统尚未见报导，第四代数据挖掘原型或商业系统尚未见报导，PKDD2001PKDD2001上上上上KarguptaKargupta发表了一篇在移动环境下挖掘决策树的论文，发表了一篇在移动环境下挖掘决策树的论文，发表了一篇在移动环境下挖掘决策树的论文，发表了一篇在移动环境下挖掘决策树的论文，KarguptaKargupta是马里兰巴尔的摩州立大学（是马里兰巴尔的摩州立大学（是马里兰巴尔的摩州立大学（是马里兰巴尔的摩州立大学（University of University of Maryland Baltimore CountyMaryland Baltimore

18、County）正在研制的正在研制的正在研制的正在研制的CAREERCAREER数据数据数据数据挖掘项目的负责人，该项目研究期限是挖掘项目的负责人，该项目研究期限是挖掘项目的负责人，该项目研究期限是挖掘项目的负责人，该项目研究期限是20012001年年年年4 4月到月到月到月到20062006年年年年4 4月，目的是开发挖掘分布式和异质数据（月，目的是开发挖掘分布式和异质数据（月，目的是开发挖掘分布式和异质数据（月，目的是开发挖掘分布式和异质数据（UbiquitousUbiquitous设设设设备）的第四代数据挖掘系统。备）的第四代数据挖掘系统。备）的第四代数据挖掘系统。备）的第四代数据挖掘系统

19、。16二、数据挖掘软件的发展二、数据挖掘软件的发展第一代系统与第二代相比因为不具有和数据管理系统第一代系统与第二代相比因为不具有和数据管理系统第一代系统与第二代相比因为不具有和数据管理系统第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷之间有效的接口，所以在数据预处理方面有一定缺陷之间有效的接口，所以在数据预处理方面有一定缺陷之间有效的接口，所以在数据预处理方面有一定缺陷 第三、四代系统强调预言模型的使用和在操作型环境第三、四代系统强调预言模型的使用和在操作型环境第三、四代系统强调预言模型的使用和在操作型环境第三、四代系统强调预言模型的使用和在操作型

20、环境的部署的部署的部署的部署 第二代系统提供数据管理系统和数据挖掘系统之间的第二代系统提供数据管理系统和数据挖掘系统之间的第二代系统提供数据管理系统和数据挖掘系统之间的第二代系统提供数据管理系统和数据挖掘系统之间的有效接口有效接口有效接口有效接口 第三代系统另外还提供数据挖掘系统和预言模型系统第三代系统另外还提供数据挖掘系统和预言模型系统第三代系统另外还提供数据挖掘系统和预言模型系统第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口之间的有效的接口之间的有效的接口之间的有效的接口 目前，随着新的挖掘算法的研究和开发，第一代数据目前，随着新的挖掘算法的研究和开发，第一代数据目前，随着

21、新的挖掘算法的研究和开发，第一代数据目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，挖掘系统仍然会出现，第二代系统是商业软件的主流，挖掘系统仍然会出现，第二代系统是商业软件的主流，挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖部分第二代系统开发商开始研制相应的第三代数据挖部分第二代系统开发商开始研制相应的第三代数据挖部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如掘系统，比如掘系统，比如掘系统，比如 IBM Intelligent Score ServiceIBM Intelligent S

22、core ServiceIBM Intelligent Score ServiceIBM Intelligent Score Service。第第第第四代数据挖掘原型或商业系统尚未见报导四代数据挖掘原型或商业系统尚未见报导四代数据挖掘原型或商业系统尚未见报导四代数据挖掘原型或商业系统尚未见报导 17二、数据挖掘软件的发展二、数据挖掘软件的发展数据挖掘软件发展的三个阶段数据挖掘软件发展的三个阶段独立的数据挖掘软件独立的数据挖掘软件横向的数据挖掘工具集横向的数据挖掘工具集纵向的数据挖掘解决方案纵向的数据挖掘解决方案Gregory Piatetsky-Shapiro的观点的观点18二、数据挖掘软件的

23、发展二、数据挖掘软件的发展独立的数据挖掘软件（95年以前）特点特点特点特点独立的数据挖掘软件对应第一代系统，出现在数据挖独立的数据挖掘软件对应第一代系统，出现在数据挖独立的数据挖掘软件对应第一代系统，出现在数据挖独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。掘算法，就形成一个软件。掘算法，就形成一个软件。掘算法，就形成一个软件。这类软件要求用户对具体的算法和数据挖掘技术有相这类软件要求用户

24、对具体的算法和数据挖掘技术有相这类软件要求用户对具体的算法和数据挖掘技术有相这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。比如当的了解，还要负责大量的数据预处理工作。比如当的了解，还要负责大量的数据预处理工作。比如当的了解，还要负责大量的数据预处理工作。比如C4.5C4.5C4.5C4.5决策树决策树决策树决策树，平行坐标可视化（平行坐标可视化（平行坐标可视化（平行坐标可视化（parallel-coordinate parallel-coordinate parallel-coordinate parallel-coordinate visualizat

25、ionvisualizationvisualizationvisualization）。）。）。）。19二、数据挖掘软件的发展二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）发展原因发展原因发展原因发展原因随着数据挖掘应用的发展，人们逐渐认识到数据挖掘随着数据挖掘应用的发展，人们逐渐认识到数据挖掘随着数据挖掘应用的发展，人们逐渐认识到数据挖掘随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：软件需要和以下三个方面紧密结合：软件需要和以下三个方面紧密结合：软件需要和以下三个方面紧密结合：1 1 1 1）数据库和数据）数据库和数据）数据库和数据）数据库和数据仓库

26、；仓库；仓库；仓库；2 2 2 2）多种类型的数据挖掘算法；）多种类型的数据挖掘算法；）多种类型的数据挖掘算法；）多种类型的数据挖掘算法；3 3 3 3）数据清洗、）数据清洗、）数据清洗、）数据清洗、转换等预处理工作。转换等预处理工作。转换等预处理工作。转换等预处理工作。随着数据量的增加，需要利用数据库或者数据仓库技随着数据量的增加，需要利用数据库或者数据仓库技随着数据量的增加，需要利用数据库或者数据仓库技随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库术进行管理，所以数据挖掘系统与数据库和数据仓库术进行管理，所以数据挖掘系统与数据库和数据仓库术进行

27、管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。结合是自然的发展。结合是自然的发展。结合是自然的发展。现实领域的问题是多种多样的，一种或少数数据挖掘现实领域的问题是多种多样的，一种或少数数据挖掘现实领域的问题是多种多样的，一种或少数数据挖掘现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决算法难以解决算法难以解决算法难以解决 挖掘的数据通常不符合算法的要求，需要有数据清洗、挖掘的数据通常不符合算法的要求，需要有数据清洗、挖掘的数据通常不符合算法的要求，需要有数据清洗、挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型转换等数据预处理的

28、配合，才能得出有价值的模型转换等数据预处理的配合，才能得出有价值的模型转换等数据预处理的配合，才能得出有价值的模型 20二、数据挖掘软件的发展二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）发展过程发展过程发展过程发展过程随着这些需求的出现，随着这些需求的出现，随着这些需求的出现，随着这些需求的出现，1995199519951995年左右软件开发商开始提年左右软件开发商开始提年左右软件开发商开始提年左右软件开发商开始提供称之为供称之为供称之为供称之为“工具集工具集工具集工具集”的数据挖掘软件的数据挖掘软件的数据挖掘软件的数据挖掘软件 特点特点特点特点此此此此类类类类工具集的特点是提供多

29、种数据挖掘算法工具集的特点是提供多种数据挖掘算法工具集的特点是提供多种数据挖掘算法工具集的特点是提供多种数据挖掘算法 包括数据的包括数据的包括数据的包括数据的转换转换转换转换和可和可和可和可视视视视化化化化 由于此由于此由于此由于此类类类类工具并非面向特定的工具并非面向特定的工具并非面向特定的工具并非面向特定的应应应应用，是通用的算法集用，是通用的算法集用，是通用的算法集用，是通用的算法集合，可以称之合，可以称之合，可以称之合，可以称之为为为为横向的数据挖掘工具（横向的数据挖掘工具（横向的数据挖掘工具（横向的数据挖掘工具（Horizontal Horizontal Horizontal Hor

30、izontal Data Mining ToolsData Mining ToolsData Mining ToolsData Mining Tools）由于此由于此由于此由于此类类类类工具并非面向特定的工具并非面向特定的工具并非面向特定的工具并非面向特定的应应应应用，是通用的算法集用，是通用的算法集用，是通用的算法集用，是通用的算法集合，合，合，合，所以所以所以所以称之称之称之称之为为为为横向的数据挖掘工具横向的数据挖掘工具横向的数据挖掘工具横向的数据挖掘工具典型的横向工具有典型的横向工具有典型的横向工具有典型的横向工具有IBM Intelligent MinerIBM Intelligen

31、t MinerIBM Intelligent MinerIBM Intelligent Miner、SPSSSPSSSPSSSPSS的的的的ClementineClementineClementineClementine、SASSASSASSAS的的的的Enterprise MinerEnterprise MinerEnterprise MinerEnterprise Miner、SGISGISGISGI的的的的MineSetMineSetMineSetMineSet、Oracle DarwinOracle DarwinOracle DarwinOracle Darwin等等等等 21二、数据

32、挖掘软件的发展二、数据挖掘软件的发展横向的数据挖掘工具集（95年开始）IBM Intelligent MinerSPSS的的ClementineSAS的的Enterprise MinerSGI的的MineSetOracle Darwin22二、数据挖掘软件的发展二、数据挖掘软件的发展纵向的数据挖掘解决方案（99年开始）发展原因发展原因发展原因发展原因随着横向的数据挖掘工具的使用日渐广泛，人们也发随着横向的数据挖掘工具的使用日渐广泛，人们也发随着横向的数据挖掘工具的使用日渐广泛，人们也发随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才能熟练现这类工具只有精通

33、数数据挖掘算法的专家才能熟练现这类工具只有精通数数据挖掘算法的专家才能熟练现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模型使用，如果对算法不了解，难以得出好的模型使用，如果对算法不了解，难以得出好的模型使用，如果对算法不了解，难以得出好的模型 从从从从1999199919991999年开始，大量的数据挖掘工具研制者开始提供年开始，大量的数据挖掘工具研制者开始提供年开始，大量的数据挖掘工具研制者开始提供年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（纵向的数据挖掘解决方案（纵向的数据挖掘解决方案（纵向的数据挖掘解决方案（Vertical So

34、lutionVertical SolutionVertical SolutionVertical Solution），），），），即即即即针对特定的应用提供完整的数据挖掘方案针对特定的应用提供完整的数据挖掘方案针对特定的应用提供完整的数据挖掘方案针对特定的应用提供完整的数据挖掘方案 对于纵向的解决方案，数据挖掘技术的应用多数还是对于纵向的解决方案，数据挖掘技术的应用多数还是对于纵向的解决方案，数据挖掘技术的应用多数还是对于纵向的解决方案，数据挖掘技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统中为了解决某些特定的难题，而嵌入在应用系统中为了解决某些特定的难题，而嵌入在应用系统中为了解

35、决某些特定的难题，而嵌入在应用系统中23二、数据挖掘软件的发展二、数据挖掘软件的发展纵向的数据挖掘解决方案（99年开始）在证券系统中嵌入神经网络预测功能在证券系统中嵌入神经网络预测功能在证券系统中嵌入神经网络预测功能在证券系统中嵌入神经网络预测功能在欺诈检测系统中嵌入欺诈行为的分类在欺诈检测系统中嵌入欺诈行为的分类在欺诈检测系统中嵌入欺诈行为的分类在欺诈检测系统中嵌入欺诈行为的分类/识别模型识别模型识别模型识别模型在在在在客客客客户户户户关关关关系系系系管管管管理理理理系系系系统统统统中中中中嵌嵌嵌嵌入入入入客客客客户户户户成成成成簇簇簇簇/分分分分类类类类功功功功能能能能或或或或客客客客户户

36、户户行为分析功能行为分析功能行为分析功能行为分析功能在在在在机机机机器器器器维维维维护护护护系系系系统统统统中中中中嵌嵌嵌嵌入入入入监监监监/检检检检测测测测或或或或识识识识别别别别难难难难以以以以定定定定性性性性的的的的设设设设备备备备故障功能故障功能故障功能故障功能在数据库营销中嵌入选择最可能购买产品的客户功能在数据库营销中嵌入选择最可能购买产品的客户功能在数据库营销中嵌入选择最可能购买产品的客户功能在数据库营销中嵌入选择最可能购买产品的客户功能在机场管理系统中嵌入旅客人数预测、货运优化功能在机场管理系统中嵌入旅客人数预测、货运优化功能在机场管理系统中嵌入旅客人数预测、货运优化功能在机场管

37、理系统中嵌入旅客人数预测、货运优化功能在基因分析系统中嵌入在基因分析系统中嵌入在基因分析系统中嵌入在基因分析系统中嵌入DNADNADNADNA识别功能识别功能识别功能识别功能在制造在制造在制造在制造/生产系统中嵌入质量控制功能等生产系统中嵌入质量控制功能等生产系统中嵌入质量控制功能等生产系统中嵌入质量控制功能等24二、数据挖掘软件的发展二、数据挖掘软件的发展纵向的数据挖掘解决方案（99年开始）KD1（主要用于零售业）主要用于零售业）Options&Choice(主要用于保险业主要用于保险业)HNC（欺诈行为侦测）欺诈行为侦测）Unica Model 1(主要用于市场营销主要用于市场营销)25二

38、、数据挖掘软件的发展二、数据挖掘软件的发展综合的数据挖掘解决方案（复旦的工作）算算法法层层商商业业逻逻辑辑层层行行业业应应用用层层商业应用商业模型挖掘算法相关行业26三、数据挖掘软件的现状三、数据挖掘软件的现状27三、数据挖掘软件的现状三、数据挖掘软件的现状2001/5/142001/5/242001/5/142001/5/24（实际）实际）实际）实际）2001/11/262001/12/92001/11/262001/12/9（预测）预测）预测）预测）28三、数据挖掘软件的现状三、数据挖掘软件的现状调查报告（2002.6.3-6.16）29三、数据挖掘软件的现状（三、数据挖掘软件的现状（国内

39、情况国内情况）30四、数据挖掘应用四、数据挖掘应用调查报告（调查报告（2002.6.3-6.162002.6.3-6.16）31四、数据挖掘应用四、数据挖掘应用 银行银行银行银行美国银行家协会美国银行家协会美国银行家协会美国银行家协会(ABA)ABA)预测数据仓库和数据挖掘技术在预测数据仓库和数据挖掘技术在预测数据仓库和数据挖掘技术在预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是美国商业银行的应用增长率是美国商业银行的应用增长率是美国商业银行的应用增长率是14.914.9。分析客户使用分销渠道的情况和分销渠道的容量分析客户使用分销渠道的情况和分销渠道的容量分析客户使用分销渠道的情况和分

40、销渠道的容量分析客户使用分销渠道的情况和分销渠道的容量 ；建；建；建；建立利润评测模型；客户关系优化；风险控制等立利润评测模型；客户关系优化；风险控制等立利润评测模型；客户关系优化；风险控制等立利润评测模型；客户关系优化；风险控制等 电子商务电子商务电子商务电子商务 网上商品推荐；个性化网页；自适应网站网上商品推荐；个性化网页；自适应网站网上商品推荐；个性化网页；自适应网站网上商品推荐；个性化网页；自适应网站 生物制药、基因研究生物制药、基因研究生物制药、基因研究生物制药、基因研究 DNADNA序列查询和匹配；序列查询和匹配；序列查询和匹配；序列查询和匹配；识别基因序列的共发生性识别基因序列的

41、共发生性识别基因序列的共发生性识别基因序列的共发生性 电信电信电信电信 欺诈甄别；客户流失欺诈甄别；客户流失欺诈甄别；客户流失欺诈甄别；客户流失 保险、零售。保险、零售。保险、零售。保险、零售。32四、数据挖掘应用四、数据挖掘应用数据数据挖掘挖掘客户分析析基分因其他其他保险客户保险客户证券客户证券客户银行客户银行客户电信客户电信客户零售客户零售客户信用卡信用卡储蓄卡储蓄卡存折存折按揭按揭借贷借贷人类基因植物基因动物基因特殊群体基因基因序列基因序列基因表达谱基因表达谱基因功能基因功能基因制药基因制药 .数据挖掘中国内地市场规模未来五年内将达百亿33四、数据挖掘应用四、数据挖掘应用为什么没有广泛使

42、用？数据挖掘正在快速的发展数据挖掘正在快速的发展数据挖掘正在快速的发展数据挖掘正在快速的发展 技术的研究和开发已经走在很前沿的地方技术的研究和开发已经走在很前沿的地方技术的研究和开发已经走在很前沿的地方技术的研究和开发已经走在很前沿的地方 数据挖掘应用面已经扩充了很多数据挖掘应用面已经扩充了很多数据挖掘应用面已经扩充了很多数据挖掘应用面已经扩充了很多 但是仍然没有希望的高，为什么？但是仍然没有希望的高，为什么？但是仍然没有希望的高，为什么？但是仍然没有希望的高，为什么？希望在多少年内达到数十亿元的盈利？希望在多少年内达到数十亿元的盈利？希望在多少年内达到数十亿元的盈利？希望在多少年内达到数十亿

43、元的盈利？是一种增值服务（是一种增值服务（是一种增值服务（是一种增值服务（Not bread-and-butterNot bread-and-butter）不能认为高不可攀，所以不去过问不能认为高不可攀，所以不去过问不能认为高不可攀，所以不去过问不能认为高不可攀，所以不去过问 是一门年轻的技术，需要和实际结合，解决现实问题是一门年轻的技术，需要和实际结合，解决现实问题是一门年轻的技术，需要和实际结合，解决现实问题是一门年轻的技术，需要和实际结合，解决现实问题34四、数据挖掘应用四、数据挖掘应用国内应用存在的问题数据积累不充分、不全面数据积累不充分、不全面数据积累不充分、不全面数据积累不充分、不

44、全面业务模型构建困难业务模型构建困难业务模型构建困难业务模型构建困难缺少有经验的实施者缺少有经验的实施者缺少有经验的实施者缺少有经验的实施者35四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸Debt$40KQ QQ QQ QQ QII123456factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysi

45、s决策树决策树 Decision TreesDecision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售36四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸聚集（聚集（Cluster）聚集是把整个数据库分成不同的群组。它的目的是聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显，而同一个群之间的数据要群与群之间差别很明显，而同一个群之间的数据尽量相似。尽量相似。常用技术：神经

46、元网络、常用技术：神经元网络、K均值、最近邻均值、最近邻37四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸异常检测异常检测及时发现有欺诈嫌疑的异常行为，正确进行欺诈问及时发现有欺诈嫌疑的异常行为，正确进行欺诈问及时发现有欺诈嫌疑的异常行为，正确进行欺诈问及时发现有欺诈嫌疑的异常行为，正确进行欺诈问题的评估，对欺诈者实施控制和强制措施。题的评估，对欺诈者实施控制和强制措施。题的评估，对欺诈者实施控制和强制措施。题的评估，对欺诈者实施控制和强制措施。技术：决策树，神经元网络，异常因子技术：决策树，神经元网络，异常因子技术：决策树，神经元网络，异常因子技术：决策树，神经元网络，异常因子LOFLO

47、FLOFLOF检测检测检测检测客户消费异常行为分析模型38四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸 客户分析业务模型客户分析业务模型客户分析业务模型客户分析业务模型 交叉销售交叉销售交叉销售交叉销售 客户响应客户响应客户响应客户响应 客户流失客户流失客户流失客户流失 客户利润客户利润客户利润客户利润 信用卡分析业务模型信用卡分析业务模型信用卡分析业务模型信用卡分析业务模型客户信用等级评估客户信用等级评估客户信用等级评估客户信用等级评估客户透支分析客户透支分析客户透支分析客户透支分析客户利润分析客户利润分析客户利润分析客户利润分析客户消费行为分析客户消费行为分析客户消费行为分析客户消费

48、行为分析 客户消费异常行为分析客户消费异常行为分析客户消费异常行为分析客户消费异常行为分析39四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸CDW客户数据仓库模型库行业应用知识CIASCIAS应用服务器应用服务器信息系统信息系统 行业分析行业分析数据挖掘应用平台数据挖掘应用平台CIASCIAS40四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸客户响应模型客户响应模型基本概念基本概念 响应率分析响应率分析响应率分析响应率分析:分析客户对某种新服务或者新产品的感兴趣情况分析客户对某种新服务或者新产品的感兴趣情况分析客户对某种新服务或者新产品的感兴趣情况分析客户对某种新服务或者新产品的感兴趣

49、情况.为什么要进行响应率分析为什么要进行响应率分析为什么要进行响应率分析为什么要进行响应率分析:通过响应率分析能够有效的降低市场推广的费用通过响应率分析能够有效的降低市场推广的费用通过响应率分析能够有效的降低市场推广的费用通过响应率分析能够有效的降低市场推广的费用,同时同时同时同时能够更加有针对性的面对目标市场能够更加有针对性的面对目标市场能够更加有针对性的面对目标市场能够更加有针对性的面对目标市场.达到以最小的投入达到以最小的投入达到以最小的投入达到以最小的投入获得最佳效果的目的获得最佳效果的目的获得最佳效果的目的获得最佳效果的目的41四、数据挖掘应用四、数据挖掘应用-业务建摸业务建摸用哪一

50、种数据挖掘技术实现？用哪一种数据挖掘技术实现？响应率分析是为了对某项市场营销（新产品销售）活响应率分析是为了对某项市场营销（新产品销售）活响应率分析是为了对某项市场营销（新产品销售）活响应率分析是为了对某项市场营销（新产品销售）活动找到最合适的响应客户，需要预测哪些客户能够响动找到最合适的响应客户，需要预测哪些客户能够响动找到最合适的响应客户，需要预测哪些客户能够响动找到最合适的响应客户，需要预测哪些客户能够响应，以及响应的可能性是多少。应，以及响应的可能性是多少。应，以及响应的可能性是多少。应，以及响应的可能性是多少。因此，需要构建预言模型因此，需要构建预言模型因此，需要构建预言模型因此，需