课件第5章 数据挖掘导论.pptx

《课件第5章 数据挖掘导论.pptx》由会员分享，可在线阅读，更多相关《课件第5章 数据挖掘导论.pptx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、5.1数据挖掘5.2数据挖掘任务与应用5.3数据流第第 5 章章数据挖掘导论数据挖掘导论5.1 数数 据据 挖挖 掘掘5.1.1 数据挖掘意义5.1.2 数据挖掘与数据分析区别5.1.15.1.1 数据挖掘意义数据挖掘意义 数据挖掘就是从大量的、有噪声的、不完全的、模糊的、随机的实际应用数据中，提取 有效的、新颖的、潜在有用的知识的非平凡过程。所得到的信息应具有先前未知、有效和实用三个特征。这些数据的类型可以是结构化的、半结构化的，甚至是异构型的。发现知识的 方法可以是数学的、非数学的，也可以是归纳的。被挖掘发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等5.1.2数据挖掘与数

2、据分析区别数据挖掘与数据分析区别 广义的数据分析包含狭义的数据分析和数据挖掘。 数据分析和数据挖掘的最大区别在于，数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论来调整先验的约束。(1)(1)两者两者所研究数据的数量所研究数据的数量规规模不同。模不同。(2)(2)两者两者目的不同目的不同。(3)(3)两者两者所需的所需的约束约束不同。不同。(4)(4)两者使两者使用的方法不同。用的方法不同。(5)(5)两者两者输输出的结果不同出的结果不同。5.2 数据挖掘任务与应用数据挖掘任务与应用5.2.1 数据挖掘主要任务5.2.2 数据挖掘应用5.215.21数据挖掘主要任务数

3、据挖掘主要任务1.分类问题2.聚类问题3.关联问题4.预测和时序模式及偏差问题5.225.22数据挖掘应用数据挖掘应用1.数据统计是数据挖掘最直接的应用2.个性化技术蕴藏巨大价值3.预测技术应用4.分类和回归技术应用5.辅助决策系统5.3.1 数据流概念5.3.2 数据流模型与分类5.3.3 不确定数据流概念漂移5.3 数数 据据 流流5.315.31数据流概念数据流概念1. 1.数据数据流流所谓数据流就是大量的、连续的、以特定次序传输的数据序列2. 2.数据流特数据流特点点有序性、连续性、实时(或随时)性无限性单遍性概要性低层次性和多维性近似性即时性，另外，分布式数据流还具有分布性、 并行性

4、和多重性的特点。3. 3.数据流类数据流类型型1.数据源产生的数据独立同分布，称为稳定数据流；2.数据源产生的数据不独立同分布，在数据产生过程中发生了“概念漂移,称为动态数据流。 ”5.325.32数据流模型与分类数据流模型与分类 1 1数据流模型数据流模型1)快照模型2)界标模型3)滑动窗口模型2数据流概要描述技数据流概要描述技术术1)随机抽样3)滑动窗口4)直方图4)小波技术。5)哈希方法6)梗概技术5.335.33不确定数据流概念漂移不确定数据流概念漂移1. 1.数据流概念漂数据流概念漂移移现实生活中产生的数据以数据流的形式出现，其概念并不是稳定不变的，而随时间改变,数据流中数据分布随时间发生改变而概念发生变化的现象，称 为“概念漂移” 。2. 2.概念漂移数据流学习器的构概念漂移数据流学习器的构建建1) 利用单学习器进行概念漂移数据流学习的方法 1.选择训练样本。 2.给训练样本赋以权值 3.调整学习器的结构。 4.第 4 种是各种方法的组合2) 多学习器集成进行概念漂移数据流学习的方法 1.利用集成学习策略对数据流实施分块学习。 2.基于在线学习模型对整个数据流实施集成学习。