大数据分析、挖掘与应用13636.pptx

《大数据分析、挖掘与应用13636.pptx》由会员分享，可在线阅读，更多相关《大数据分析、挖掘与应用13636.pptx（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 大数据分析、挖掘与应用数据挖掘与智能信息系统实验室数据挖掘与智能信息系统实验室 一、大数据分析与挖掘 大数据的基本概念大数据的基本概念 比较有代表性：比较有代表性：1)3V 1)3V 定义，即认为大数据需满足定义，即认为大数据需满足3 3 个特点：规模性个特点：规模性(Volume)(Volume)、多样性、多样性(Variety)(Variety)和高速性和高速性(Velocity)(Velocity)。2)4V 2)4V 定义，即尝试在定义，即尝试在3V 3V 的基础上增加一个新的特性。关的基础上增加一个新的特性。关于第四个于第四个V V 的说法并不统一，的说法并不统一，IDC IDC

2、认为大数据还应当具有认为大数据还应当具有价值性价值性(Value)(Value)，大数据的价值往往呈现出稀疏性的特点。，大数据的价值往往呈现出稀疏性的特点。而而IBM IBM 认为大数据必然具有真实性认为大数据必然具有真实性(Veracity)(Veracity)。3)3)维基百科对大数据的定义则简单明了：大数据是指利用维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。时间的数据集。二、大数据处理架构大数据处理模式大数据处理模式 1 1）流处理）流处理(Stream Processi

3、ng)(Stream Processing)，即直接处理，即直接处理 流处理的基本理念是数据的价值会随着时间的流流处理的基本理念是数据的价值会随着时间的流逝而不断减少。因此，尽可能快地对最新的数据做出分析逝而不断减少。因此，尽可能快地对最新的数据做出分析并给出结果是所有流数据处理模式的共同目标。并给出结果是所有流数据处理模式的共同目标。2 2）批处理）批处理(Batch Processing)(Batch Processing)，即先存储后处理，即先存储后处理 Google Google 公司在公司在2004 2004 年提出的年提出的MapReduceMapReduce编程模编程模型是最具代

4、表性的批处理模式。型是最具代表性的批处理模式。MAPREDUCE执行流程图 MapReduceMapReduce模型首先将用模型首先将用户户的原始数据源的原始数据源进进行分行分块块，然后分然后分别别交交给给不同的不同的MapMap任任务务区区处处理。理。MapMap任任务务从从输输入入中解析出中解析出Key/ValueKey/Value对对集合，然后集合，然后对这对这些集合些集合执执行用行用户户自行定自行定义义的的MapMap函数得到中函数得到中间结间结果，并将果，并将该结该结果写入果写入本地硬本地硬盘盘。ReduceReduce任任务务从硬从硬盘盘上上读读取数据之后，会根取数据之后，会根据据

5、key key 值进值进行排序，将具有相同行排序，将具有相同key key 值值的的组织组织在一起。在一起。最后用最后用户户自定自定义义的的ReduceReduce函数会作用于函数会作用于这这些排好序的些排好序的结结果并果并输输出最出最终结终结果。果。MapReduceMapReduce的核心的核心设计设计思想：思想：1)1)将将问题问题分而治之；分而治之；2)2)把把计计算推到数据而不是把数据推到算推到数据而不是把数据推到计计算，有效的算，有效的避免数据避免数据传输过传输过程中程中产产生的大量通生的大量通讯讯开开销销。MapReduceMapReduce模型模型简单简单，且，且现实现实中很多

6、中很多问题问题都都可用可用MapReduceMapReduce模型来表示。因此模型来表示。因此该该模型公开后，立模型公开后，立刻受到极大的关注，并在生物信息学、文本挖掘等刻受到极大的关注，并在生物信息学、文本挖掘等领领域得到广泛的域得到广泛的应应用。用。大数据处理的基本流程大数据处理的基本流程 1)1)数据抽取与集成数据抽取与集成 2)2)数据分析数据分析 面临着一些新的挑战：数据量大并不一定意味面临着一些新的挑战：数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多着数据价值的增加，相反这往往意味着数据噪音的增多;大数据时代的算法需要进行调整，准确率不再是大数据应大数据时代的

7、算法需要进行调整，准确率不再是大数据应用的最主要指标用的最主要指标;数据结果好坏的衡量。数据结果好坏的衡量。3 3）数据解释）数据解释(可视化技术可视化技术)三、天体光谱大数据分析与挖掘 我国已建造一台大天区面积多目标光纤光谱望远镜我国已建造一台大天区面积多目标光纤光谱望远镜（LAMOSTLAMOST），是国家重大科学工程项目，也是世界上光谱），是国家重大科学工程项目，也是世界上光谱获取率最高的望远镜。预计获取率最高的望远镜。预计LAMOSTLAMOST所观测到的光谱数据容所观测到的光谱数据容量将有可能达到量将有可能达到4TB4TB；巡天所覆盖的波段为；巡天所覆盖的波段为37003700埃至埃

8、至90009000埃，即其观测属性可达数千维，是典型的高维数据；数据类埃，即其观测属性可达数千维，是典型的高维数据；数据类型：图像和型：图像和FITSFITS文件等。文件等。科学目标科学目标:“星系红移巡天星系红移巡天”、“恒星和银河系的恒星和银河系的结构结构 特征特征”和和“多波段认证多波段认证”。天体光谱大数据分析处理主要内容天体光谱大数据分析处理主要内容:预处理预处理(去噪、去噪、归一化等归一化等)、分类与识别分类与识别、测量（红移等参数）测量（红移等参数）等。等。一条SEYFERT 2 光谱数据图(红移为0)天体光天体光谱谱是天体是天体电电磁磁辐辐射按照波射按照波长长的有序排列，的有序

9、排列，蕴蕴含着天体的重要物含着天体的重要物理信息，例如：天体的化学成份、天体的表面温度、直径、理信息，例如：天体的化学成份、天体的表面温度、直径、质质量、光度量、光度以及天体的以及天体的视视向运向运动动和自和自转转。天文学家和天体物理学家通天文学家和天体物理学家通过过分析天体光分析天体光谱谱的信息，不的信息，不仅仅可以研究宇宙中物可以研究宇宙中物质质的分布特征，的分布特征，还还可以研究天体的形可以研究天体的形成和随成和随时间时间的演化等重大科学的演化等重大科学问题问题。由于天文界对宇宙的认识还比较有限，由于天文界对宇宙的认识还比较有限，LAMOSTLAMOST巡巡天计划的一个重要任务是要发现一

10、些新的、特殊类型天计划的一个重要任务是要发现一些新的、特殊类型的天体，因此，如何利用数据挖掘技术从海量天体光的天体，因此，如何利用数据挖掘技术从海量天体光谱数据中发现未知的、特殊的天体及天体规律是数据谱数据中发现未知的、特殊的天体及天体规律是数据挖掘值得研究和探索的新应用领域。挖掘值得研究和探索的新应用领域。面向特定任务的数据挖掘是当前数据挖掘面向特定任务的数据挖掘是当前数据挖掘领域发展的趋势之一。以领域发展的趋势之一。以LAMOSTLAMOST项目为背景，对天体项目为背景，对天体光谱数据挖掘技术进行了研究，其研究成果不仅具有光谱数据挖掘技术进行了研究，其研究成果不仅具有重要的理论价值，而且可

11、直接应用到重要的理论价值，而且可直接应用到LAMOSTLAMOST中，为国中，为国家重大科学工程提供技术支撑。家重大科学工程提供技术支撑。近年来主持承担的部分课题1 1 海量高维天体光谱数据挖掘及其并行化研究（海量高维天体光谱数据挖掘及其并行化研究（6127226361272263），国家自），国家自然科学基金，然科学基金，2013.1-2016.12,2013.1-2016.12,（在研）（在研）2 2 面向面向LAMOST LAMOST 天文光谱特征线的数据挖掘方法研究（天文光谱特征线的数据挖掘方法研究（6107314561073145），），国家自然科学基金，国家自然科学基金，2011.

12、1-2013.12,2011.1-2013.12,（在研）（在研）3 3 面向天文光谱的数据挖掘算法性能分析与并行化研究面向天文光谱的数据挖掘算法性能分析与并行化研究（6111112031761111120317），国家自然科学基金委国际合作与交流项目，），国家自然科学基金委国际合作与交流项目，2011.6-2011.12,2011.6-2011.12,（结题）（结题）4 4 基于加权和约束概念格的数据挖掘方法与天体光谱数据挖掘技术基于加权和约束概念格的数据挖掘方法与天体光谱数据挖掘技术（6077301460773014），国家自然科学基金，），国家自然科学基金，2008.1-2010.12,

13、2008.1-2010.12,（结题）（结题）5 5 基于数据网格的分布式数据挖掘方法研究（基于数据网格的分布式数据挖掘方法研究（6091112047860911120478），国家），国家自然科学基金委国际合作与交流项目，自然科学基金委国际合作与交流项目，2009.9-2010.3,2009.9-2010.3,（结题）（结题）6 6 基于背景知识的数据挖掘方法及其在基于背景知识的数据挖掘方法及其在LAMOSTLAMOST中的应用（中的应用（6057307560573075），），国家自然科学基金，国家自然科学基金，2006.1-2008.12,2006.1-2008.12,（结题）（结题）7

14、 7 海量天体光谱数据挖掘算法研究与实现海量天体光谱数据挖掘算法研究与实现(2003AA133060)(2003AA133060)，国家，国家“863863”高技术计划子课题，高技术计划子课题，2003.8-2005.82003.8-2005.8（结题）（结题）主要成果之一：基于概念格的天体光谱离群数据挖掘系统 将概念格中每个概念节点内涵描述为天体光谱数据将概念格中每个概念节点内涵描述为天体光谱数据特征子空间，提出了一种天体光谱离群数据识别方法。特征子空间，提出了一种天体光谱离群数据识别方法。首先将概念节点的内涵缩减看作天体光谱特征子空间，首先将概念节点的内涵缩减看作天体光谱特征子空间，并依据

15、稀疏度系数阈值确定稀疏子空间；其次对于稀并依据稀疏度系数阈值确定稀疏子空间；其次对于稀疏子空间，依据稠密度系数判定祖先概念节点内涵是疏子空间，依据稠密度系数判定祖先概念节点内涵是否为稠密子空间，进而判断出概念节点外延中包含的否为稠密子空间，进而判断出概念节点外延中包含的数据对象是否为天体光谱离群数据；最后以离散化天数据对象是否为天体光谱离群数据；最后以离散化天体光谱数据作为形式背景，实验验证了利用该方法识体光谱数据作为形式背景，实验验证了利用该方法识别出的天体光谱离群数据是准确的、完备的和有效的。别出的天体光谱离群数据是准确的、完备的和有效的。典型论文1 Jifu Zhang,Sulan Zh

16、ang,Kai H.Chang,and Xiao Qin.An Outlier Mining 1 Jifu Zhang,Sulan Zhang,Kai H.Chang,and Xiao Qin.An Outlier Mining Algorithm Based on Constrained Concept Lattice,International Journal Algorithm Based on Constrained Concept Lattice,International Journal of Systems Scienceof Systems Science（acceptacce

17、pt）2 Sulan Zhang,Ping Guo,Jifu Zhang,Xinxin Wang,and Witold Pedrycz.A 2 Sulan Zhang,Ping Guo,Jifu Zhang,Xinxin Wang,and Witold Pedrycz.A Completeness Analysis of Frequent Weighted Concept Lattices and Their Completeness Analysis of Frequent Weighted Concept Lattices and Their Algebraic PropertiesAlg

18、ebraic Properties，Data&Knowledge EngineeringData&Knowledge Engineering，818182(2012)82(2012)：104104117 117 3 Jifu Zhang3 Jifu Zhang，Yiyong Jiang,Kai H.Chang et al.A Concept Lattice Based Yiyong Jiang,Kai H.Chang et al.A Concept Lattice Based Outlier Mining Method in Low Dimensional Subspaces.Pattern

19、Outlier Mining Method in Low Dimensional Subspaces.Pattern Recognition Letters,2009,30(15):1434-1439 Recognition Letters,2009,30(15):1434-1439 4 4 张继福；张素兰；蒋义勇张继福；张素兰；蒋义勇.基于约束概念格的天体光谱局部离群数据基于约束概念格的天体光谱局部离群数据挖掘系统，光谱学与光谱分析，挖掘系统，光谱学与光谱分析，20092009，2929（2 2）：）：551-555 551-555 5 5 张继福等张继福等.基于概念格的天体光谱离群数据识别

20、方法，自动化学报，基于概念格的天体光谱离群数据识别方法，自动化学报，20082008，3434（9 9）：）：1060-1066 1060-1066 6 Jianghui Cai6 Jianghui Cai；Jifu ZhangJifu Zhang；Zhao Xujun.A Star Spectrum Outlier Mining Zhao Xujun.A Star Spectrum Outlier Mining System Based on Simulated Annealing,International Journal of System Based on Simulated Anne

21、aling,International Journal of Innovative Computing,Information and ControlInnovative Computing,Information and Control，20082008，4 4（9 9）：）：2263-2271 2263-2271 主要成果之二：天体光谱数据相关性分析系统 以国家重大科学工程以国家重大科学工程LAMOSTLAMOST项目为背景，项目为背景，利用一阶谓词逻辑作为天体光谱知识表示技术，利用一阶谓词逻辑作为天体光谱知识表示技术，提出了一种约束提出了一种约束FPFP树及其构造算法，从而有效树及其构造

22、算法，从而有效地提高了天体光谱数据相关性分析的针对性和地提高了天体光谱数据相关性分析的针对性和效率，并在此基础上，提出了一种基于约束效率，并在此基础上，提出了一种基于约束FPFP树的天体光谱数据相关性分析方法。实验结果树的天体光谱数据相关性分析方法。实验结果分析表明，利用该相关性分析方法挖掘天体光分析表明，利用该相关性分析方法挖掘天体光谱数据特征和物理化学性质之间存在的相关性，谱数据特征和物理化学性质之间存在的相关性，是可行的和有价值的。是可行的和有价值的。典型论文1 Jifu Zhang,Xujun Zhao,Sulan Zhang,Shu Yin,and Xiao Qin.1 Jifu Z

23、hang,Xujun Zhao,Sulan Zhang,Shu Yin,and Xiao Qin.Interrelation Analysis of Celestial Spectra Data using Constrained Interrelation Analysis of Celestial Spectra Data using Constrained Frequent Pattern TreesFrequent Pattern Trees，Knowledge-Based Systems 41(2013):77-Knowledge-Based Systems 41(2013):77-

24、88.88.2 Jianghui Cai,Xujun Zhao,Shiwei Sun,Jifu Zhang,Haifeng 2 Jianghui Cai,Xujun Zhao,Shiwei Sun,Jifu Zhang,Haifeng Yang.Stellar spectra association rule mining method based on Yang.Stellar spectra association rule mining method based on weighted frequent pattern tree.Research in Astronomy and wei

25、ghted frequent pattern tree.Research in Astronomy and AstrophysicsAstrophysics，20132013，1313（3 3）：）：334-342 334-342 3 3 张继福；赵旭俊张继福；赵旭俊.一种基于约束一种基于约束FPFP树的天体光谱数据相关性分析树的天体光谱数据相关性分析方法，模式识别与人工智能，方法，模式识别与人工智能，20092009，22(4)22(4)：639-646639-6464 4 赵旭俊；张继福赵旭俊；张继福.基于约束基于约束FPFP树的天体光谱数据相关性分析系统研树的天体光谱数据相关性分析系统研

26、究，光谱学与光谱分析，究，光谱学与光谱分析，20082008，2828（1212）：）：2996-2999 2996-2999 5 5 张继福；赵旭俊张继福；赵旭俊.基于关联规则的恒星光谱数据相关性分析，高基于关联规则的恒星光谱数据相关性分析，高技术通讯，技术通讯，20062006，16(6)16(6)：575-579575-579其他成果：天体光谱数据模糊聚类及其并行化系统天体光谱数据模糊聚类及其并行化系统基于智能计算、剪枝技术和属性相关性的离群数据挖掘及其并行化方法基于智能计算、剪枝技术和属性相关性的离群数据挖掘及其并行化方法天体光谱数据分类与识别系统天体光谱数据分类与识别系统 四、正在开展的主要研究工作基于基于MapReduceMapReduce模型的天体光谱大数据并行挖模型的天体光谱大数据并行挖掘技术（聚类、离群、关联等）掘技术（聚类、离群、关联等）集群环境下的数据密集型计算关键技术（数据集群环境下的数据密集型计算关键技术（数据放置策略、放置策略、I/OI/O性能分析、负载均衡调度策略、性能分析、负载均衡调度策略、磁盘节能等）磁盘节能等）海量高维数据挖掘算法与天体光谱数据挖掘技海量高维数据挖掘算法与天体光谱数据挖掘技术术