1-2大数据技术及未来教学课件PPT.pptx

《1-2大数据技术及未来教学课件PPT.pptx》由会员分享，可在线阅读，更多相关《1-2大数据技术及未来教学课件PPT.pptx（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1-2大数据技术及未来弘 德 明 志 博 学 笃 行大数据技术主讲人：马学强弘 德 明 志 博 学 笃 行Contents目录01什么是大数据？什么是大数据？具有4V或5V特征02大数据时代大数据时代ITDT，数据作为战略性资源03大数据处理的基本流程大数据处理的基本流程数据抽取和集成、分析、解释04大数据的关键技术大数据的关键技术从数据采集到数据的完美呈现、应用弘 德 明 志 博 学 笃 行01什么是大数据？运营数据库数据运营数据库数据（银行交易、超市销售）互联网数据互联网数据（社交媒体）物联网数据物联网数据（各类传感器）-人类社会数据产生方式的巨大变化弘 德 明 志 博 学 笃 行大数据（

2、Big Data）本身是一个抽象的概念。目前还没有统一的定义。一般来说，大数据是指无法在有限时间内使用常规软件工具对其进行获取、存储、管理和处理的数据集合。这样的海量数据，需要一种新的处理模式才能具有更强的决策力、洞察力和流程优化能力，使之成为一种高增长率、多样化的信息资产。大数据的定义大数据的定义弘 德 明 志 博 学 笃 行商业价值高数据价值密度低时效性要求高，流处理模式数据输入/输出速度快数据速度快文本|图像|音频|视频结构化、半结构化、非结构化数据类型、来源繁多由GB级、TB级PB级、EB级、ZB级，如视频监控(TB)、导航(PB)数据体量巨大大大数据的特征：达成的共识数据的特征：达成

3、的共识VolumeVolumeValueValueVarietyVarietyVelocityVelocityBigData2013年，IBM白皮书分析：大数据在现实世界中的应用中，重新定义和完善大数据“4V”理论，并结合众多行业实践，提出大数据的“5V”理论，即增加Veracity（真实性）特征，强调数据的准确性和可信赖度，即数据的质量。弘 德 明 志 博 学 笃 行02大数据时代数据的爆炸性增长态势、数据构成的特点使得人类社会进入了“大数据”时代。弘 德 明 志 博 学 笃 行18ZB18ZB451.9亿美元2016201726ZB26ZB534.7亿美元201833ZB33ZB626亿美

4、元201941ZB41ZB728亿美元202050.5ZB50.5ZB突破千亿美元2025175ZB175ZB数字转型，将达1930亿美元IDCIDC：数字化世界数字化世界- -从边缘到核心从边缘到核心20182018年全球新产生数据总量统计与预测年全球新产生数据总量统计与预测全球全球IDCIDC行业市场规模行业市场规模中国数据增长迅速，平均每年的增长速度比全球快中国数据增长迅速，平均每年的增长速度比全球快3%3%。20182018年，中国数据占全球数据的年，中国数据占全球数据的23.4%23.4%，为为7.6ZB7.6ZB。预计到。预计到20252025年将增至年将增至48.6ZB48.6Z

5、B，占全球数据的，占全球数据的27.8%27.8%，将成为全球最大的数据圈。，将成为全球最大的数据圈。弘 德 明 志 博 学 笃 行数据已经成为一种战略性资源，在国家治理、国家安全、全球经济增长等各方面处于核心地位，国家竞争的焦点将从资本、土地、人口、资源转向数据空间，数据将被赋予更多的战略含义。大数据对社会、经济、生活产生的影响绝不仅限于技术层面。更多地，大数据为我们洞察世界提供了一种全新的方法，即数据将更多地驱动管理和决策行为，凭借经验和直觉的判断分析、趋势预测将慢慢成为历史。大数据时代的主要特征大数据时代的主要特征弘 德 明 志 博 学 笃 行大数据是信息产业持续高速增长的新引擎在硬件与

6、集成设备领域：大数据将对芯片、存储产业产生重要影响，并催生出一体化数据存储处理服务器、内存计算等市场；在软件与服务领域，大数据将引发数据快速处理分析技术、数据挖掘技术和软件产品的发展。大数据时代，科学研究的方法手段将发生重大改变科学研究的方法已不再仅是抽样调查、统计分析，将向数据密集型的第四范式转化，研究人员可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出本质的、潜在的模式和规律，提出研究结论和对策。对大数据的处理分析正成为新一代信息技术融合应用的结点新一代信息技术应用形态：移动互联网、物联网、社交网络、数字家庭、电子商务、在线教学和广告等，大数据产生；大数据方法

7、和技术：云计算、人工智能等提供大数据存储、计算和自动化的方案；对数据的处理、分析和优化，将赋能应用，创造出巨大的经济和社会价值，催生社会变革和进步。数据利用将成为提高核心竞争力的关键因素从国家战略到各行各业，管理和决策的模式正在从“业务驱动”向“数据驱动”转变。国家大数据战略：数字中国、数字经济，提升国家治理现代化水平、保障和改善民生，保证整个国家的数据安全；商业领域：线上、线下模式，商家掌握市场动态、精准营销，为消费者提供更加智能化、个性化的服务；医疗领域：辅助医生提高诊断的准确性和药物的有效性；公共事业领域：促进经济发展、维护社会稳定等。大数据时代的主要特征大数据时代的主要特征弘 德 明

8、志 博 学 笃 行03大数据处理的基本流程一般来说，大数据的处理流程是指在合适工具的辅助下，对分布、异构的数据源进行抽取和集成，将结果按照一定的标准进行统一存储，然后利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识，并利用恰当的方式将结果展现给终端用户。大数据处理的基本流程与数据科学的一般过程类似，总体上可以分为数据抽取与集成、数据分析和数据解释等步骤。弘 德 明 志 博 学 笃 行1.1.数据抽取和集成数据抽取和集成数据异构、分布、自治、海量用户对结果的关注和理解3.3.数据解释数据解释核心流程，发现模式和价值2.2.数据分析数据分析大数据处理流程大数据处理流程弘 德 明 志

9、博 学 笃 行目的：提取数据中的实体和关系，然后经过关联和聚合并采用统一定义的结构来存储这些数据。数据集成模型：传统：ETL（Extract/Transform/Load）方法；大数据：基于数据流、搜索引擎、爬虫技术等提取和集成数据，以适应实时性、虚拟化、云架构、数据迁移的需求。大数据处理流程大数据处理流程-数据抽取和集成数据抽取和集成结果请求数据源数据源1数据源数据源2 2数据源数据源n n数据集成系统数据集成系统用户用户挑战： 来源与类型不同，采用不同的数据模型； 数据网络传输对性能和安全性的要求； 能否适应对数据外部环境的变化。弘 德 明 志 博 学 笃 行联邦数据库模式：各数据库部分共

10、享、数据视图全局透明；分为紧密耦合、松散耦合两种形式。大数据常用的集成方法大数据常用的集成方法数据库数据库数据库数据库数据库数据库数据库数据库数据库数据库结果请求数据源数据源1数据源数据源n n封装器封装器Wrapper用户用户封装器封装器WrapperWrapper中间件中间件MediatorMediator全局全局数据模式数据模式数据源数据源1数据源数据源n n封装器封装器Wrapper封装器封装器WrapperWrapper集成系统集成系统元数据管理元数据管理数据仓库数据仓库中间件模式：在数据层和应用层之间，使用全局数据模型，访问异构数据库、遗留系统、Web资源等；查询（全局）性能好，自

11、治性强。数据仓库：集成大量操作型数据（已存在的数据库），提供决策型数据访问的各种技术和模块。为用户更快、更方便地查询所需要的信息，提供决策支持。弘 德 明 志 博 学 笃 行新数据、新公司、新技术不断出现，不增加新风险、新问题，找到最适合的技术。数据管理环境存在很大的不确定性大数据特点，使得设计衡量分析结果的方法和指标时存在困难。数据结果的衡量标准存在困难数据量与数据价值不一定是同步的，往往伴随着数据噪声的增多通过预处理，降低计算资源、处理算法的风险。实时性、准确率之间的平衡；分布式并发计算；海量数据，小数据成长为大数据。大数据时代的算法需要进行调整大数据处理流程大数据处理流程-数据分析数据分

12、析核心和关键流程，其目标是从数据中获得可操作的洞察力。大数据分析技术面临的主要挑战如下：弘 德 明 志 博 学 笃 行大数据分析结果之间的关联关系将更加复杂，传统的静态文本呈现方式对大数据的解释几乎是不可行的。考虑从以下两个方面提升数据解释能力：(a) 引入可视化技术以图形的方式展示分析结果，使用户更易理解和接受。如标签云、历史流、空间信息流等。(b) 让用户能够在一定程度上了解和参与具体的分析过程人机交互技术：利用交互式的数据分析过程来引导用户逐步地进行分析，用户在得到结果的同时更好地理解分析结果的过程；数据溯源技术：追溯整个数据分析的过程，帮助用户理解结果。大数据处理流程大数据处理流程-数

13、据数据解释解释弘 德 明 志 博 学 笃 行04大数据的关键技术技术不是科学的副产品。-技术的本质，布莱恩.阿瑟技术的自我革新、技术体系的有机构成，是实现人类目标、关乎人类福祉的重要组成部分。弘 德 明 志 博 学 笃 行大数据的分布性、异构性、实时性等特点，使得大数据技术生态相对独立而彼此协同。大数据技术包括：采集、预处理、存储与管理、分析与挖掘、展现与应用。目前，各技术平台和工具呈现多功能、彼此交叉的特点。大数据关键技术大数据关键技术弘 德 明 志 博 学 笃 行数据源数据源系统日志、互联网、运营数据库、智能感知设备1系统日志数据采集支持在线或离线方式，如：Cloudera公司基于数据流模

14、式的Flume系统、Facebook公司基于分布式共享队列的Scribe系统、Hadoop框架下的大型分布式系统日志数据收集系统Chukwa系统等。3数据库数据采集关系数据库，如MySql、Oracle等，支持标准的SQL操作；NoSQL数据库，如Redis、MongoDB等；Hadoop支持的开源数据仓库解决方案，如Hive，通过类似SQL的声明性语言HiveQL操作数据；Sqoop将关系数据库数据导入到HDFS。 海量数据海量数据 结构化、半结构化、非结构化2互联网数据采集网络爬虫或公共API接口，如：Apache Nutch用于分布式多任务数据爬取，Crwaler4j、Scrapy作为一

15、个爬虫框架，提供便利的API接口，开发爬虫系统的效率高。1. 1. 大数据采集技术大数据采集技术ETL操作一类特殊的数据采集系统，用于分布式消息处理，满足大数据实时性的要求。Kafka使用流处理模式，适合于大型公司互联网服务的日志采集；RocketMQ满足高可靠性要求，适合于互联网金融，如电商业务高峰期的订单扣款处理；RabbitMQ功能较完备，具有高并发性，但吞吐量相对较小，适合于数据量较小的场景。4智能感知设备数据采集通过RFID装置、各类传感器、摄像头和其他智能终端自动采集文本、图像、音视频等数据。弘 德 明 志 博 学 笃 行保持数据完整性，缩小数据规模，使得规约后的分析结果与原数据分

16、析结果一致。可以降维、数据压缩、数值规约和概念分层等方法。数据规约通过数据映射、离散化、哑变量变换等方法，将数据整合并存储到一个一致的数据集中。数据匹配：等价实体的名称、数据类型要一致；数据冗余：采用相似度或相关性计算检测和消除数值型冗余数据、离散数据则采用等宽、等频或聚类方法，计算特征关联度；数据值冲突：泛化、规范化、属性构造数据集成和变换缺失值：滤除或填充（值替换或插值）；重复值：记录重复/特征重复，可设置保留重复值的方式；异常值：简单统计、3原则分析、箱型图分析；噪声：数据分组之后平滑处理或采用聚类、回归方法；手工处理不一致数据。数据清理对收集到的不一致、不完整、含噪声、高维度的数据进行

17、辨析、清洗、集成、变换和规约的过程。无专门的技术工具，可以使用传统ETL工具，如：DataWrangler、InfoSphere QualityStage；或编程实现。2. 2. 大数据预处理技术大数据预处理技术弘 德 明 志 博 学 笃 行数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，基于联机分析处理（OLAP）模式存储和管理数据，用于支持管理决策。如：Hadoop Hive作为一个数据仓库基础工具，用来处理结构化数据。数据仓库系统指非关系型数据库，适用于不需要固定模式、半结构化的超大规模数据的存储和管理，以Google公司的分布式数据库BigTable和Hadoop

18、 Hbase、MongoDB为代表。NoSQL数据库系统Google体系的分布式文件系统GFS和Hadoop体系的HDFS为代表，适用于非结构化大数据的存储和管理。分布式文件系统核心问题：解决大数据的可存储、可表示、可处理、可靠性及有效传输。具体包括：海量文件的存储与管理，海量小文件的存储、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性等问题。在关系数据库基础上，从功能划分，主要有以下三种类型：3 3. . 大数据存储和管理技术大数据存储和管理技术弘 德 明 志 博 学 笃 行除流处理、批处理模式外，也提供图计算和查询分析等功能。Spark是通用内存并行计算框架，适合于数据量不是特别

19、大、但要求实时统计分析的场景；Apache Flink主要是流数据处理，有限静态数据的批处理为其特殊形式。混合处理模式适用于连续的、无边界的、实时的、随时间动态变化的流式数据，如网络流量监控、传感器数据、电子商务中的高频交易等。Apache Storm分布式实时大数据处理系统，无状态，通过ZooKeeper管理分布式环境和集群状态；Apache Pig是一个支持并行计算的高级数据流语言和执行框架。是MapReduce编程的复杂性抽象。流处理模式适用于预先存储的大容量静态数据集，返回整体计算后的结果。如：Google公司在2004年提出的MapReduce模型，也适用于Hadoop体系的批处理模

20、式。批处理模式分布式、并行计算，以提升服务器整体计算能力为目标。主要有流处理模式和批处理模式两种，其中批处理是先存储后处理，而流处理则是直接处理。4. 4. 大数据处理技术大数据处理技术弘 德 明 志 博 学 笃 行用来揭示数据之间潜在的相互关系的过程，不代表因果关系，如啤酒和尿布的故事。关联规则聚类是把数据按照相似性和差异性划分或分割成相交或不相交群组的过程。如对目标客户进行群体分类，预测客户购买趋势；对企业不同产品进行价值组合，分析产品的畅销度和利率等。聚类使用一些已知函数拟合目标数据，并根据某种误差分析选择一个拟合度最好的函数，从而发现变量或属性间的依赖关系，主要用来研究数据序列的趋势、

21、数据间的相关关系，对数据序列进行预测等。回归分析将数据集中具有共同属性的数据对象按照分类模式划分为不同的类别。适用于客户特征和行为分析、客户满意度分析、购买趋势预测等分类5 5. . 大数据分析和挖掘技术大数据分析和挖掘技术大数据分析是大数据处理的核心，是对数据内在的规律和模式进行探索，从而获取很多智能的、深入的、有价值的信息的过程。数据挖掘是利用各种分析工具和算法在海量数据中发现可以用来预测的模型和数据间关系的过程，是一种深层次的数据分析方法。弘 德 明 志 博 学 笃 行目前，用于大数据分析和挖掘技术平台主要以TensorFlow、Drill、Impala、Mahout为代表。Tensor

22、Flow 是一个开源的、基于 Python 的机器学习框架，它由 Google 开发，并在图形分类、音频处理、推荐系统和自然语言处理等场景下有着丰富的应用，是目前最热门的机器学习框架。Apache Drill 是一个低延迟的大型数据集的分布式查询引擎，其核心服务是 Drillbit，运行于Hadoop集群环境下，并使用 ZooKeeper 来维护集群的健康状态，能够为上千台节点最大化交互查询，且不需要网络或节点之间迁移数据。Impala由Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询和分析功能。Mahout是一个分布式机器学习的算法库，继承了很多机器

23、学习领域经典算法的实现，如分类、聚类、推荐/协同过滤等，并可以有效地扩展到Hadoop集群，以帮助开发人员更加方便快捷地构建智能应用程序。大数据分析和挖掘的主要平台和工具大数据分析和挖掘的主要平台和工具弘 德 明 志 博 学 笃 行内容：内容：将数据中相应的信息，如数据的属性、数据的演化、数据间的关联等，以二维或三维、静态或动态的视觉表现形式在不同的系统中展现。目的：目的：为更好地理解和分析数据，发现数据潜在的价值和模式，将数据以更直观、甚至动态的图形方式呈现给用户，提高用户阅读和思考的效率，以便于更好决策。6 6. . 大数据大数据可视化可视化技术技术可视化结果实时更新实时性碎片化数据转换为

24、有结构的知识，易操作易懂性超出直接阅读和操作的能力，对可视化数据要归纳总结，转换其结构和形式必然性支持多数据源、多种工作模式，多维度展现多样性技术特性弘 德 明 志 博 学 笃 行大数据可视化平台与工具大数据可视化平台与工具可编程可视化 Processing：支持多种Java语言架构，语法简单，是从艺术创作角度提供的数据可视化编程方式； Python或R语言从统计和数据处理的角度，提供了如Matplotlib外部库，支持数据可视化编程处理； D3.js兼顾数据处理和数据展现效果，基于JavaScript编程实现，更适合在互联网上的互动式数据展现。非编程可视化 Tableau：用于数据可视化分析

25、的商业智能工具。用户可以创建和分发交互式和可共享的仪表板，以图形和图表的形式描绘数据的趋势，变化和密度。 NodeXL：微软研究院开发的一个Excel外接件，是一个功能强大且易于使用的交互式网络可视化和分析工具。弘 德 明 志 博 学 笃 行是一个开源的Hadoop UI系统，基于Python Web框架Django实现，可以在浏览器的Web控制台上与Hadoop集群进行交互，如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等。Hue最初由Facebook开发，主要用于各个服务之间的RPC（Remote Procedure Call）通信。

26、具有典型的C/S结构，客户端和服务端可以使用不同的语言开发，并通过IDL（Interface Description Language）来关联两者之间的通信。Thrift是一个分布式的、开源的应用程序协调服务，是Hadoop、Hbase等的重要组件，用于管理大型主机。它通过简单的架构和API接口（Java、C）为分布式应用提供一致性服务，如：配置维护、域名服务、分布式同步、组服务等功能。ZooKeeper另一种资源协调者，是一个通用的资源管理系统，其基本思想是将资源管理和作业调度、监控分离，为上层应用提供统一的资源管理和调度。YARN的引入为集群再利用率、资源统一管理和数据共享方面带来了巨大的

27、好处。Hadoop YARN（Yet another resource negotiator）7 7. . 大数据应用技术大数据应用技术大数据分布、类型多样等的特点，决定了在应用大数据时也会涉及资源管理和调度、应用服务协调、服务之间的通信、图形用户界面等一系列技术问题。弘 德 明 志 博 学 笃 行数据未来中国计算机学会（CCF，China Computer Federation）大数据专委会十大发展趋势预测：【1】周涛,潘柱廷,程学旗. CCF大专委2019年大数据发展趋势预测. 大数据J, 2019, 5(1): 109-115【2】周涛,程学旗,陈宝权. CCF大专委2020年大数据发展

28、趋势预测. 大数据J, 2020, 6(1): 119-123【3】马朝辉,聂瑞华,谭昊翔,等. 大数据治理的数据模式与安全J.大数据, 2016, 2(3): 83-95.弘 德 明 志 博 学 笃 行 数据科学与人工智能的结合越来越紧密 数据科学带动多学科融合，基础理论研究的重要性受到重视，但理论突破进展缓慢 大数据的安全和隐私保护成为研究和应用热点 机器学习继续成为大数据智能分析的核心技术 基于知识图谱的大数据应用成为热门应用场景 数据融合治理和数据质量管理工具成为应用瓶颈 基于区块链技术的大数据应用场景渐渐丰富 对基于大数据进行因果分析的研究得到越来越多的重视 数据的语义化和知识化是数据价值的基础问题 边缘计算和云计算将在大数据处理中成为互补模型大数据十大未来发展趋势弘 德 明 志 博 学 笃 行谢谢大家大数据技术您了解了吗？