第1章 大数据可视化概述.pptx

《第1章 大数据可视化概述.pptx》由会员分享，可在线阅读，更多相关《第1章 大数据可视化概述.pptx（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课程主讲人：第1章 大数据可视化概述2大数据可视化目录CONTENTS大数据可视化的概念大数据可视化的作用与意义123大数据可视化的发展史大数据可视化的应用领域4大数据可视化面临的挑战5大数据可视化技术的发展方向61. 大数据可视化的概念数据大数据大数据可视化1. 大数据可视化的概念1.1 数据 数据数据 数据是一种未经加工的原始资料，是客观对象的表示。 借助数据来表示一定的含义，传递一定的信息。因此，信息则是数据内涵的意义，是数据的内容和解释。 信息与数据是不可分离的，数据是信息的表达，信息是数据的内涵。数据本身并没有意义，数据只有对实体行为产生影响时才成为信息。 90就是一个数据，可以表示

2、小明这次语文考试得了90分，也可表示今天小王充了90元话费。1. 大数据可视化的概念1.1 数据 数据的分类数据的分类 （1 1）结构化数据）结构化数据 （2 2）非结构化数据）非结构化数据 （3 3）半结构化数据）半结构化数据 结构化数据：结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据非结构化数据：包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。半结构化数据：是介于完全结构化数据和完全无结构的数据之间的数据，它一般是自描述的，数据的结构和内容混在一起。1. 大数据可视化的概念1.1 数据 表示数据的存储单位表示数据的存储单

3、位 计算机中的数据存储在存储器中，存储器存储数据的最小基本计算机中的数据存储在存储器中，存储器存储数据的最小基本单位是单位是bitbit，按照从小到的顺序表示数据的大小单位有，按照从小到的顺序表示数据的大小单位有bitbit、ByteByte、KBKB、MBMB、GBGB、TBTB、PBPB、EBEB、ZBZB、YBYB、BBBB、NBNB、DBDB。 红楼梦是中国古典四大名著之一，该书含标点共有87万字（不含标点约85万字），计算机存储每个汉字需要占两个字节，则有1汉字=2byte等式成立。根据以上单位之间的换算关系得到1GB 约等于671部红楼梦，1TB 约等于631,903 部，以此类推

4、，1PB 约等于647,068,911部。从这个描述过程中，可以感受到这些单位的大小程度。1. 大数据可视化的概念1.2 大数据 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、（传感器，智慧地球）、车联网、G

5、PSGPS、医学影像、安全监控、金融（银行、股、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。市、保险）、电信（通话、短信）都在疯狂产生着数据。 大数据的起源全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据

6、高达1.3EBGoogle 上每天需要处理24PB 的数据1. 大数据可视化的概念1.2 大数据 大数据的起源 以下十个事实会让你相信，每个人都必须注意大数据:1. 全球数据的90%产生于过去2年内。2. 以今天的数据生产速度，我们可以在2天内生产出2003年以前的所有数据。3. 行业内获取并且存储的数据量每1.2年就会翻一番。4. 到2020年，全球数据量将由现在的3.2 ZBytes变为40 ZBytes 5. 仅Google一家搜索引擎，每秒就处理4万次搜索查询，一天之内更是超过35亿次。1.1. 大数据可视化的概念大数据可视化的概念1.2 大数据 大数据的起源6. 我们每分钟在Face

7、book上贡献180万次赞，上传20万张照片，我们每分钟还发送2.04亿封邮件。7. 每分钟大约有100小时的视频被传上视频网站。要花费15年才能看完一天之内被传到YouTube上的全部视频。8. AT&T被认为是能够用单一数据库存储最多数据量的数据中心。9. 在美国，这将会带来总计600万个新增工作岗位。10. 全球每分钟会新增570个网站。 1.1. 大数据可视化的概念大数据可视化的概念1.2 大数据 大数据的起源1. 大数据可视化的概念1.2 大数据数据量增加TBPBZBEB根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。这

8、意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。数据结构日趋复杂大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临 大数据的起源1. 大数据可视化的概念1.2 大数据20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data。2011年5月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。 大数据的起源1. 大数据可视化的概念1.2 大数据定义一：大数据指的是那些大小超过标准数据库工具软件能够收集、存储、

9、管理和分析的数据集。 摘自麦肯锡 定义二：在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。 摘自WIKI定义三： 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 摘自Gartner定义四：大数据本质上是数据交叉、方法交叉、知识交叉、领域交叉、学科交叉，从而产生新的科学研究方法、新的管理决

10、策方法、新的经济增长方式、新的社会发展方式等等。 摘自复旦大学朱扬勇教授 大数据的定义1. 大数据可视化的概念1.2 大数据（1）按照数据分析的实时性，分为实时数据分析和离线数据按照数据分析的实时性，分为实时数据分析和离线数据分析两种。分析两种。 实时数据分析实时数据分析 离线数据分析离线数据分析 大数据的分类1. 大数据可视化的概念1.2 大数据 大数据的分类（2）按照大数据的数据量，分为内存级别、海量级别三种、商业智能（BI）级别。 内存级别 内存级别指的是数据量不超过集群的内存最大值。Facebook缓存在内存的中的数据高达320TB，而目前的PC服务器，内存也可以超过百GB。 海量级别

11、 海量级别指的是对于数据库和商业智能产品已经完全失效或者成本过高的数据量。 商业智能（BI）级别 BI级别指的是那些对于内存来说太大的数据量，但一般可以将其放入传统的BI产品和专门设计的BI数据库之中进行分析。目前主流的BI产品都有支持TB级以上的数据分析方案。1. 大数据可视化的概念1.2 大数据 大数据的特征最初的4V特征，到5V，直到现在的6V特征。4V特征是指大体量(Volume)、多样性(Variety)、快速化(Velocity)、价值密度低（Value）。5V特征在4V特征基础上增加了真实性（Veracity），5V特征是IBM提出来的。6V特征在5V特征基础上增加了连接性（Va

12、lence）。大体量（大体量（Volume)Volume) 在2006 年，个人用户才刚刚迈进TB 时代，全球一共新产生了约180EB 的数据；在2011 年，这个数字达到了1.8ZB 。而根据知名市场研究机构IDC 的预测，到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB(1ZB=10 亿TB)。 一般情况下，大数据是以P8 EB ZB为单位进行计量的 1PB相当于50%的全美学术研究图书馆藏书的信息内容 5EB相当于至今全世界人类所讲过的话语 1ZB如同全世界海滩沙子数量总和 1YB相当于7000位人类体内的微细胞总和多样性（Variety) 互联网、移动互联网、物联网

13、、车联网等等各种数据来源大数据的数据结构更加多样化： 图像、视频、微博 评价、邮件 PDF、office文档（word, excel, ppt） 手机呼叫、短信 网页点击 搜索（html,搜索行为） 地图gps非结构化数据增长率就达80%，而传统的数据样式：多半是数据库表和xml。快速化(Velocity) 每秒钟，人们发送290封电子邮件； 每分钟人们在youtube上传20小时的视频； 人们每月在总共在facebook上浏览7000亿分钟； 移动互联网网用户发送和上传的数据量达到1.3exabytes，相当于10的18次方； 每秒淘宝商城成交178笔订单 实时股票分析（过期无用） 实时路况

14、信息（过期无用） 数据的快速产生和实时响应是一大特征价值密度低（Value） 挖掘大数据的价值类似沙里淘金比如用户评价分析，几百万的评价记录，真正有借鉴意义的就几句比如视频监控，每天产生24小时的视频数据，真正有价值的就几秒钟。真实性（Veracity） 数据的准确性和可信赖度，即数据的质量。 大数据中的内容是与真实世界中的发生息息相关的，研究大数据就是从庞大的网络数据中提取出能够解释和预测现实事件的过程。Valence（连接）：数据的连接性。1. 大数据可视化的概念1.2 大数据 大数据的技术大数据处理流程大数据处理流程大数据技术与工具大数据技术与工具基础架构支持云计算平台、云存储、虚拟化技

15、术网络技术、资源监控技术数据采集数据总线、ETL工具数据存储分布式文件系统关系型数据库NoSQL技术关系型数据库与非关系型数据库融合内存数据库数据计算数据查询、统计与分析数据预测与挖掘图谱处理、BI商业智能展现与交互图形与报表、可视化工具、增强现实技术1. 大数据可视化的概念1.2 大数据 大数据的价值 大数据的价值体现在以下几个方面： （1）对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。 （2）做小而美模式的中小型企业可以利用大数据做服务转型。 （3）面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。 白云下面数据跑蓝蓝的天上白云飘如果数据是财富，那么大数据

16、就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！大数据的价值所在有人认为大数据是大麻烦，有人认为大数据是大挑战，有人认为大数据是大机遇。还有大知识、大科技、大利润、大发展麻烦 个人隐私，信息安全，各种各样的海量数据，从来不删除数据，对并发读取、写入的要求极高，每次可能访问上PB的数据，真麻烦！挑战 传统数据库、小型机、阵列不是为了大数据的业务需求设计的，非常吃力，成本高，根本无法支撑。是一个挑战！机遇 在大数据的时代，数据就是直接的财富、就是核心的竞争力，很多行业，都要相继跨入一个数据兴则企业兴、数据强则企业

17、强的竞争时代！大数据的价值所在大数据的价值所在2010年12月，总统行政办公室下属的科技技术顾问委员会，信息技术顾问委员会向奥巴马和国会提交了规划数据未来的专门报告，该报告把数据收集和使用的工作，提到了战略的高度。“如何收集、保存、维护、管理、分析、共享正在呈指数级增长的数据是我们必须面对的一个重要挑战。如何保证这些数据现在、将来的完整性和可用性，我们面临着很多的问题和挑战。如何使用这些数据，则是另外一个挑战。应对好这些挑战，将引导我们在科研、医疗、商业和国家安全方面开创新的成功。”2012年3月29日，奥巴马政府又进一步推进了其“大数据战略”。奥巴马的高级顾问、总统科学技术顾问委员会的主席霍

18、尔德伦代表国防部、能源部等6个联邦政府部门宣布，将投入2亿多美元立即启动“大数据发展研究计划”Big Data Research and Development Initiative，以推动大数据的提取、存储、分析、共享和可视化。美国政府推出了“大数据”战略，媲美与当年克林顿政府时代的信息高速公路计划。奥巴马希望借助大数据来将美国经济带出泥潭。从基础建设、到IT硬件、软件、网络，最后到数据。1.1. 大数据可视化的概念大数据可视化的概念1.3 大数据可视化狭义上的数据可视化指用统计图表方式呈现数据，用于传递信息。狭义上的数据可视化指用统计图表方式呈现数据，用于传递信息。广义上的数据可视化则是数

19、据可视化、信息可视化以及科学可视化等多个领广义上的数据可视化则是数据可视化、信息可视化以及科学可视化等多个领域的统称，涉及信息技术、自然科学、统计分析、图形学、交互、地理信息域的统称，涉及信息技术、自然科学、统计分析、图形学、交互、地理信息等多种学科。等多种学科。其中，其中，科学可视化（科学可视化（Scientific VisualizationScientific Visualization）、信息可视化（）、信息可视化（Information Information VisualizationVisualization）和可视分析学（）和可视分析学（Visual AnalyticsVisu

20、al Analytics）三个学科方向通常被看成可视三个学科方向通常被看成可视化的三个主要分支，整合在一起形成新学科化的三个主要分支，整合在一起形成新学科“数据可视化数据可视化”，这是可视化研，这是可视化研究领域的新起点。究领域的新起点。1.1. 大数据可视化的概念大数据可视化的概念1.3 大数据可视化大数据大数据可视化可视化地理信息地理信息信息技术信息技术自然科学自然科学统计分析统计分析交互交互数据管理数据管理和知识表和知识表达达感知与感知与认知科学认知科学图形学图形学表达与传表达与传播播 科学可视化科学可视化是数据可视化中的一个应用领域，主要关注空间数据与三维现象的可视化，包含气象学、生物

21、学、物理学、农学等，重点在于对客观事物的体、面及光源等的逼真渲染，科学可视化是计算机图形学的一个子集，是计算机科学的一个分支。1.1. 大数据可视化的概念大数据可视化的概念 信息可视化（信息可视化（Information visualization）是一个跨学科领域，旨在研究大规模非数值型信息资源的视觉呈现（如软件系统之中众多的文件或者一行行的程序代码）。1.1. 大数据可视化的概念大数据可视化的概念 可视化分析可视化分析是科学可视化与信息可视化领域发展的产物，侧重于借助交互式的用户界面而进行对数据的分析与推理。1.1. 大数据可视化的概念大数据可视化的概念目录CONTENTS大数据可视化的概

22、念大数据可视化的作用与意义123大数据可视化的发展史大数据可视化的应用领域4大数据可视化面临的挑战5大数据可视化技术的发展方向62. 大数据可视化的发展史1. 可视化思想的起源（可视化思想的起源（15世纪世纪17世纪）世纪）2. 数据可视化的孕育时期（数据可视化的孕育时期（18世纪）世纪） 3. 可视化的快速发展时期（可视化的快速发展时期（19世纪前半叶）4. 第一个黄金时期（第一个黄金时期（19世纪后半叶）5. 低潮期（低潮期（20世纪前期）6. 新的黄金时期（新的黄金时期（20世纪中后期至今）目录CONTENTS大数据可视化的概念大数据可视化的作用与意义123大数据可视化的发展史大数据可视

23、化的应用领域4大数据可视化面临的挑战5大数据可视化技术的发展方向63. 大数据可视化的作用与意义 （1）帮助人类更好地分析数据，帮助人类更好地分析数据，信息的质量很大程度上依赖于其表达方式，对数字罗列所组成的数据中所包含的意义进行分析，使分析结果可视化。 （2）数据可视化的本质就是视觉对话。数据可视化的本质就是视觉对话。数据可视化将技术与艺术完美结合，借助图形化的手段，清晰有效地传达与沟通信息。 （3）一方面，数据赋予可视化以价值一方面，数据赋予可视化以价值；另一方面，数据可视另一方面，数据可视化增加数据的灵性化增加数据的灵性，两者相辅相成，帮助企业从信息中提取知识、从知识中收获价值。3. 大

24、数据可视化的作用与意义 1. 传递速度快传递速度快 2. 数据显示的多维性数据显示的多维性 3. 更直观地展示信息更直观地展示信息 4. 大脑记忆能力的限制大脑记忆能力的限制 很多研究已经表明，在进行理解和学习任务的时候，图文混合能够帮助读者更好的了解所要学习的内容，图像更容易理解、更有趣，也更容易让人们记住。目录CONTENTS大数据可视化的概念大数据可视化的作用与意义123大数据可视化的发展史大数据可视化的应用领域4大数据可视化面临的挑战5大数据可视化技术的发展方向64. 大数据可视化的应用领域 大数据可视化似乎成了万灵药，从总统竞选到奥斯卡颁奖从总统竞选到奥斯卡颁奖、从从web安全到灾难

25、预测安全到灾难预测。当IT经理成功部署一套Hadoop系统后，任何事看上去都与大数据有关（事实也是如此）。类似的事情在云计算的普及中也出现过，一开始大家认为所有的IT都可以搬到云端，而现实是我们依然需要虚拟化技术和基础设施。 其实，综合来看，未来几年大数据在商业智能、土木工程和客户关在商业智能、土木工程和客户关系优化系优化三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。目录CONTENTS大数据可视化的概念大数据可视化的作用与意义123大数据可视化的发展史大数据可视化的应用领域4大数据可视化面临的挑战5大数据可视化技术的发展方向65. 大数据可视化面临的挑战1. 视觉噪声

26、视觉噪声 在数据集中，大多数数据具有极强的相关性，无法将其分离作为独立的对象显示。 2. 信息丢失信息丢失 减少可视化数据集的方法可行，但会导致信息的丢失。 3. 大型图像感知大型图像感知 数据可视化不单受限于设备的长度比及分辨率，也受限于现实世界的感受。 4. 高速图像变换高速图像变换 用户虽然能够观察数据，却不能对数据强度变化做出反应。 5. 高性能要求高性能要求静态可视化对性能要求不高，因为可视化速度较低，性能要求不高，然而动态可视化对性能要求会比较高。目录CONTENTS大数据可视化的概念大数据可视化的作用与意义123大数据可视化的发展史大数据可视化的应用领域4大数据可视化面临的挑战5

27、大数据可视化技术的发展方向66. 大数据可视化技术的发展方向1.可视化技术与数据挖掘的关联可视化技术与数据挖掘的关联数据可视化可以帮助人们洞察出数据背后隐藏的潜在信息，提高了数据挖掘的效率，因此，可视化与数据挖掘紧密结合是可视化研究的一个重要发展方向。2.可视化技术与人机交互的关联可视化技术与人机交互的关联实现用户与数据的交互，方便用户控制数据，更好地实现人机交互这是我们一直追求的目标。因此，可视化与人机交互相结合是可视化研究的一个重要发展方向。3.可视化与大规模、高维度、非结构化数据的关联可视化与大规模、高维度、非结构化数据的关联目前，大数据时代大规模、高维度、非结构化数据层出不穷，要将这样的数据以可视化形式完美的展示出来，并非易事。因此，可视化与大规模、高维度、非结构化数据结合是可视化研究的一个重要发展方向。PPT模板下载：行业PPT模板：节日PPT模板：素材下载：PPT背景图片：图表下载：优秀PPT下载：教程： Word教程： 教程：资料下载：课件下载：范文下载：试卷下载：教案下载：论坛： 谢 谢43