第3章 大数据教学课件PPT.pptx

《第3章 大数据教学课件PPT.pptx》由会员分享，可在线阅读，更多相关《第3章 大数据教学课件PPT.pptx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章 大数据第3章 大数据案例导读得数据者得天下1. 大数据是“21世纪的石油和金矿”从资源的角度看，大数据是未来的石油；从国家治理的角度看，大数据可以提升治理效率、重构治理模式，将掀起一场国家治理革命；从经济增长角度看，大数据是全球经济低迷环境下的产业亮点；从国家安全角度看，大数据能成为大国之间博弈和较量的利器案例导读得数据者得天下2. 大数据可促进国家治理变革 专家们普遍认为，大数据的渗透力远超人们想象，它正改变甚至颠覆我们所处的时代，将对经济社会发展、企业经营和政府治理等方方面面产生深远影响。 大数据不仅是一场技术革命，还是一场管理革命。它提升人们认知能力，是促进国家治理变革的基础性力

2、量。在国家治理领域，打造阳光政府、责任政府、智慧政府建设上都离不开大数据，大数据为解决以往的“顽疾”和“痛点”提供强大支撑；大数据还能将精准医疗、个性化教育、社会监管、舆情检测预警等以往无法实现的环节变得简单、可操作。案例导读得数据者得天下3. 中国具备数据强国潜力近年来，党中央、国务院高度重视大数据的创新发展，准确把握大融合、大变革的发展趋势，制定发布了中国制造2025和“互联网+”行动计划，出台了关于促进大数据发展的行动纲要，为我国大数据的发展指明了方向，可以看作是大数据发展“顶层设计”和“战略部署”，具有划时代的深远影响。案例导读行业大数据应用1. 大数据应用案例之：医疗行业2. 大数据

3、应用案例之：能源行业3. 大数据应用案例之：通信行业4. 大数据应用案例之：网络营销行业3.1 大数据是什么案例导读行业大数据应用1. 大数据应用案例之：医疗行业1）在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。2）乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。3.1 大数据是什么案例导读行业大数据应用 2.

4、大数据应用案例之：能源行业3.1 大数据是什么案例导读行业大数据应用3. 大数据应用案例之：通信行业3.1 大数据是什么案例导读行业大数据应用4. 大数据应用案例之：网络营销行业3.1 大数据是什么大数据的定义定义 1：维基百科对大数据的定义简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。定义 2：Gartner 的定义（3V 定义）如下：大数据是大容量、高速度和多种类的信息资产， 需要新的处理形式来实现增强的决策、洞察力发现和流程优化。定义 3：当数据的规模和性能要求成为数据管理分析系统的重要设计和决定因素时，这样的数据就被称为大数据。定义4：大数据有

5、两个不同于传统数据集的基本特征。（1）大数据不一定存储于固定的数据库，而是分布在不同地方的网络空间。（2）大数据以半结构化或非结构化数据为主，具有较高的复杂性。3.1 大数据是什么大数据的3V和5V特征3.1 大数据是什么Veracity 真实和准确Value 价值大数据相关术语3.1 大数据是什么 数据湖 数据治理 集群计算 黑暗数据 大数据采集与预处理技术 大数据存储与管理技术 大数据分析与挖掘技术 大数据可视化技术 大数据安全技术大数据与云计算、物联网、互联网之间的关系3.1 大数据是什么挑战与机遇1.数据的挑战与机遇2.技术的挑战与机遇3.用户的挑战与机遇3.2 大数据的成长及挑战大数

6、据技术框架3.3 大数据技术及应用大数据常用处理工具3.3 大数据技术及应用 种类工 具 示 例 平台LocalHadoop、MapR、Cloudera、Hortonworks、BigInsights、HPCCCloudAWS、Google Compute Engine、Azure 数据库SQLMySQL（ Oracle）、MariaDB、PostgreSQL、TokuDB、Aster Data、VerticaNoSQLHBase、Cassandra、MongoDB、RedisNewSQLSpanner、Megastore、F1数据仓库Hive、HadoopDB、Hadapt数据收集Scrap

7、erWiKi、Needlebase、bazhuayu数据清洗DataWrangler、Google Refine、OpenRefine 数据处理批处理MapReduce、Dyrad流式计算Storm、S4、Kafka内存计算Drill、Dremel、Spark查询语言HiveQL、Pig Latin、DryadLINQ、MRQL、SCOPE统计与机器学习Mahout、Weka、R、RapidMiner数据分析Jaspersoft、Pentaho、Splunk、Loggly、Talend 可视化分析Google Chart API、Flot、D3、Processing、Fusion Tables

8、、Gephi、SPSS、SAS、R、Modest Maps、OpenLayers基于云的数据分析平台3.3 大数据技术及应用大数据技术发展趋势3.3 大数据技术及应用主 要 技 术发 展 趋 势 采集与预处理 数据源的选择与高质量原始数据的采集方法 多源数据的实体识别和解析方法 数据清洗和自动修复方法 高质量数据的整合方法 数据演化的溯源管理 存储与管理 大数据索引和查询技术 实时/流式大数据存储与处理 计算模式与系统 Hadoop 改进后与其他计算模式和平台共存 混合计算模式成为大数据处理的有效手段大数据技术发展趋势3.3 大数据技术及应用主要技术主要技术发展趋势发展趋势 数据分析与挖掘 更

9、复杂和大规模分析与挖掘 大数据实时分析与挖掘 大数据分析与挖掘的基准测试 可视化分析 原位分析 人机交互 协同与众包可视分析 可扩展性与多级层次问题 不确定性分析和敏感分析 可视化与自动数据计算挖掘结合 面向领域和大众的可视化工具库 数据隐私与安全 NoSQL 有待进一步完善 APT 攻击研究 社交网络的隐私保护 数字水印技术 风险自适应访问控制 数据采集、存储、分析 3 个过程“三权分立” 其他 大数据高效传输架构和协议 大数据虚拟机集群优化研究大数据的应用3.3 大数据技术及应用9公安大数据10.文化传媒大数据11.航空大数据12.人体健康大数据13.体育赛事大数据14.灾害大数据15.环境变迁大数据1.商品零售大数据2.消费大数据3.证监会大数据4.金融大数据5.金融交易大数据6.制造业大数据7.医疗大数据8.交通大数据谢谢 谢谢