大数据概念技术与应用13813670.pptx

《大数据概念技术与应用13813670.pptx》由会员分享，可在线阅读，更多相关《大数据概念技术与应用13813670.pptx（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据大数据引领我们走向数据智能化时代Big Data目录大数据的定义理解相关技术与应用机遇与挑战大数据的定义理解一什么是大数据Dada大大数据的构成123大数据的定义理解大数据的“4V”特征大数据时代的背景大数据时代的背景facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数

2、据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念Big Data名词由来全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有

3、2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据新的时代，人们从信息的被动接受者变成了主动创造者大数据时代到来大数据时代到来TBPBZBEB大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在202

4、0 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量数据量增加数据结构日趋复杂这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临.大数据时代到来大数据时代到来大数据的4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的1

5、0倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的构成大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、Li

6、nkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。大数据要解决的问题 Volume海量的数据规模海量的数据规模Variety多样的数据类型多样的数据类型StreamsStreamsReal timeReal timeNear timeNear t

7、imeBatchBatchTBTBPBPBEBEBStructuredStructuredUnstructuredUnstructuredSemi-structuredSemi-structuredAll the aboveAll the aboveValueVelocity快速的数据流转快速的数据流转巨大的数据价巨大的数据价值值相关技术与应用二大数据怎么用大数据时代的背景相关技术云计算与大数据大数据领的应用123相关技术相关技术大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（var

8、iety）的数据中提取价值（value），将是IT 领域新一代的技术与架构企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合什么是Big Data技术分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等一些相关技术存储结构化数据：p海

9、量数据的查询、统计、更新等操作效率低非结构化数据p图片、视频、word、pdf、ppt等文件存储p不利于检索、查询和存储半结构化数据p转换为结构化存储p按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）数据采集数据储存数据管理数据分析与挖掘技术领域的挑战1、对现有数据库管理技术的挑战传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。如何构建全球级的分布式数据库(Globally-Distributed Database)，可以扩展到数百万的机器，数已

10、百计的数据中心，上万亿的行数据。2、经典数据库技术并没有考虑数据的多类别（variety）SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。3、实时性的技术挑战：一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。网络架构、数据中心、运维的挑战：技术架构的挑战：人们每天创建的数据量正呈爆炸式增长，但就数据保存来说，我们的技术改进不大，而数据丢失的可能性却不断增加。如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发

11、展的基石。大数据与云计算云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。白云下面数据跑蓝蓝的天上白云飘如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！大数据与云计算2012云计算，2013大数据？美国：美国政府在2012年3月29日宣布投资两亿美元拉动大

12、数据相关产业发展，将“大数据战略”上升为国家意志。中国：中国商业联合会：副会长刘建沪介绍说，随着互联网的快速发展，中国的电子商务企业纷纷组建了数据分析部门。2011年10月，工信部确认京沪深杭等5城市为“云计算中心”试点城市。而真正的问题或许不在于怎样建设“云计算中心”。国家信息中心常务副主任杜平直言不讳：“应对大数据的到来，需要不断建基础设施，但是建了干什么，有些数据需要存储，也有很多数据可能不需要储存。”大数据的市场有多大？中央财经大学中国经济管理研究院博士张永力说，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。行业拓展者，打造大数据行业基石

13、：大数据的应用 企业在投入 IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析p软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息p为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案微软：2011

14、年1月与惠普（具体而言是HP数据库综合应用部门）合作目标是开发了一系列能够提升生产力和提高决策速度的设备。EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已包括40多个产品。Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。政府职能变革重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；在民生领域，

15、应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；p政府投入将形成示范效应，大大推动大数据的发展。大数据的应用 政府“智慧大脑”智能感知互联互通智能运营协同共享大数据的应用 热点：智慧城市美国奥巴马政府在白宫网站发布大数据研究和发展倡议，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”；中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使

16、得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”难点：1、在最初就合理规划智慧城市（深度思考哪些领域能够运用）；2、在城市发展基础设施和“云产业”的同时，更多重视“数据”的价值；3、在大数据处理领域的核心技术不足，需要政府更大的投入。大数据的应用 未来，改变一切数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有

17、价值。大数据价值链的3大构成：数据本身、技能与思维 其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。大数据时代传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。机遇与挑战三大数据赋予我们洞察未来的能力机遇马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询

18、盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代挑战诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了多少密码和账号是

19、因为“社交网络”流出去的？2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年CSDN密码泄露事件眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。数据汇集传统解决方案卫生信息平台定义接口联调测试数据校验 卫生信息平台医疗机构设备采购业务开发实施部署 医疗机构业务厂商开发周期长标准变更，频繁调试无工具支撑，厂商能力有限，数据质量难以保证公共卫生信息平台数据上不来，建档率低活档率低，数据质量不合格异常情况发现不及时卫生局的困惑 医疗

20、机构的无奈?面临现状锐易特数据采集与交换解决方案服务共享数据交换集中监管 数据同步 双向转诊 标准交互 服务部署 服务管理 服务维护 核心服务 协同服务 外部服务 发布/订阅 协同医疗 服务监控 安全保障 企业服务总线（ESB）卫生数据采集与交换一体机卫生数据采集与交换一体机卫生数据采集与交换一体机卫生数据采集与交换一体机(卫生一体机卫生一体机卫生一体机卫生一体机)软硬件一体机ESB内核安全监管业务模板硬件、网络（有/无线）操作系统、防火墙、中间件信息交换（多协议）数据集成（数据/服务）远程集中管理、多种认证模式安全审计、实时监控统计13大类、67小类 3500项全集业务数据功能架构A医院（H

21、IS/LIS/PACS）配置管理数据上报调度中心数据抽取安全认证数据缓存数据集成数据集成/交换网关交换网关配置管理安全审计 消息路由服务监控企业服务总线（企业服务总线（ESB）服务调度规则 业务接口 业务校验业务监控数据中心数据中心数据转换消息分发发布订阅流程调度流程监控安全认证远程升级 业务扩展共享库数据集成数据集成/交换网关交换网关B医院（HIS/LIS/PACS）WSWSFTPJDBC数据传输通道(JMS/MQ,FTP，SOAP/HTTP)服务治理配置管理数据上报调度中心数据抽取安全认证数据缓存数据转换远程升级 业务扩展综合统计分析库日志采集WSFTPJDBC采集与交换采集与交换u异构数

22、据源抓取u多厂商应用适配u数据及语义转换u结构映射u数据校验安全保障安全保障l访问安全l传输安全l数据安全l安全审计传输模式传输模式l手动/自动l实时/定时l主动/被动统一监管统一监管l集中管理l远程监控l流程跟踪卫生一体机核心功能卫生一体机核心功能卫生一体机核心功能卫生一体机核心功能数据采集过程数据质量数据来源数据标准数据汇集数据汇合传统前置 VS 卫生一体机传统前置卫生一体机软硬一体，发挥最优性能整体部署、统一维护设备+防火墙+业务开发/部署+兼容性差，异常定位难出问题易出现扯皮情况 高度集成高度集成仅映射环节需要厂商配合转换+校验+上报均为平台标准模版约：分析/配置/部署/上线 0.5人

23、月由业务厂商主导，开发程序映射+转换+上报 全开发约：开发1人月+测试1人月由业务厂商配合由业务厂商配合,模版式配置模版式配置 统一监控管理/安全保障 异常实时监控无监控、安全能力如需开发需额外投入不同医院无法实现统一 内置统一安全、监控模块内置统一安全、监控模块 减轻平台压力 提高数据质量无校验环节质量无法保障 校验业务下沉校验业务下沉工作内容对比方式1：提供数据视图方式2：提供数据接口方式3：映射数据至卫生一体机中间库方式4：调用卫生一体机协议接口提供数据无缝衔接卫生一体机主动监控各机构数据采集情况卫生一体机方案按平台标准、协议提供合格的数据提供上报接口逐个医院联调进行数据校验等待业务汇报

24、传统前置方案对比情况对比情况卫生局卫生局平台平台医院医院注：卫生一体机提供安全、监控、管理工具，内置映射、转换、校验、上报模版。应用收益卫生局的收益 建档率、活档率提高统一监管、统一安全保障异常实时监控，质量实时报告平台压力减小医疗机构的收益 仅需配合映射，压力减小标准变更时，仅需调整映射内置校验，数据问题早发现早解决解决方案核心优势解决方案核心优势解决方案核心优势解决方案核心优势RESRES区域信息平台智能前置前置解决方案解决方案全局全局全局全局全局全局监管监管监管监管监管监管安全安全安全安全安全安全可靠可靠可靠可靠可靠可靠业务业务业务联动联动联动规范规范规范规范规范规范便捷便捷便捷便捷便捷便捷u数据采集“最后一公里”u多业务（采集、交换、互认）u业务管理u运行监控u在线升级u异常获取u软硬一体机u防火墙u认证授权u压缩加密u出错重传/续传u标准传输协议u标准数据格式u基于模版开发u即插即用u通过配置完成实施