大数据安全与应用.pptx

《大数据安全与应用.pptx》由会员分享，可在线阅读，更多相关《大数据安全与应用.pptx（139页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据安全与应用 1 目录一、大数据的来源四、成功案例五、大数据安全二、什么是大数据三、大数据的应用 2 引言引言 电影电影永无止境永无止境库珀能在短时间掌握无数公司资料和背景，也就是将世界上已经存在的海量数据（包括公司财报、电视、几十年前的报纸、互联网、小道消息等）挖掘出来，串联起来，甚至将FaceBook、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向，通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前，结果在10天内他就赢得了200万美元。这部电影简直是展现大数据魔力的教材性电影，推荐没有看过的IT人士看一看。在企业、行业和国家的管理中，通常只有效使用了

2、不到20%的数据（甚至更少），如果剩余80%数据的价值激发起来，世界会变得怎么样呢？永无止境是由尼尔博格执导的悬疑电影，由布莱德利库珀、罗伯特德尼罗和安娜弗莱尔等联袂出演，所讲述的是一位落魄的作家库珀，服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股。3 数据本质是生产资料和资产数据本质是生产资料和资产不可再生资源VS数据过去3年数据总量比以往4万年还多2020年,全球信息量将超过40ZB全球数据的增长速度在每年40%左右数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。4 数据爆炸式增长（每分钟数据爆炸式增长（每分钟）

3、Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张 5 需要需要不同不同“看看”数据的方式数据的方式可视：结构化资料 15%未视：半/非结构化数据 85%DB/DW主管们看的战情数位仪表板，其实是残缺的 610万 GB10万 TB 需要更高性价比的数据计算与储存方式需要更高性价比的数据计算与储存方式数据库DB数据仓库DW计算更快 存储更省 785%

4、半/非结构化的Log/Web page/Email/PDF/Image/Full-text/MS-Office file 7 需要需要不同的数据管理策略不同的数据管理策略当我们想要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限15%结构化的 DB/DW遗憾残缺 8每天几百 GB、几 TB 的资料，且持续成长中储存储存StoringStoring 在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算计算Process

5、ingProcessing如何有效的避免因硬件毁坏所导致的资料损毁管理管理ManagingManaging如何从中挖掘出所关注事件的 pattern 或 behavior分析分析AnalyzingAnalyzing 超越企业现有超越企业现有 IT IT 的数据解决的数据解决能力能力 9 大数据的来源大数据的来源适应新时代，解决新问题 10 目录二、什么是大数据一、大数据的来源四、成功案例五、大数据安全三、大数据的应用 11更结构化没有固定结构的数据，通常保存成不同类型的文件举例：文本文档、PDF文档、图像和视频具有不规则数据格式的文本数据，通过使用工具可以使之格式化举例：包含不一致的数据值和格

6、式的网站点击数据具有可识别的模式并可以解析的文本数据文件举例：自描述和具有定义模式的XML数据文件包括预定义的数据类型、格式和结构的数据举例：事务性数据和联机分析处理 什么是数据？什么是数据？结构化半结构化“准”结构化非结构化 1212Social MediaMachine/SensorDOC/MediaWeb ClickstreamAppsCall LogLog 什么是数据什么是数据？半半结结构化构化/非非结结构化数据构化数据 133/13/20124 什么是大数据？什么是大数据？14何为大？数据度量1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048

7、,576 Bytes1GB =1,024 MB=1,048,576 KB=1,073,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,504,606,846,976 Bytes1ZB =1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,6

8、29,174,706,176 Bytes3/13/20126 什么是大数据？什么是大数据？15红楼梦含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB 约等于 671部红楼梦1TB 约等于 631,903 部1PB 约等于 647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）中国国家图书馆：2631万册1EB1EB=40004000倍倍 美国国会图书馆存储的信息量美国国会图书馆存储的信息量600600美元的硬盘就可以存储全世界所有的歌曲美元的硬盘就可以存储全世界所有的歌曲MGIMG

9、I估计估计,全球企业全球企业 20102010 年在硬盘上存储了超过年在硬盘上存储了超过 7EB(1EB7EB(1EB 等于等于 1010 亿亿 GB)GB)的新数据的新数据,同时同时,消费者在消费者在 PCPC 和笔记本等设备上存储了超过和笔记本等设备上存储了超过 6EB6EB 新数据新数据3/13/20127数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务理任务 什么是大数据？什么是大数据？16对于“大数据”（Big data）研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决

10、策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征.大数据的定义大数据的定义 17 大数据带来的思维变革大数据带来的思维变革 18 大数据带来的思维变革（更多）大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一是指在国家统一规定

11、的时间内，按照统一的方法、统一的项目、统一的调查表和统一的的标准标准时点时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6 6次人口大普查；次人口大普查；人口大普查是一种典型的全数据模式；人口大普查是一种典型的全数据模式；19人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据

12、应用全全数据模式数据模式 人口大普查是一种耗时耗费的工程，一般是以十年为单位；人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！源于实用并且很好的创新！随机采样分析是小数据时代的产物随机采样分析是小数据时代的产物；大数据带来的思维变革（更多）大数据带来的思维变革（更多）20人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 我们已具备了大数据的各

13、种技术能力，思维需要转换到大数据的全数据模式：样本我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部全部；大大数据不用随机分析法这样的捷径，而采用所有数据的方法；数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的这里的“大大”是相对的是相对的相扑相扑比赛所有数据存储还不需要一个比赛所有数据存储还不需要一个TBTB，但是是所有的数据！，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；但是慢慢地我们

14、会放弃它；大数据带来的思维变革（更多）大数据带来的思维变革（更多）21 大数据带来的思维变革（更多）大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序 22 大数据带来的思维变革（更杂）大数据带来的思维变革（更杂）从皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性；l大数据的简单算法比小数据的复杂算法更有效；IBM的机器翻译 VS Google的机器翻译；l纷繁的数据越多越好；大数据时代要求我们重

15、新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；l混杂性，不是竭力避免，而是标准途径；23 大数据带来的思维变革（更好）大数据带来的思维变革（更好）佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。哲学范畴的因果关系大数据的相关关系，而不强调因果关系；（舍恩伯格

16、），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；舍恩伯格对大数据的相关性解释Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。为什么？探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”24 大数据的构成大数据的构成大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了

17、什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于各种网络和社交媒体。它包括了呼叫详细记录、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输协议传送的海量图像文件、Web文本和点击流数据、评价数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。25 大数据的大数据的4V4V特征特征Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity实时分析而非批量式分析数据输入、处理

18、与丢弃立竿见影而非事后见效Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义Big Data大数据TBTBPBPBEBEBStreamsStreamsReal timeReal timeNear timeNear timeBatchBatchStructuredStructuredUnstructured Unstructured Semi-structuredSemi-structuredAll the aboveAll the above 26 大数据的大数据的4V4V特征（特征（VolumeVolume）1Bity1KB1M

19、B1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的 27 大数据的大数据的4V4V特征（特征（VelocityVelocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,

20、必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；28行业/企业内数据互联网数据物联网数据大数据数据来源多数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性关联性强强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。大数据的大数据的4V4V特征（特征（VarietyVariety）29 大数据的大数据的4V4V特征（特征（ValueValue）

21、挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；大数据不大数据不仅仅仅仅是技是技术术，关，关键键是是产产生价生价值值可以从各个层面进行优化，更要考虑整体 30行业数据处理方式价值银行/金融贷款、保险、发卡等多业务线数据集成分析、市场评估新产品风险评估股票等投资组合趋势分析增加市场份额提升客户忠诚度提高整体收入降低金融风险医疗共享电子病历及医疗记录，帮助快速诊断穿戴式设备远程医疗改善诊疗质量加快诊疗速度制造/高科技产品故障、失效综合分析专利记录检索智能设备全球定位，位置服务优化产品设计、制造降低保修成本加快问题解决能源勘探、钻井等传感器阵列数据

22、集中分析降低工程事故风险优化勘探过程互联网/Web2.0在线广告投放商品评分、排名社交网络自动匹配搜索结果优化提升网络用户忠诚度改善社交网络体验向目标用户提供有针对性的商品与服务政府/公用事业智能城市信息网络集成天气、地理、水电煤等公共数据收集、研究公共安全信息集中处理、智能分析更好地对外提供公共服务舆情分析准确预判安全威胁媒体/娱乐收视率统计、热点信息统计、分析创造更多联合、交叉销售商机准确评估广告效用零售基于用户位置信息的精确促销社交网络购买行为分析促进客户购买热情顺应客户购买行为习惯13 大数据商业价值大数据商业价值 31Volume海量的数据规模Variety多样的数据类型Stream

23、sStreamsReal timeReal timeNear timeNear timeBatchBatchTBTBPBPBEBEBStructuredStructuredUnstructuredUnstructuredSemi-structuredSemi-structuredAll the aboveAll the aboveValueVelocity快速的数据流转发现数据价值 大数据技术要解决的问题大数据技术要解决的问题 32大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（v

24、alue），将是IT 领域新一代的技术与架构。企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。大数据技术要解决的问题大数据技术要解决的问题大数据产品RDBMSAnalyticalDBNoSQLDBERP/CRMSaaSSocialMediaWebAnalyticsLogFilesRFIDCallDataRecordsSensorsMachine-Generated大数据管理存储处理过滤大数据终端使用挖掘分析搜索扩充 33 软件是大数据的引擎软件是大数据的引擎和数据中心（DataCenter）一样，软件

25、是大数据的驱动力.软件改变世界软件改变世界!34IBM C&P Industry需求需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术描述描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索技术技术Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch数据分析技术Text Analytics Engine 自然语言处理、文本情感分析、Visual Data Modeling 机器学习、聚类关联、数据模型 大数据涉及的关键技术大数据涉及的关键技术 35基于基于SQL语言语言:面对OLA

26、P的传统行和列不基于不基于SQL或或map-reduce的的:由谷歌率先由谷歌率先发起发起数据流数据流:基于运行商数据直接生成任意图形新平台技术新平台技术数据入数据入口口/汇聚汇聚数据平台数据平台分析分析不同范围的服务不同范围的服务传统交付模式-单片或基于设备的解决方案云云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-ForresteranalystJimKobielus新的传输方案新的传输方案 大数据涉及的关键技术大数据涉及的关键技术 36大数据（Hadoop）NoSQL数据数据库库数据数据仓库仓库部署架构部署架

27、构水平扩展水平扩展大部分垂直扩展，少数水平扩展大部分水平扩展数据数据类类型型文件存储，没有数据类型简单数据类型丰富的数据类型丰富的数据类型数据模型数据模型非常简陋的数据模型简单灵活数据模型丰富的数据模型完善丰富的数据模型数据关系数据关系没有数据关系描述非常简单的数据关系描述数据关系完善数据关系完善数据一致数据一致无一致性弱一致性强一致性强一致性数据安全数据安全安全性很弱安全性很弱安全性很高安全性很高计计算算类类型型离线批量处理，只读，低并发实时CRUD操作，海量并发实时CRUD操作，高并发离线批量处理，只读，低并发适用适用场场景景低密度数据海量存储，数据预处理，预计算高并发实时在线交易，查询，

28、报表高价值数据统一存储和计算平台常常见见用例用例日志处理，用户行为分析，搜索引擎用户资料，微博，金融反欺诈金融账户，电信计费，税务等企业数据仓库11 大数据涉及的关键技术大数据涉及的关键技术 37数据采集数据储存与管理数据分析与挖掘计算结果展示ETL数据众包（CrowdSouring）大数据涉及的关键技术大数据涉及的关键技术 38数据众包是一种新的数据采集方式，由企业方通过平台把数据采集任务外包给非特定的大众网络。大大数据涉及的关键数据涉及的关键技术技术数据众包数据众包 39数据采集数据储存与管理数据分析与挖掘计算结果展示ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据

29、分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理 大数据涉及的关键技术大数据涉及的关键技术 40分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。大数据涉及的关键技术大数据涉及的关键技术分布式文件系统分布式文件系统 41Google文件系统（Google File System，GFS）是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用

30、性的同时，大大减少了系统的成本。大数据涉及的关键技术大数据涉及的关键技术分布式文件系统分布式文件系统 42GFS将整个系统分为三类角色：Client（客户端）、Master（主服务器）、Chunk Server（数据块服务器）。C0C1C5C2C1C5C3C0C5C2GFSMasterGFSMasterClientClientClientClientClientReplicasMasterChunkserver2ChunkserverNChunkserver1GFSArchitecture 大数据涉及的关键技术大数据涉及的关键技术分布式文件系统分布式文件系统 43关系型数据库的局限性难以满足高

31、并发读写的需求难以满足对海量数据高效率存储和访问的需求难以满足对数据库高可扩展性和高可用性的需求NoSQLNoSQL=大数据涉及的关键技术大数据涉及的关键技术非关系型数据库非关系型数据库NoSQLNoSQL 44NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段。非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于

32、固定的结构，可以减少一些时间和空间的开销。大数据涉及的关键技术大数据涉及的关键技术非关系型数据库非关系型数据库NoSQLNoSQL 45 大数据涉及的关键技术非关系型数据库NoSQL 46Bigtable的设计目的是可靠地处理PB级别的数据，并且能够部署到上千台机器上。Bigtable已经在超过60个Google的产品和项目上得到了应用，包括 Google Analytics、GoogleEarth等。大数据涉及的关键技术非关系型数据库NoSQLCassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的

33、数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008年将 Cassandra 开源，此后被Digg、Twitter等知名Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。47 大数据涉及的关键技术非关系型数据库NoSQLDynamoDB是Amazon提供的共享式数据库云服务，可用性和扩展性都很好，性能也不错：读写访问中99.9%的响应时间都在300ms内。DynamoDB通过服务器把所有的数据存储在固态硬盘（SSD）上的三个不同的区域。如果有更高的传输需求，DynamoDB也可以在后台添加更多的服务器。HBase Hadoop Databa

34、se，是一个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力,是Hadoop项目的子项目。48 大数据涉及的关键技术非关系型数据库NoSQLMongoDB是一个基于分布式文件存储的数据库。由C+语言编写，是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它 支持的数据结构非常松散，可以存储比较复杂的数据类型。它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。49云计算（cloud computing），是分布式计算技术的

35、一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。云计算是一种资源交付和使用模式，指通过网络获得应用所需的资源（硬件、平台、软件）。提供资源的网络被称为“云”。大数据涉及的关键技术云计算和云存储 50白云下面数据跑蓝蓝的天上白云飘如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能

36、是杀鸡用的宰牛刀。大数据涉及的关键技术云计算和云存储 51云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。大数据涉及的关键技术云计算和云存储 52数据采集数据储存与管理数据分析与挖掘计算结果展示ETL数据众包（Crowd

37、Souring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理A/B Testing关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言 大数据涉及的关键技术 53A/B测试是可用性测试的一个方法，其核心为：同时实验两个元素或版本（A和B），确定哪个更好。注册按钮由绿色改成红色提高转化率34%人性化的表格提高11%的转化率。大数据涉及的关键技术A/B Testing 54数据采集数据储存与管理数据分析与挖掘计算结果展示ETL数据众包（

38、CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理A/B Testing关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言标签云（Tag Cloud）聚类图（Clustergram）空间信息流（Spatial information flow）热图（Heatmap）大数据涉及的关键技术 55标签云（Tag Cloud）是一套相关的标签以及与此相应的权重。权值影响标签的字体大小、颜色或其他视觉效果。典型的标签云有

39、30至150个标签，用以表示一个网站中的内容及其热门程度。标签通常是超链接，指向分类页面。大数据涉及的关键技术标签云 56聚类图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。大数据涉及的关键技术聚类图 57空间信息流（Spatial information flow）是展示信息空间状态的一种可视化技术。热图（Heatmap）是一项数据展示技术，将变量值用不同的颜色或高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达的数据，比如密度、频率、温度等。大数据涉及的关键技术空间信息流与热图 58 目录一、大数据的来源四、成功案例五、大数据

40、安全三、大数据的应用二、什么是大数据 5959亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上

41、悬停的时间。消费大数据 6060 在筹备过程中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。在这次的大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制“克鲁尼效应”并为奥巴马筹集竞选资金。“Twitter的政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。奥巴马积极的情绪指数是59，而罗姆尼的只有53 政治大数据 6161回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数

42、据”查出的可疑账户高达300个。实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报警。而此次在马乐案中亮相的深交所的“大数据”监测系统，更是引起了广泛关注。深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在参与。证监会大数据 6262量化交易，程序化交易，高频交易是大数据应用比较多的领域。全球2/3的股票交易量是由高频交易所创造的，参与者总收益每年高达80亿美元。其中，大数据算法被用来作出交易决定。现在，大多数股

43、权交易都是通过大数据算法进行，这些算法越来越多地开始考虑社交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。当一个产品可以在多个交易所交易时，会形成不同的定价，在这当中，谁能够最快地捕捉到同一个产品在不同交易所之间的显著价差，谁就能捕捉到瞬间套利机会，技术成为了重要因素 金融大数据 6363在摩托车生产厂商哈雷戴维森公司位于宾尼法尼亚州约克市新翻新的摩托车制造厂，软件不停的在记录着微小的制造数据，如喷漆室风扇的速度等等。当软件察觉风扇速度、温度、湿度或其它变量脱离规定数值，它就会自动调节机械。哈雷戴维森同时还使用软件，还寻找制约公司每86秒完成一台摩托车制造工作的瓶颈。最近，这家公司的

44、管理者通过研究数据，认为安装后挡泥板的时间过长。通过调整工厂配置，哈雷戴维森提高了安装该配件的速度。美国一些纺织及化工生产商，根据从不同的百货公司POS机上收集的产品销售速度信息，将原来的18周送货速度减少到3周，这对百货公司分销商来说，能以更快的速度拿到货物，减少仓储。对生产商来说，积攒的材料仓储也能减少很多。制造业大数据 6464谷歌基于每天来自全球的30 多亿条搜索指令设立了一个系统，这个系统在2009 年甲流爆发之前就开始对美国各地区进行“流感预报”，并推出了“谷歌流感趋势”服务。谷歌在这项服务的产品介绍中写道：搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。虽然并

45、非每个搜索“流感”的人都患有流感，但谷歌发现了一些检索词条的组合并用特定的数学模型对其进行分析后发现，这些分析结果与传统流感监测系统监测结果的相关性高达97%。这也就表示，谷歌公司能做出与疾控部门同样准确的传染源位置判断，并且在时间上提前了一到两周。”医疗大数据 6565国际大石油公司一直都非常重视数据管理。如雪佛龙公司将5万台桌面系统与1800个公司站点连接，消除炼油、销售与运输“下游系统”中的重复流程和系统，每年节省5000万美元，过去4年已获得了净现值约为2亿美元的回报。准确预测太阳能和风能需要分析大量数据，包括风速、云层等气象数据。丹麦风轮机制造商维斯塔斯(Vestas Wind Sy

46、stems)，通过在世界上最大的超级计算机上部署IBM大数据解决方案，得以通过分析包括PB量级气象报告潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据，优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案不但帮助客户降低每千瓦时的成本，并且提高了客户投资回报估计的准确度，同时它将业务用户请求的响应时间从几星期缩短到几小时。能源大数据 6666UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。大量的在线地图数

47、据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。交通大数据 6767与传统电视剧有别，纸牌屋是一部根据“大数据”制作的作品。制作方Netflix是美国最具影响力的影视网站之一，在美国本土有约2900万的订阅用户。Netflix成功之处在于其强大的推荐系统Cinematch，该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地点、终端等，储存在数据库后通过数据分析，计算出用户可能喜爱的影片，并为他提供定制化的推荐。Netflix发布的数据显示，用户在Netflix上每天产生3000多万个行为，比如

48、暂停、回放或者快进，同时，用户每天还会给出400万个评分，以及300万次搜索请求。Netflix遂决定用这些数据来制作一部电视剧，投资过亿美元制作出纸牌屋。Netflix发现，其用户中有很多人仍在点播1991年BBC经典老片纸牌屋，这些观众中许多人喜欢大卫芬奇，观众大多爱看奥斯卡得主凯文史派西的电影，由此Netflix邀请大卫芬奇为导演，凯文史派西为主演翻拍了纸牌屋这一政治题材剧。2013年2月纸牌屋上线后，用户数增加了300万，达到2920万。文化传媒大数据 68基于大数据的应用基于大数据的应用威胁发现威胁发现威胁发现威胁发现技术技术技术技术认证技术认证技术认证技术认证技术数据真实数据真实数

49、据真实数据真实性分析性分析性分析性分析安全安全安全安全-即即即即-服务服务服务服务 大数据的应用技术 69v基于大数据，企业可以更主动的发现潜在的安全威胁v相较于传统技术方案，大数据威胁发现技术有以下优点：1、分析内容的范围更大2、分析内容的时间跨度更长3、攻击威胁的预测性4、对未知威胁的检测 大数据的应用基于大数据的威胁发现技术 70v身份认证：信息系统或网络中确认操作者身份的过程，传统认证技术只要通过用户所知的口令或者持有凭证来鉴别用户v传统技术面临的问题:1 1、攻击者总能找到方法来骗取用户所知的秘密，或窃取用户凭证、攻击者总能找到方法来骗取用户所知的秘密，或窃取用户凭证2 2、传统认证

50、技术中认证方式越安全往往意味着用户负担越重、传统认证技术中认证方式越安全往往意味着用户负担越重 大数据的应用基于大数据的认证技术 71v基于大数据的认证技术：收集用户行为和设备行为数据，对这些数据分析，获得用户行为和设备行为的特征，进而确定其身份。1 1、攻击者很难模拟、攻击者很难模拟用户行为通过认证用户行为通过认证2 2、减小用户负担、减小用户负担3 3、更好的支持各系、更好的支持各系统认证机制的统一统认证机制的统一1 1、初始阶段的认证，、初始阶段的认证，由于缺乏大量数据，由于缺乏大量数据，认证分析不准确认证分析不准确2 2、用户隐私问题、用户隐私问题优点缺点 大数据的应用基于大数据的认证