大数据介绍及公司大数据规划ppt课件.ppt

《大数据介绍及公司大数据规划ppt课件.ppt》由会员分享，可在线阅读，更多相关《大数据介绍及公司大数据规划ppt课件.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代三分技术、七分数据、得数据三分技术、七分数据、得数据者得天下者得天下中中国国互互联网联网上上发发生了什生了什么么？百度搜索查询次次条条微博名名新用户人人同时QQ在线篇篇博客文章名名新博客条条心情更新篇篇日志发布万万张张照片上传条条状态更新发布篇篇日记更新个个视频上传到优酷，内容总计14个小时人人淘宝在线交易额元元篇篇新帖子发布新回复篇篇大数据时代的到来facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联 一切都在被记录，一切都在数据化大数据时代的到来这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代已经来临.大数据起源：大数据起源：

2、19801980年年，家阿尔文，家阿尔文 托夫勒托夫勒的的第三次浪潮第三次浪潮公司大公司大数数据平台建据平台建设规划设规划4.4.大大数数据部如何据部如何开开展工作展工作3.3.大大数数据在企据在企业业中的中的运运用用2.2.什什么么是大是大数数据据1.1.大数据时代的到来目目 录录一、什么大数据大大数数据的定据的定义义1大大数数据的特征据的特征2大大数数据据与传统数与传统数据的据的区别区别3 “大数据”或称巨量数据、海量数据、大资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一、什么是大数据大数据的定义：1. VolumeVolum

3、e2. VarietyVariety3. Value4. VelocityVelocity数据类型多样价值密度低高速数据量巨大大数据的特征数据的存储数据的存储单位单位有有：bitbit、ByteByte、KBKB、MBMB、GBGB、TBTB、PBPB、EBEB、ZBZB、YBYB、NBNB、DBDB，它们按照进率它们按照进率10241024（2 2的十次方）来计算：的十次方）来计算：1 Byte = 8 bit1 Byte = 8 bit1 KB = 1,024 Bytes1 KB = 1,024 Bytes1 MB = 1,024 KB = 1,048,576 Bytes1 MB = 1,

4、024 KB = 1,048,576 Bytes1 GB = 1,024 MB = 1,048,576 KB1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 TB = 1,024 GB = 1,048,576 MB1 PB = 1,024 TB = 1,048,576 GB1 PB = 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 EB = 1,024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 ZB =

5、 1,024 EB = 1,048,576 PB1 YB = 1,024 ZB = 1,048,576 EB1 YB = 1,024 ZB = 1,048,576 EB1 NB = 1,024 YB = 1,048,576 ZB1 NB = 1,024 YB = 1,048,576 ZB1 DB = 1,024 NB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 YBGBTBPBEBZB二、大数据的特征1. VolumeVolume数据量巨大二、大数据的特征2. VarietyVariety数据类型多样3. Value4. VelocityVelocity

6、价值密度低高速如今的数据类型早已不是单一的文本形式，订单、日志、音频结构化数据（20%)、半结构化数据和非结构化数据(80%)犹如沙里淘金实时获取需要的信息1大数据主要是结大数据主要是结合人工智能进行合人工智能进行机器的机器的自动数据自动数据挖掘挖掘2大数据主要是用大数据主要是用来作来作预测预测的的3大数据大数据 是是“关注关注相关性相关性，不关注，不关注因果因果” 大数据与传统数据的区别一、什么是大数据VS 大数据其实是人们根据电脑的优势，找出了一个全新的数据分大数据其实是人们根据电脑的优势，找出了一个全新的数据分析、挖掘方式，与传统的方式完全不同析、挖掘方式，与传统的方式完全不同二、大数据

7、在企业中的运用大大数数据据应应用案例用案例1大大数数据的据的运运用范用范围围2大大数数据的价据的价值值3价价值链值链中大中大数数据的三据的三种种模式模式4 Target，一家比父亲更早知道女儿怀孕的超市 曾经有一位男性顾客到一家塔吉特超市店中投诉，商店竟然给他还在读书的女儿寄婴儿用品的优惠券。这家全美第二大零售商，会搞出如此大的乌龙？但经过这位父亲与女儿进一步沟通，才发现自己女儿真的已经怀孕了。未卜先知怀孕案例二、大数据在企业中的运用Target公司是如何做到的呢？1 1、数数据信息据信息记录记录2 2、数数据模型建立据模型建立3 3、数数据据实时监实时监控控4 4、精准、精准营销营销根据大数

8、据模型,Target制订了全新的广告营销方案，结果Target的孕期用品销售呈现了爆炸性的增长。公司大数据分析技术从孕妇这个细分顾客群开始向其他各种细分客户群推广，Target的销售额也因此从每年的440亿美元增长到了670亿美元。二、大数据在企业中的运用* 通过用户行为分析实现精准营销是大数据的典型应用，大数据在各行各业特别是公共服务领域同样具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象二、大数据在企业中的运用5 5）利用大数据找到新的商业机会，开发产品）利用大数据找到新的商业机会，开发产品 4 4）了解同行经营情况，针对性提升自己的业绩）了解同行经营情况，针对性

9、提升自己的业绩3 3）为精准营销提供支持）为精准营销提供支持2 2）真正实时的了解客户）真正实时的了解客户1 1）给予上下游产业链者市场预判）给予上下游产业链者市场预判大数据的价值二、大数据在企业中的运用1 1、手握大、手握大数数据，但是据，但是没没有利用好有利用好2 2、 没没有有数数据，有大据，有大数数据思据思维维及技及技术术3 3、 既既有有数数据，又有大据，又有大数数据思据思维维及技及技术术金融机金融机构构，电电信行信行业业，政府机，政府机构构等等ITIT咨咨询询和服和服务务企企业业，比如，埃森哲，比如，埃森哲，IBMIBM等等GoogleGoogle，AmazonAmazon，BAT

10、BAT三巨三巨头头等等按大数据价值链分，分为三类二、大数据在企业中的运用大大数数据部据部岗岗位位概概述述1大大数数据部工作据部工作关关注点注点2大大数数据部据部20152015年工作年工作计划计划3三、大数据如何开展工作有技有技术术有大有大数数据思据思维维有有数数据据大数据部岗位总概述： 建立更多的数据收集渠道去积累更多的数据，利用相关技术进行整理、分析，将数据转化为企业的资产！一、一、数数据据从哪从哪里里来来？二、如何利用二、如何利用它它？企业运营大数据的三要数三、大数据如何开展工作 2、数据在哪里3、怎么获取l我们是呼伦贝尔旅游全产业链供应商，业务覆盖所有与旅游相关的产业，拥有智慧旅游网，

11、门户网站、酒店系统等平台。主要关注公司内部运营数据，旅客行为数据，合作、入驻商家运营数据，行业竞争业态数据。1、需要什么数据l旅客、合作商家、入驻商家、拥有相关资源的企事业和政府单位（如百度、携程等互联网企业；电信、移动等通讯企业；公安、交通等政府相关部门）三、大数据如何开展工作一、一、数数据据从哪从哪里里来来？3、怎么获取 数据的拥有者是我们数据的提供者和受益者。l通过网站、app、400电话等平台进行采集。景点、酒店、商场、演艺等服务点收集旅客数据。l 吃、住、行、游、导、购等商家入驻前产品数据采集。l公司内部运营数据积累。l拥有相关资源的企事业和政府单位：项目合作、购买方式进行数据采集，

12、利用国家相关政策、整合政府资源（如智慧旅游等项目）l向百度、携程等拥有大数据资源的企业购买三、大数据如何开展工作一、一、数数据据从哪从哪里里来来？自我采集：合作与购买： 基于大数据4V特征，要开发利用大数据，需要特殊的技术。关键技术一般包括：大数据采集、大数据统计分析、大数据挖掘、大数据展现和应用等技术三、大数据如何开展工作二、如何利用二、如何利用它它？l1、大数据采集技术：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。l使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等l2、大数据统计分析：海量的来自前端的数据快

13、速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。l使用的产品：Hadoop（Pig和Hive），YunTable， SAP Hana和Oracle Exadata 基于大数据4V特征，要开发利用大数据，需要特殊的技术。关键技术一般包括：大数据采集、大数据统计分析、大数据挖掘、大数据展现和应用等技术三、大数据如何开展工作二、如何利用二、如何利用它它？l3、大数据挖掘技术：基于前面的查询数据进行数据挖掘，来满足高级别 的数据分析需求。l使用的产品：Hadoop Mahoutl4、大数据统

14、展现与应用：可视化工具及大数据产品l使用的产品：大数据魔镜（国内）、google charts三、大数据如何开展工作HBaseMapReduceHiveHDFS快速的数据读取大数据存储统计复杂计算并行处理lHDFS：分布式文件系统有较强的容错性可在x86平台上运行，减少总体成本可扩展，能构建大规模的应用lHBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全列式存储，节省存储空间提供大数据量的高速读写操作lHive：分布式关系型数据库数据可保存在HDFS，可提供海量的数据存储类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce

15、实现大规划并行计算lMapReduce：大规划并行计算引擎可将任务分布并行运行在一个集群服务器中四、公司大数据平台建设规划大数据平台的建设，公司应分三个阶段大大数数据平台建据平台建设设初步初步阶阶段段采集大采集大数数据，形成据，形成“ “入口入口” ”能力能力（1212年年时间时间）大大数数据平台建据平台建设设中期中期阶阶段段应应用用“ “入口入口” ”大大数数据，服据，服务产务产品化品化（2323年年时间时间）大大数数据平台建据平台建设设成熟期成熟期垂直整合，垂直整合，“ “入口入口” ”能力能力释释放放（持（持续发续发展）展）开发开发能采集用能采集用户户大大数数据的智能据的智能产产品、完善

16、品、完善运营运营大大数数据的采集能力据的采集能力形成大形成大数数据采集、存据采集、存储储和管理的和管理的技技术术平台平台内外部数据梳理和整合，形成统一的用户大数据和运营大数据整合数据挖掘资源和能力， 应用内外大数据支撑产品领先和消费体验领先战略发展大大数数据技据技术术平台成熟平台成熟基于用户的大数据内生和应用平台形成形成12个领先型大数据产品拥有强大的数据挖掘资源和能力，对大数据进行价值挖掘和应用，数据价值开始显著发挥形成网络化的大数据采集体系整合相关资源形成开放生态圈平台，成为平台生态圈发展的主导者基于生态圈平台，能为用户提供多元化的精确性服务，抢占用户的心理份额、生活份额、钱包份额。四、公司大数据平台建设规划