新技术基础知识介绍——大数据知识讲解.ppt

《新技术基础知识介绍——大数据知识讲解.ppt》由会员分享，可在线阅读，更多相关《新技术基础知识介绍——大数据知识讲解.ppt（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1新技术基础知识介绍大数据22017年7月，李彦宏实战百度无人驾驶3无人超市一夜之间出现在大街小巷4今天，我们的“吓尿指数”已经不超过三十年5从企业角度来看，科技类企业正在成为商业的主角单位：10亿美元6企业必须要依托新技术展开数字化转型，否则必将面临挑战l百丽（BeLLe）l诺基亚（Nokia）l爱立信（Ericsson）l柯达（Kodak）l摩立特（Monitor）l雅虎（Yahoo）l红领l华为l海尔lBAT/J、新美大、OfOlAmazonlGoogleVS业绩落后企业业绩领先企业7对新技术的理解和运用，正是数字化转型的基础智能合约共享账本鉴证证明数字资产人-机互联工业互联产业互联OM

2、O外部协同在云端内部协同在云端信息存储在云端基础设施在云端大数据市场分析大数据精准营销大数据精细管理大数据智能决策智能制造、供应链智能财务、HR智能营销智能决策C：云D：大数据IoT：物联网B：区块链A：人工智能8 8技术DA：人工智能B：区块链C：云计算D：大数据IoT：物联网9大数据的定义，随着技术的发展不断演进Wiki百科百科：大数据是指一个超大的、难以用现有常规的数据管理技术和工具处理的数据集。研究机构（研究机构（Gartner）：）：大数据是需要新的处理模式，才能具有更强的决策力、洞察力和流程优化能力的，海量、高增长率和多样化的信息资产。IDC报告告：大数据技术描述了一种新一代技术和

3、构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值。更广的信息范围新的数据与分析类型实时信息来自新技术的数据非传统形式的媒体大数据量社交媒体数据最新流行词定义大数据*2012年IBM对95个国家中26个行业的1144名专业人员调查结果咨咨询公司：公司：大数据是在互联网、云计算、移动、社交等技术飞速发展的背景下，产生的需要新的技术和能力才能经济地处理的，具有规模大、速度快、多样性及价值密度低等特点的各类数据资产。实际上，今天业界在谈大数据时，更多是指：在大规模数据的基础之上，可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。-大数据现已成为人们获得新

4、的认知、创造新的价值的途径-大数据时代对我们的思维方式提出了挑战10不同认知角度的大数据定义原始版本以大数据的三个特征数量（Volume）种类（Variety）速度（Velocity）定义大数据，是最为人所知，且被公认的一种。大数据技术用以区分数据“信号”数据暗数据新瓶装旧酒我们除了面对更大量（Volume）更多种类（Variety）、更快速（Velocity）的数据以外，一批新技术应运而生，尤其是用以存储和处理数据的开源技术，如Hadoop、NoSQL等。学习和使用这些技术和工具，需要一个有别于传统技术的名称，最终，将其称为“大数据”。从技术角度定义“大数据”难免模糊，人们也尝试着从业务角度

5、来定义“大数据”，用以区分数据。一种分类是交易、互动、观察。另一种分类是流程、人、机器。从商业价值角度更为直接的定义：传统的事务性数据，当我们记录下他们的时候，要做什么/改变什么已经太晚了（它已经发生）。现今，企业可以利用新的“信号（Signal）”数据，预测什么将要发生，而因此早些做出改进。先前由于技术限制而被我们忽略或无法进行的数据分析。或将其称为“暗数据”（Dark Data）。这是最为懒惰和偏激的一种定义。认为“大数据”只是将原有的BI分析或商业智能重新冠以了一个高大上的名字。本质没有区别。11大数据的典型特征（4V）企业充斥着日益增长的各种类型的数据，很容易积累出TB级别，甚至PB级

6、别的信息数据。将每天12TB的Twitter数据用于提高产品的顾客情绪分析。将每年3500亿的智能电表读数用于预测用电量。规模Volume有时候，2分钟也意味着太长了。针对时间敏感的进程，例如油井泄漏，大数据被用做数据流的形式以提高它的价值。审查每天5百万的交易活动用以确定潜在的欺诈行为。实时分析每天5亿次的通话记录用以更快的分析及预测客户的流失。速率Velocity大数据包括任何结构化的、非结构化类型的数据，例如：文本、传感器数据、音频、视频、点击流量以及日志文件等等。综合分析这些数据，有利于提高企业的洞察力。从成千上万个实时监控摄像头中发现价值信息点。以80的数据，图像，视频和文件增长的优

7、势，提高客户满意度。多样Variety 随着物联网的广泛应用，信息感知无处不在，信息的获取成几何式增长，但价值密度较低。通过使用先进的技术能更迅速地完成数据的价值“提纯”，大浪淘沙却弥足珍贵。价值Value 12大数据思维区别于传统思维，其精髓在于数据分析方法的3个转变更好不是因果关系而是相关关系，大数据的核心是预测，相关关系是大数据预测的关键，揭示“是什么”，而不是“为什么”更多不是随机样本而是全部数据，技术发展，让我们处理所有更多的数据成为可能。更杂不是精确性而是混杂性，在大数据环境中，更重要的是发现事物变化的趋势，在一定程度上，不追求数据的精度。来源：维克托迈尔-舍恩伯格,英，数据科学的

8、技术权威13典型事例，对相关性的追求佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。哲学范畴的因果关系大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；舍恩伯格对大数据的相关性解释Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质

9、量问题的可能性是其它颜色汽车的一半。为什么？探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”14大数据的典型行业应用企业业务大数据的作用研发新产品(产品/品牌创新)产品市场细分获取新用户(渠道/营销创新)渠道创新与交叉销售降低成本(价格策略创新)降低决策成本实现流程优化提高客户忠诚度(服务创新)用户个性化分析与服务加强风险管控(风险防范创新)风险预测与防范教育政府公共服务交通物流医疗金融电信电子商务大数据典型行业应用应用成熟度市场吸引力市场吸引力：金融、电子商务、物流、政府公共服务数据较高；应用成熟度：金融、电子商务、电信、医疗最

10、高。1.深度分析型CRM 2.防欺诈和金融风险管理 3.根据客户建议优化业务 4.风险可控的产品组合管理 1.舆情监测及分析系统 2.大情报系统 3.平安城市 4.快速险情或疾病应急系统 1.日志查询与分析 2.电信增值服务 3.社交媒体分析降低用户转网率 4.基于LBS的精准产品营销 1.电子健康档案管理 2.疾病预防和控制 3.自动化诊断和处理系统 1.智能交通和道路监控管理 2.客票和客户管理 3.货运和物流管理 4.航空/铁路智能线路调度 1.客户购买行为分析 2.交叉销售 3.品牌定价策略分析 4.销售效果分析 1.在线教育效果分析2.大学生情绪分析15案例：某企业以大数据技术为核心

11、，建立基于数据驱动的运营体系洞察：理解顾客心理、行为以及企业行动对他们的影响，如用户评价分析定位：缩小目标，确定受众群体，对市场精细化细分，如用户画像个性化：分别对待不同顾客，增强针对性，如精准推荐情景：比对单一顾客数据与整体数据，以帮助顾客理解自我，或识别相关风险，如信用评分大数据平台数据存储数据解析如采用自然语言处理、语音识别、图像识别获得认知如用户洞察、产品洞察、消费特征、细化分类等数字化场景1、用户分类2、精准营销3、线上体验优化4、产品与服务优化全渠道数据电商与微店门店体系第三方电商经销商体系O2O平台搜索与地图论坛与贴吧社交媒体与视频社交平台数据标杆经营数据第三方数据用户信息行业参

12、考信息企业经营数据自动化设备ERP信息渠道运营与门店订单交付体系协同工作平台经营数据基础信息交易信息行为信息联络信息参考信息5、运营优化16大数据解决方案示例Sources业务系统业务系统渠道渠道CRMERP社交互联网社交互联网主数据主数据数据探索实验室数据探索实验室数据挖掘数据挖掘机器学习机器学习数据探索数据探索数据发现数据发现数据仓库数据仓库访问与汇总访问与汇总层层星型模型，星型模型，立方体，衍生立方体，衍生数据，汇总数数据，汇总数据，分析结果据，分析结果数据数据基础层基础层集成化的主集成化的主题模型与数题模型与数据据商业智能商业智能/数据可视化数据可视化信息模型信息模型业务导向模型，业务

13、导向模型，通过数据映射通过数据映射成为报表和分成为报表和分析结果析结果报表报表仪表盘仪表盘即席分析即席分析与查询与查询BI 服务服务 数据整合与数据质量数据整合与数据质量消息队列消息队列批量抽取批量抽取数据转换数据转换数据质量数据质量实时整合实时整合任务调度任务调度 元数据管理元数据管理模型模型数据追溯数据追溯业务数据字典业务数据字典数据传输数据访问整合点元数据定义规则规则数据湖数据湖数据水库数据水库数据从源端抽取，数据从源端抽取，基本不做转换，保基本不做转换，保持与源端相同存储持与源端相同存储格式，包含历史数格式，包含历史数据据ODS与源系统保持近实与源系统保持近实时数据同步，一体时数据同步，一体化模型化模型实时实时批量批量数据流数据流流处理流处理/事件处理事件处理数据采集数据采集数据存储数据存储数据发现数据发现数据可视化数据可视化决策支持决策支持数据流数据流参 考17大数据解决方案示例参 考18此此课课件下件下载载可自行可自行编辑编辑修改，修改，仅仅供参考！供参考！感感谢谢您的支持，我您的支持，我们们努力做得更好！努力做得更好！谢谢谢谢