大数据简介-应用及技术简述幻灯片课件.ppt

《大数据简介-应用及技术简述幻灯片课件.ppt》由会员分享，可在线阅读，更多相关《大数据简介-应用及技术简述幻灯片课件.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据简介大数据简介-应用及技术应用及技术简述简述1Part什么是大数据Part 1 什么是大数据何为大？数据度量1Byte=8 Bit1KB =1,024 Bytes1MB =1,024 KB=1,048,576 Bytes1GB =1,024 MB=1,048,576 KB=1,073,741,824 Bytes1TB =1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes1PB =1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes1EB =1,024 PB=1,048,576 TB=1,152,921,

2、504,606,846,976 Bytes1ZB =1,024 EB=1,180,591,620,717,411,303,424 Bytes1YB =1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes数据没有办法在可容忍的时间下使用常规软件方法完成存数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务储、管理和处理任务Part 2 大数据的特征BigData大数据Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍数据量体Value大量的不相关信息对未来趋势与模式

3、的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）数据价值Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义数据多样 Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效数据速度Part 2 大数据的4V特征Volume1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的

4、Part 2 大数据的4V特征Velocity大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快Part 2 大数据的4V特征Variety行业/企业内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，

5、7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。Part 2 大数据的4V特征Value价值密度低(Value)价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息3Part大数据技大数据技术简介及介及现况况Part 3 大数据技术简介数据采集数

6、据预处理数据存储数据分析挖掘数据可视化实时处理 Spark Storm机器语音R语言关联分析用户画像构建 推理预测知识图谱2D法时间可视化多维法 层次法分布式架构 Hadoop MapReduce数据库体系 NoSQLNewSQLMPP混合架构Lambda架构数据清理 遗漏值处理 噪音数据数据集成 实体识别 数据冗余数据归约 维度归约 数值归约硬件采集 传感技术 RFID软件采集系统日志抓取企业特定API、网络众包Part 3 大数据技大数据技术现况况将在三个将在三个环节分分层突破突破采集端多源数据融合社交数据、IOT数据 等外部数据与企业内 部数据融合拉通运营化发展通过长期采集积累 海量数据

7、资源的企 业实现数据联合运 营分析端处理实时化针对网络视频化潮流，更加强化对实时流数 据的处理能力高效化数据量的不断增加，云端处理API结合后 台支撑将使数据处理 更加高效应用端智能化以机器学习作为核心，将实现对用户需求的自 我理解和智能迭代云端化云计算和移动互联网 将促进大数据应用从2B市场迅速推广到2C市场Part 3 大数据及其关联技术物物联网网云云计算算大数据大数据物联网是大数据的重要来源大数据技术为物联网数据分析提供支撑云计算为物联网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间云计算为大数据提供了技术基础，大数据为云计算提供用武之地 云计算、大数据和物联网代表了IT领域

8、最新的技术发展趋势，三者既有区别又有联系4Part大数据大数据应用用Part 4大数据主要用途21%16%24%21%18%精准经营降低成本智能服务风险管理创新经营24%的大数据企业认为在为用户实施智能服务方面有较大帮助数据价值体现在三个方面增加收入减少支出降低风险Part 4大数据主要应用行业能源行业随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。物流行业利用大数据优化物流网络，提高物流效率，降低物流成本。城市管理可以利用大数据实现智能交通、环保监测、城市规划和智能安防。生物医学大数据可以帮

9、助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。体育娱乐大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。安全领域政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。个人生活大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。大大数数据据主主要要应应用用行行业业Part 4大数据主要应用行业制造业利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应

10、链分析与优化、生产计划与排程。金融行业大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。汽车行业利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。互联网行业借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。餐饮行业利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式。电信行业利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施大大数数据据主主要要应应用用行行业业Part 4大数据应用领域不断丰富大数据应用领域不断丰富，从互联网、电信、金融开始向医疗、交通、政府领域深入2018年中国大数据市场行业结构预测基础电信金

11、融交通政府医疗其他媒体社交娱乐38.1%17.1%14.1%13.6%8.1%7.6%1.4%大数据应用领域零售安防工业媒体社交 娱乐交通电信金融政府Part 4大数据产业发展数据资源创新活力（内部因素）市场需求（外部因素）2020年大数据基础 软硬件互联网 大数据行业大数据大数据平台大数据分析 产品与互联网和传统行业融合创新将成为大数据产业爆发点5Part大数据大数据现状及未来状及未来发展展Part 5 大数据现状及未来发展习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日“大数据”首次写入政府工作报告奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来

12、的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋数据为王，财政工作离不开大数据中央政府对大数据的重视程度重大机遇和优势数据资源大量积累为 大数据发展提供了良 好条件信息技术的广泛深入应用，引发了数据量的爆发式增长，我国在信息产业不断发展、信息化不断推进的过程中，积 累了大量的数据资源，为大数据发展提供了源泉。经济社会持续增长 的应用需

13、求为大数 据发展提供了市场 空间大数据技术产品创新正逐渐从技术驱动转向应用驱动，旺 盛的应用需求和巨大的市场空间是我国大数据产业创新的 强大内生动力。政府重视和服务体 系建设为大数据发 展创造了优良环境十八届三中、四中、五中全会指出要利用大数据推动政府治理能力的 提升，加快公共数据开放共享，推动大数据在科学决策、政府管理和 公共服务等领域的应用，助推简政放权和万众创新。良好的政策环境 为大数据发展创造了难得的政策机遇。2015年，我国规模以上电子信息产业总规模超过15.5万亿元，比“十一五”期末翻了一番。大型数据中心向绿色化、集约化发展，云计算服务逐渐成熟，国内龙头企业面向大数据新需求，积极推

14、出 新产品和新服务，一批新兴的专业化大数据企业崛起。产业体系雏形初 具为大数据发展 提供了产业基础成熟公司 新创公司10亿元以上1亿元-10亿元5000万元-1亿元1000万元-5000万元1000万元以下珠三角地区和京津 冀地区是大数据产 业最具创新活力的 区域。京津冀地区和珠三角地 区呈现大中小企业梯次 发展的健康结构，龙头 企业数量较多，带动能 力相对较高。京津冀和珠三角成为最具创新活力与带动能力的区域Part 5 大数据现状及未来发展发展趋势 随着大数据技术的快速发展，随着大数据技术的快速发展，企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策。企业和政府部门开始已经开始

15、运用大数据来进行业务的分析、预测和决策。01机器学习成为智能分析核心技术近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用。02多种科技和学科交叉融合大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。03政府大数据将迅速发展近日，国家相关部门就实施国家大数据战略进行第二次集体学习，指出将推动实施国家大数

16、据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。因此，2018年政府将步入大数据建设快速发展的新阶段。04物联网、云技术、大数据和网络安全深度融合数据管理技术，如数据质量控制、数据准备、数据分析以及数据整合等方面的融合程度将在2018年达到新的高度。当我们对智能设备的依赖程度增加时，互通性以及机器学习将会成为保护资产免遭网络安全危害的重要手段。05基于知识图谱的大数据应用将成为热门应用场景知识图谱的应用场景非常广泛，比如搜索、问答、推荐系统、反欺诈、不一致性验证、异常分析、客户管理等。2018年，基于知识图谱的大

17、数据应用将衍生出更多热门应用场景。06隐私的保护与大数据的安全备受关注大数据应用在带来便利的同时，也暴露了一系列问题，人们开始担心个人信息的安全，骚扰电话、账户盗用、地址泄露如何保护隐私大数据也将提上日程。Part 5 大数据现状及未来发展大数据平台将成为成长性最高的领域03云计算技术发展为大 数据存储和挖掘提供 了重要的计算和存储 资源保障。02智能化、网络化、平台 化加速了数据的采集 和积累。01商贸、政务、金融、医疗卫生、工业等各 行各业数据指导决策 的需求日益迫切。各类互联网平台从原有的信息服务平台向“数据+”信息服务平台转变，大数据平台成为了信息通信领域增长性最快领域。Part 5

18、大数据现状及未来发展THANKS6大差距你与职场精英之间的6大差距完成有效完成工作是为了完成任务、不考虑好的结果工作是为了好结果内心不是非常接受这个工作、不开心主动跟领导沟通，同事协助不主动找领导沟通工作是表现自己能力的机会没有为了好的结果寻求好方法做好一份工作是一次很好的学习机会工作马虎，不细致为自己做，不是为了老板做感觉的是压力不是动力结果好事评判工作好的标准内心觉得是工作不是机会成就工作成就自己被动工作主动工作等着领导指派工作领导指派的工作第一时间完成领导安排的工作等着领导催主动跟领导要工作没有紧迫感主动协助同事完成工作工作开心最重要公司重要活动主要参与并承担责任最好一天没工作对工作负责

19、有点压力就受不了主动沟通，客户，同事，领导得过且过勤奋、努力、上进抱怨担当为什么他那么轻松、为什么我老加班老板这件事情我负责为什么我工作这么多老板，这个工作我能做为什么他不配和我老板公司有压力，我得奖金可以晚点发老板为什么对我意见这么大老板这个客户很重要，我想去拜访一次为什么我得工资这么低这个月业绩我一定想办法完成他为什么能拿奖金这件事，老板你不用操心了指标给我这么高跟着公司一起成长员工思维老板思维只要我开心就好一切为公司着想我是来打工的公司发展好，我才会好公司赚不赚钱跟我没关系主动、积极、乐观、责任、担当公司发展跟我没关系小我，事大，做好每一件工作早九晚五，下班了，别找我大局观、跟同事关系好

20、老板，这事不应该是我做的关注行业趋势，品类趋势本位主义以公司为荣我为中心团队为中心我是有个性有脾气的团队利益至上这件事情我很不爽脾气是假的，成事才是真的我的想法是这样这样的有牺牲精神、奉献精神老板，我不认可这件事情第一时间融入团队我觉得太累了敢于承担责任休假去了，年假为什么不休做事有头有尾这件事情跟我无关不抱怨，少脾气不求上进追求发展能拿到工资就好感觉自己懂得太少，每天学习我不想太累这个我想试试，我相信能做好这个事情别找我，不是我的职责事业为重，娱乐为轻这个我搞不懂，也学不会敢于挑大梁一看书就犯困工作是为了学习，积累经验我已经做完了，结果跟我没关系目标清晰，执行力强随便你们，你们看着办不懂就问，不会就学转化能力荣誉出品