大数据、云计算与移动应用(第1讲)大数据现象与机遇33.pptx

《大数据、云计算与移动应用(第1讲)大数据现象与机遇33.pptx》由会员分享，可在线阅读，更多相关《大数据、云计算与移动应用(第1讲)大数据现象与机遇33.pptx（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据、云计算大数据、云计算与移动应用与移动应用培训专用第第1讲讲大数据现象与大数据现象与机遇机遇Big Data&Cloud ComputingBig Data&Cloud Computing2培训专用大数据现象与挑战大数据现象与挑战3培训专用大数据成为全球新热点数据来源：百度搜索量统计培训专用大数据现象培训专用大数据产生原因来自“大人群”泛互联网数据来自大量传感器的机器数据行业内容数据多结构专业数据培训专用全球每秒钟发送 2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天

2、发布 5千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3百万笔订单每个月网民在Facebook 上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据在web2.0的时代，人们从信息的被动接受者变成了主动创造者Big Data时代到来Web 2.0时代培训专用新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本培训专用未来增长不可限量来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全

3、球数据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍培训专用数据利用比例直降计算速度越来越快，企业却越来越笨。今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。IBM实体分析首席科学家Jeff Jonas培训专用数据使用率提升10%的影响培训专用预测2020年，大数据应用市场规模将达到近2600亿美元公共管理公共管理医疗医疗制造制造位置服务位置服务零售零售大数据大数据市场前景市场前景对欧洲的公共管理部门来说，大数据每年有2500 亿欧元的潜在价值-比希腊的GDP 还高对美国医疗行业来说，大数据每年拥有3000 亿美元的潜在价值生

4、产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7%利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值零售商可以利用大数据使经营利润取得60%的增长大数据成为全球新的经济增长点培训专用各国政府高度重视美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative”将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等培训专用IT盛宴培训专用1.V

5、olume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合什么是Big Data数据量

6、巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量大数据的4V特征培训专用大数据=海量数据+复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer

7、协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。大数据的构成培训专用大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理Hadoop生态系统针对大量数据进行分布式处理的系统框架实时数据处理StreamingData流计算引擎非结构化数据处理文本处理技术；自然语言理解；多媒体处理技术文本内容分词与分析；图像、音视频分析可视化交互界面通过交互式可视化界面辅助用户进行分析交互式可视化探索分析技术智能数据分析大规

8、模机器学习技术计算机模拟人类学习行为，包括特征提取、图形生成等保护隐私数据与信息个体的对应关系等安全技术高效存储和管理大规模数据数据存储备份技术、数据放置和调度技术、数据溯源存储、放置、调度大规模的数据数据隐私保护数据隐私防范保护措施与数据安全技术大数据采集处理大数据分析存储、组织、管理培训专用大数据的技术领域-分布式领域海量存储海量存储GFSHDFSAmazon S3TFSCEPH离线计算离线计算MapReduceTenzingHive/PigDremelDrillImpalaElastic MapReduce在线计算在线计算SpannerBigTableHBaseSimpleDBDynam

9、oDBRedisMongDB流式计算流式计算S4Puma2StormStreamBase相关领域相关领域ChubbyZookeeperPregelHAMAMahoutSparkCaffineProtocolBufferAvro/Thrift培训专用大数据的技术领域-数据分析与挖掘相关工具:SAS，R，Rhive/Rhadoop,Mahout，Xlib，OpenMPI培训专用国外运营商利用大数据应用按流量种类的固定收费，解除用户流量后顾之忧培养用户使用数据业务习惯，增强用户粘性针对预付费用户群，扩大流量收入面向智能终端用户面向低端、高度同质化竞争市场p西班牙电信：包月流量套餐定制（根据客户访问内

10、容和SLA要求，提供不同费率套餐）pT-Mobile：应用大数据技术，降低客户流失率。在多个IT系统中整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%。培训专用中移动依托大云，试点经分p中国移动：历时多年打造大云平台集团组织技术验证：基于大云平台，以经分为切入点，利用现有数据，探索大数据技术，已在河北等三省试点应用探索：尝试利用大数据技术识别异常话单产品线：分析型PaaS产品，大数据处理的一个主要产品，包括Hadoop基础平台。基于Hadoop的大数据仓

11、库。并行数据挖掘工具。搜索引擎系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。培训专用联通试点流量清单查询p中国联通：以“流量清单查询”探索大数据技术平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。功能：客户服务人员提供客户上网记录的快速查询服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月份正式发布。q建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公司，由集团公司统一处理。”培训专用互联网公

12、司：阿里巴巴阿里巴巴的企业愿景是要做分享数据的第一平台。大数据时代“将阿里集团变成一家真正意义上的数据公司”知道“你是谁，你想要什么”阿里巴巴集团所积淀的商业数据，支付宝、淘宝、阿里金融、B2B的数据都会成为这个巨大的数据分享平台的一部分，将会获得深度发掘和应用。培训专用马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的

13、数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代马云：大数据赋予我们洞察未来的能力培训专用禽流感和板蓝根培训专用数据化运营培训专用行业分析培训专用大数据案例：阿里金融推动中国银行业的变革商家小额贷款无抵押无担保1秒钟贷款、24小时随借随还信用支付无准入门槛基于数据模型自动计算额度培训专用2010年年6月阿里巴巴小额贷款股份有限公司成立，标志着阿里巴巴电子商务月阿里巴巴小额贷款股份有限公司成立，标志着阿里巴巴电子商务

14、+金融服务商业模金融服务商业模式的建立式的建立致力于为全球所有人创造便捷的网上交易渠道阿里国际业务，协协助全球小企业助全球小企业通过电子商务通过电子商务拓展海外业务拓展海外业务，国际业务用户数2940万，企业商铺数量250万阿里小企业业务，主要经营服务中国小企业的电子商务平台，小企业注册用户数为5480万名，企业商铺数量为840万C2C网上购物平台，旨在建立全面完善的电子商务生态系统，拥有8亿多条产品信息和5亿名注册用户中国平台式的B2C购物网站，中国全面的品质团购团购网站提供全面商品、商家、购物优惠信息的网上购物搜索引擎先进的分布式云计算服务开发商，电子商务数据采集、海量电子商务数据快速处理

15、，和定制化的电子商务数据服务2005年10月收购中国雅虎，为阿里巴巴集团的全资子公司中国主流的第三方网上支付平台，阿里巴巴的关联公司阿里巴巴集团七大事业群阿里巴巴集团七大事业群浙江阿里巴巴小额贷款股份有限公司重庆阿里巴巴小额贷款股份有限公司2010年6月8日成立，股东包括阿里巴巴（70%）、复星集团（10%）、银泰百货（10%）、万向集团（10%），是国内首家面向电子商务领域小微企业融资需求的小额贷款公司专注于小微企业专注于小微企业的融资服务提供的融资服务提供商商2011年6月成立，为阿里巴巴第二家小额贷款公司培训专用阿里巴巴介入金融服务领域，核心优势是其拥有的庞大的客户资源和数据，并能基阿里

16、巴巴介入金融服务领域，核心优势是其拥有的庞大的客户资源和数据，并能基于云计算平台通过对客户信息的充分分析、挖掘，实现对客户信用水平和还款能力于云计算平台通过对客户信息的充分分析、挖掘，实现对客户信用水平和还款能力的准确、实时把控的准确、实时把控商品供应商（企业和个人）商品购买者商品购买者（企业和个人）（企业和个人）资金流资金流云计算平云计算平台台信息流交易信息信息流网络数据模型在线视频调查模式交叉检验技术(辅以第三方验证)客户信用水平和还款能力评估报告和结果交易信息发放发放贷款贷款信息流监控客户现金流，如出现违约，可截断客户的现金流各渠道信息和调研获得的客户信用记录、交易状况、投诉情况海量的客

17、户和交易数据赋予了阿里巴巴掌握客户信息及其交易行为的强大的优势培训专用阿里小贷公司建立了多层次微贷风险预警和管理体系，实现了贷款前、中、后三个阿里小贷公司建立了多层次微贷风险预警和管理体系，实现了贷款前、中、后三个环节的紧密结合，有效规避和防范了贷款风险环节的紧密结合，有效规避和防范了贷款风险贷前贷前贷中贷中贷后贷后根据企业电子商务经营数据和第三方认证数据，辨析企业经营状况，反应企业偿债能力通过支付宝及阿里云平台实时监控商户的交易状况和现金流，为风险预警提供信息输入通过互联网监控企业经营动态和行为，可能影响正常履约的行为将被预警贷后监控和网络店铺（账号）关停机制，提高客户违约成本，有效控制贷款

18、风险贷前、贷中、贷后的一体贷前、贷中、贷后的一体化数据采集和分析化数据采集和分析线上行为线上行为：社区活动、在线交易、增值服务、产品发布、企业基本资料线下行为线下行为：银行流水、经营模式、财务状况、家庭情况等培训专用阿里巴巴金融凭借强大的数据支持，充分发挥成本和效率的优势，使得微贷工厂化阿里巴巴金融凭借强大的数据支持，充分发挥成本和效率的优势，使得微贷工厂化的运营模式日趋成熟，极具发展潜力的运营模式日趋成熟，极具发展潜力商户阿里小贷提出贷款申请审核客户数据视频远程沟通客户资信评估发放贷款收到贷款视频远程沟通数据支持数据支持网络网络/线线上操作上操作2012年上半年累积投放贷款170万笔9000

19、笔每笔贷款7000元日贷款累计提供贷款的企业数13万260亿单日利息收入累计贷款总额全年利息收入100万3.65亿从提出申请，到商户收到贷款，整个过程全流程系从提出申请，到商户收到贷款，整个过程全流程系统化、无纸化，最快只需三分钟统化、无纸化，最快只需三分钟阿里巴巴集团2011年净利润约89%的企业客户需要融资，融资需求在50万以下万以下的企业约占的企业约占55.3%，200万万以下的约占以下的约占87.3%，200万以下的融资需求是传统金融的短板小额贷款经营利润率在30-50%之间21亿培训专用谢谢 谢！谢！刘 鹏 中国云计算 中国大数据 培训专用演讲完毕，谢谢观看！培训专用内容总结大数据、

20、云计算。行业内容数据多结构专业数据。每天亚马逊上将产生 6.3 百万笔订单。每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB。Google 上每天需要处理24PB 的数据。在web 2.0的时代，人们从信息的被动接受者变成了主动创造者。生产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7%。利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值。大数据区分于传统数据最显著的特征。大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。大数据的技术领域-分布式领域。按流量种类的固定收费，解除用户流量后顾之忧。培养用户使用数据业务习惯，增强用户粘性。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%。平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。阿里巴巴的企业愿景是要做分享数据的第一平台。大数据时代“将阿里集团变成一家真正意义上的数据公司”培训专用