大数据与云计算的关系及其对通信行业的影响解析(共7页).doc

精选优质文档-倾情为你奉上大数据与云计算的关系及其对通信行业的影响以 2011年 5月麦肯锡发布大数据的下一个前沿:创新、竞争和生产力为起点,大 数据概念开始持续发酵。 2012年,大数据从技术圈进入主流市场,得到许多国家、社会组 织和企业的看好和广泛应用。 2012年 1月, 达沃斯世界经济论坛发布了一份题为 大数据, 大影响 (Big Data, Big Impact的报告, 3月,美国政府发布大数据开发倡议 ,之后英 国、日本、德国、加拿大等国纷纷效仿,推出与大数据应用相关的战略研究,自此一场关于 “大数据” 的战略争夺已经拉开战幕那么, 到底什么是大数据?它与云计算是什么关系? 对通信行业又意味着什么呢?一、认识大数据1.大数据的含义与特征地球上的煤炭、 石油、 天然气等自然资源在消耗中不断减少, 面临枯竭; 而数据随着应 用的不断创新, 在使用中生长和丰富。 大数据的出现, 就是数据的快速增长带来质的变化的 结果。对于大数据还没有一个正式的定义, 目前最为普遍的定义就是 “用传统方法或工具不能 处理或分析的数据” 。大数据具有大量、速度快和多样性三大特征,这些特征是传统数据处 理方法和工具所无法胜任的。大量 (V olume 是指数据量非常庞大, 主要体现在数据存储量大和计算量大。 根据 IDC 数字宇宙膨胀:到 2010年全球信息增长预测中统计的数据, 2006年全球每年制造、复 制出的数字信息量共计 16.1万 PB , 当年信息产生量大约是历史上图书信息总量的 3000倍; 至 2010年,数字信息总量达 98.8万 PB 。专家指出, 2020年年度数据将增加 43倍。因此, 大数据中的数据不再以几个 GB 或几个 TB 为单位来衡量,而是以 PB (1千个 T 、 EB (1百万个 T 或 ZB (10亿个 T 为计量单位。速度 (Velocity 一方面是指数据在不断更新, 增长的速度快, 另一方面是指数据存储、 传 输等处理速度很快。短短 60秒, Y ouTube 用户会上传 48小时的视频; Google 会收到 200万次搜索请求并极快地返回结果; Twitter 要处理 100万条 Tweets 信息;网购产生 27.2万 美元的交易; App Store 有 4.7万次下载;全球新增网页 571个。数据处理的速度也要求越 来越快, 甚至是实时处理, 比如灾难的预测, 需很快的对灾难发生的程度、 影响的区域范围 等进行量化。如日本大地震发生后仅 9分钟,美国国家海洋和大气管理局(NOAA 就发布 了详细的海啸预警。多样性 (Variety 指数据包含结构化的数据表和半结构化、非结构化的文本、视频、图像 等信息, 而且数据之间的交互非常频繁和广泛。 具体包括三个方面:一是数据来源多, 企业 所面对的传统数据主要是交易数据, 而互联网和物联网的发展, 带来了诸如微博、 社交网站、 传感器等多种来源。 二是数据类型多, 并且以非结构化数据为主。传统的企业中, 数据都是 以表格的形式保存。而大数据中 70%-85%的数据是如图片、音频、视频网络日志、链接信 息等非结构化和半结构化的数据。 三是数据之间关联性强, 频繁交互。 如游客在旅游途中上 传的照片和日志,就与游客的位置、行程等信息有了很强的关联性。2.大数据的作用与意义商业智能的深入发展使得商业决策已经越来越依赖于数据。 然而, 传统的商业智能系统 中用以分析的数据, 大都是企业内部的运营数据, 它们只占到了企业所能获取的全部数据的 15%。大数据使得企业能够分析更多的数据,从而使得分析结果更真实,能够获取新的洞察 力,因此大数据能带来更大的价值。对于国家和政府, 大数据能够强化国家安全, 推动政府开放, 提高公共决策的预见性和响应性。 各国军队都重视掌握技术优势, 最大限度提升自己的存储、 挖掘和使用 “海量数据” 的能力, 通过海量数据挖掘高价值情报, 提高快速反应能力。 如美国中央情报局通过利用大 数据技术, 将分析搜集的数据时间由 63天缩减到 27分钟。 世界上已经有不少国家已经加入 到“数据开放”的潮流中,美国、英国是这股潮流的领军者,如美国推出了 data.gov ,英国 推出了 data.gove.uk ,数据开放推动政府不断开放。大数据能够帮助政府部门提高公共政策 制定的效率,联合国 2012年 5月对外公布名为大数据促发展:挑战与机遇的白皮书, 书中探讨了利用互联网数据推动全球发展, 如可以对社交网络和手机短信中的信息进行情绪 分析,从而对失业率、疾病暴发等进行趋势预测分析。又如,政府可以根据农产品的“移动 支付”数据、 “采购投入”和“补贴”数据更好地预测粮食生产趋势,推出高针对性的鼓励 措施。对于企业,大数据将开启商业智能的新阶段。 纽约时报撰文称, “大数据”正在对各 个领域都造成影响, 在贸易、 经济和其他领域中, 越来越多的决策基于数据解析做出, 而不 是像昔日更多凭借经验和直觉。 IBM 和麦肯锡的研究都表明,应用大数据的企业确实呈现 出明显竞争优势, 如收入增长更快。 大数据对企业竞争力的影响主要表现在客户洞察、 营销 规划、产品创新、物流管理、流程优化、人力资源管理、风险控制等七个方面。比如通过大 数据进行客户洞察, 电器连锁零售商 Best Buy 搜集了 6000万美国家庭五年来的消费模式数 据, 并根据客户的消费情况对客户进行细分, 并对每个细分群取了一个名字, 其中最重要的 5个细分群分别是贝瑞 (Barry 、 吉尔 (Jill 、 巴兹 (Buzz 、 瑞 (Ray 、 以及店铺先生 (Mr.Shop 。 他们的标签分别是富裕的技术发烧友、 忙碌的住在郊区的母亲、 酷爱新玩意的年轻人、 对价 格很敏感的成家男子、以及有自己小公司的先生。根据这一分群, Best Buy 重新设计了店 面, 每类商店主要为一类人服务, 店面设计各不相同。 实践证明, 有针对性专门设计的商店 销售额是普通商店的近两倍。对于个人,大数据将对人们的衣、食、住、行、健康、娱乐等都将产生深刻的影响。比 如借助戴在手臂上或装在口袋里的各种传感器, 你的血压、 心跳、 情绪等多种体征信息被实 时传送到远程健康平台, 系统会根据你当天的运动量、 饮食、 心情、 工作等情况给你最佳的 锻炼和调节建议。总之,大数据的战略意义和对社会的重大影响已毋庸置疑,它有望开启继互联网、物 联网之后有一个新的时代大数据时代即将到来。二、大数据与云计算的关系近几年来,云计算受到学术界和工业界的热捧,随后,大数据横空出世,更是炙手可 热,经常有人把大数据和云计算相提并论。那么,大数据和云计算之间是什么关系呢? 大数据与云计算确实有一些相同之处。它们都是为数据存储和处理服务的,都需要占 用大量的存储和计算资源,而且大数据用到的海量数据存储技术、海量数据管理技术、 MapReduce 等并行处理技术也都是云计算的关键技术。但是,大数据与云计算也有很多方 面的差异。 云计算的目的是通过互联网更好地调用、 扩展和管理计算及存储资源和能力, 以 节省企业的 IT 部署成本, 其处理对象是 IT 资源、处理能力和各种应用 。云计算从根本上 改变了企业的 IT 架构, 产业发展的主要推动力量是存储及计算设备的生产厂商和拥有计算 及存储资源的企业。 而大数据的目的是充分挖掘海量数据中的信息, 发现数据中的价值, 其 处理对象是各种数据 。大数据使得企业从“业务驱动”转变为“数据驱动” ,从而改变了企 业的业务架构, 其直接受益者不是 IT 部门, 而是业务部门或企业 CEO , 产业发展的主要推 动力量是从事数据存储与处理的软件厂商和拥有大量数据的企业。因此, 不难发现云计算和大数据实际上是工具与用途的关系, 即云计算为大数据提供了 有力的工具和途径, 大数据为云计算提供了很有价值的用武之地。 而且, 从所使用的技术来看,大数据可以理解为云计算的延伸。大数据若与云计算相结合, 将相得益彰, 互相都能发挥最大的优势。 云计算能为大数据 提供强大的存储和计算能力, 更加迅速地处理大数据的丰富信息, 并更方便地提供服务; 而 来自大数据的业务需求, 能为云计算的落地找到更多更好的实际应用。 当然大数据的出现也 使得云计算会面临新的考验。三、大数据与云计算相结合,给通信业带来新的机会大数据与云计算相结合所释放出的巨大能力, 几乎将波及到所有的行业, 而信息、 互联 网和通信产业将首当其冲。 特别是通信业, 在传统话音业务低值化、 增值业务互联网化的趋 势中,大数据与云计算有望成为其加速转型的动力和途径,将在五大领域带来新的机会。 1.提高网络服务质量随着互联网和移动互联网的发展,运营商的网络将会更加繁忙,用于监测网络状态的 信令数据也会快速增长。 通过大数据的海量分布式存储技术, 可以更好地满足存储需求; 通 过智能分析技术, 能够提高网络维护的实时性, 预测网络流量峰值, 预警异常流量, 有效防 止网络堵塞和宕机,为网络改造、优化提供参考,从而提高网络服务质量,提升用户体验。 2.更加精准的客户洞察客户洞察是指在企业或部门层面对客户数据的全面掌握并在市场营销、客户联系等环 节的有效应用。 通过使用大数据分析、 数据挖掘等工具和方法, 电信运营商能够整合来自市 场部门、 销售部门、 服务部门的数据, 从各种不同的角度全面了解自己的客户, 对客户形象 进行精准刻画, 以寻找目标客户, 制定有针对性的营销计划、 产品组合或商业决策, 提升客 户价值。判断客户对企业产品、服务的感知,有针对性的进行改进和完善。通过情感分析、 语义分析等技术,可以针对客户的喜好、情绪,进行个性化的业务推荐。3.提升行业信息化服务水平智慧城市的发展以及教育、 医疗、 交通、 环境保护等关系到国计民生的行业, 都具有极 大的信息化需求。 目前, 电信运营商针对智慧城市及行业信息化服务虽然能够提供一揽子解 决方案, 但主要还是提供终端和通信管道, 行业应用软件和系统集成尚需要整合外部的应用 软件提供商, 对于用户的价值主要体现在网络化、 自动化等较低水平。 而随着社会、 经济的 发展, 用户及用户的用户对于智能化的要求将逐步强烈, 因此运营商如能把大数据技术整合 到行业信息化方案中, 帮助用户通过数据采集、 存储和分析更好地进行决策, 将能极大提升 信息化服务的价值。4.基于云的数据分析服务大数据和云计算相结合, 使得数据分析也可以作为一种服务进行提供。 电信运营商目前 的云计算服务, 主要还是以提供数据中心等资源为主。 下一步, 电信运营商可以在数据中心 的基础上, 搭建大数据分析平台, 通过自己采集、 第三方提供等方式汇聚数据, 并对数据进 行分析,为相关企业提供分析报告。5.保障数据安全大数据也有大风险, 其中之一就是用户隐私泄露及数据安全风险。 由于大量的数据产生、 存储和分析, 数据保密和隐私问题将在未来几年内成为一个更大的问题, 企业必须尽快开始 研究新的数据保护措施。 而电信运营商在网络安全、 数据中心安全等方面具有优势, 如能以 此为基础,建立整个大数据领域的安全保障优势,必将从大数据的发展中获益匪浅。专心-专注-专业