云计算和大数据知识简介.doc

《云计算和大数据知识简介.doc》由会员分享，可在线阅读，更多相关《云计算和大数据知识简介.doc（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云计算和大数据知识简介一、 关于云计算和大数据（一）云计算云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。目前广为接受的是美国国家标准与技术研究院（NIST）定义：云计算是

2、一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。简单来说，云计算就是政府和企业将需要计算的信息，通过网络交由云计算平台来计算，然后通过广泛的数据和信息共享，得到针对性比较强的统计信息、数据分析结果。比如，通过云计算平台，分析全国全省的市场运行趋势，这个信息是无法在一台计算机中完成的，一是没有数据量，二是计算量太大，而通过云计算平台，就可以在较短时间甚至是实时得到信息，然后就可以针对市场的情况、潜在的企业投资商、潜在的客户来进

3、行招商引资、生产产品。再比如，淘宝网目前根据网购客户的购买倾向、评价信息来进行数据分析，然后与美的等电器生产商进行大数据信息共享、交换，从而根据用户的需求和爱好，生产出更加适合市场的产品。下一步的工业4.0，就是生产商和用户点对点的生产销售模式，这样的生产方式，必须通过大数据来完成，否则，一台电脑或者几台服务器都无法无成分析、设计、生产的过程。（二）大数据大数据，又可以称作巨量数据、海量数据，指的是所涉及的数据量级规模巨大到目前无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。简单的例子：每天乃至每年全国所有移动电话的通话记录就是常见的所谓大数据，这一庞大的数据是人力

4、所根本无法解读的。而通过运营商的服务器整合数据后进行分析，就能得到一些人们感兴趣的信息，例如：中秋节期间长途电话的比例远高于平常，除夕夜短信数量是平常每一天的上万倍等等，都是大数据处理技术所能带给人们的对于庞大数据的独特解读。大数据有着以下四个显著的特征：1数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB约为1015.字节），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。2数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。3处理

5、速度快。这是大数据区分于传统数据挖掘的最显著特征。在海量的数据面前，处理数据的效率就是企业的生命。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。4价值密度低。价值密度的高低与数据总量的大小成反比。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。大数据技术（例如数据挖掘）就是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统等。随着经济社会的发展，全球市场经济的融合，大数据显得越来越重要。政府部门可以利用大数

6、据整合行政资源，比如整合发展工信、建设、水利等各行业的项目信息，同时具备与外部资本、国家投资对接的分析功能；可以整合各地方、各级的医疗、民生、教育资源，实现资源配置的科学化。企业可以通过大数据实现生产与市场的对接分析，使生产的产品更加适销对路；可以通过大数据进行宣传，既减少宣传广告的成本，又可以使宣传或广告能及时准确地到达用户。如某位用户在淘宝搜索过某种产品，淘宝通过大数据技术，在用户下次登录淘宝时给用户推荐类似的产品。既方便了用户，又推广了产品。（三）云计算和大数据的关系云计算，再一次改变了数据的存储和访问方式。在云计算出现之前，数据大多分散存储在每个人的个人电脑、每家企业的服务器中。云计算

7、，尤其是公用云计算，把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或者专用应用程序来访问。一些大型的网站，通过提供基于“云”的服务，积累了大量的数据，成为事实上的“数据中心”。“数据”是这些大型网站最为核心的资产，他们不惜花费高昂的费用，付出巨大的努力，来存储这些数据，谷歌公司甚至购买了单独的水力发电站，为其庞大的数据中心提供充足的电力。根据一些公开资料显示，谷歌在全球分布着大约36个数据中心。近几年，国内各地兴起了建设云计算基地的风潮，客观上为“大数据”的诞生准备了必备的储存空间和访问渠道。各大银行、电信运营商、大型互联网公司、政府各部委等都拥有各自的“数据中心”。绝

8、大多数的银行、电信、互联网公司都已经实现了全国级的数据集中的工作。云计算是大数据诞生的前提和必要条件。没有云计算，就会缺少数据集中采集和存储的商业基础，而云计算为大数据提供了存储空间和访问渠道；大数据则是云计算的灵魂和必然的升级方向。二、 云计算和大数据的发展状况（一）国内云计算技术及产业状况2012年5月，工业和信息化部发布通信业“十二五”发展规划，将云计算定位为构建国家级信息基础设施、实现融合创新的关键技术和重点发展方向。2012年9月，科技部发布首个部级云计算专项规划中国云科技发展“十二五”专项规划，对于加快云计算技术创新和产业发展具有重要意义。我国云计算基础产品与操作系统技术方面取得显

9、著进展。在云计算基础产品方面，我国已经突破EB级（1EB约1018字节）存储系统软、硬件技术和支持亿级任务并发处理的服务器系统技术。同时，互联网企业在大规模云计算操作系统方面取得突破，包括弹性计算系统、分布式计算系统、结构化数据存储系统和开放存储系统等。2013年工业和信息化部正积极开展云计算综合标准的制定工作。在梳理现有各类信息技术标准的基础上制定新的云计算标准，修订已有的标准，建设形成满足行业管理和用户需求的云计算标准体系。1部分省市政府搭建云计算基础平台，推进云计算的发展。国家发改委、工信部将北京、上海、深圳、杭州、无锡、哈尔滨市确定为国家云计算服务创新发展试点城市。北京云基地的建设。作

10、为云计算、大数据时代基础设施的建设者和创新者，云基地各创业企业的产品和服务涵盖云计算各个环节，包括服务器、模块化数据中心、瘦终端等硬件产品的设计和生产，云中间件、云管理平台、桌面虚拟化等基础软件研发；大数据、智能知识库、分布式计算等应用软件，以及定制化云计算解决方案，构成完整的上下游和中间平台完备的云生态产业链。上海市在2010年8月颁布推进云计算产业发展行动方案，即“云海计划”，“上海市云计算产业基地”在上海市北高新技术服务业园区落户。深圳市将云计算作为“智慧深圳”的重要支撑纳入深圳市“十二五”发展规划。深圳云计算国际联合实验室在2011年4月正式揭牌，该实验室是深圳云计算产业协会联合英特尔

11、、IBM、金蝶等国内外相关企业创建的专业性技术与应用研发实验室。深圳云计算中心在2012年1月完成验收。杭州云计算产业园在2011年10月开园，形成以“技术创新、人才创新和运作模式创新”为支撑的云计算产业创新体系，打造云计算产业集聚区。杭州湾云计算(西湖云公共服务平台)是全国首家利用云计算技术服务于电子商务产业的政、产、学、研一体的公共服务平台。无锡城市云计算中心在2013年8月正式启用，作为国内首个物联网云计算中心，无锡城市云计算中心大量使用自主知识产权的产品、技术和国产设备，有效保障了云服务的“安全、自主、可控”。该中心现已为无锡电子政务、物联网、移动互联网等关键应用提供云计算服务，逐渐形

12、成开放的城市云生态体系。哈尔滨市提出以“发挥政府引导作用，以电子政务建设为切入点，大力推进云计算技术应用，以应用带市场、以应用促招商、以应用谋发展”的工作思路，确定了“通过利用政府资源，实施云计算应用示范工程，培育和引进一批云计算骨干企业，形成一批自主知识产权的核心技术和拳头产品，实现一批在全国具有示范意义的典型应用”的工作任务。2企业和科研机构也在积极进行云计算相关项目的研发。阿里云于2013年12月在“飞天”平台之上启动一系列举措。包括低门槛入云策略、一亿元扶持计划、开发全新开发者服务平台等多项内容。从产品、价格、服务以及第三方合作等多个角度，打破传统商业模式，以用户第一的思维，创新云服务

13、，构建更加健康的云计算生态圈。2013年10月，阿里云推出“飞天5K集群”项目，取得技术上的重大突破，拥有了只有谷歌、脸谱这样的顶级技术型IT公司才能达到的单集群规模达到5000台服务器的通用计算平台。百度在2011年9月正式开放其云计算平台，在云计算基础架构和海量数据处理能力已较为成熟，将陆续开放基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）等多层面的云平台服务，如云存储和虚拟机、应用执行引擎、智能数据分析和事件通知服务、网盘、地图、帐号和开放应用程序接口等。百度云操作系统是云和端结合的通用性平台，以个人为中心来组织数据和应用，形成产品研发的统一、落地终端的统一、

14、运营渠道的统一。云操作系统提供网页应用化的功能，还将支持新型的网页应用。浪潮集团已形成涵盖IaaS、PaaS、SaaS三个层面的云计算整体解决方案服务能力，建立包括HPC/IDC、媒体云、教育云等跨越十余个行业的云应用并成功在非洲、东南亚等地区进行推广。通过承担“高端容错”和“海量存储”两个国家863计划重大专项，“浪潮天梭K1关键应用主机”和“浪潮PB级高性能海量存储系统”均通过国家验收，并已成功在金融、税务等核心领域部署。在2013年，浪潮发布了其全新升级的云数据中心操作系统云海OS V3.0，该产品基于开放、融合的技术理念，能够帮助用户从孤立低效的传统数据中心向智能高效的云数据中心转变。

15、华为公司秉承开放的弹性云计算的理念，如推出了FusionCloud云战略，提供云数据中心、云计算产品、云服务解决方案。“ICT软硬件基础设施、顶层设计咨询服务和联合第三方开发智慧城市应用”是华为企业业务的三个主要方向，在云数据中心的基础上，实现“云-管-端”的分层建设，打造可以面向未来的城市系统框架。华为在2013年的应用案例，如天津LTE政务网（可为政府、公安等行业用户提供），采用的是华为基于TD-LTE技术的方案，直接支持数据、视频业务，并为未来专业集群、应急通信车等提供资源预留。（二）大数据技术及产业状况大数据的应用领域涵盖了包括了大科学、无线射频辨识（RFID）、传感设备网络、天文学、

16、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦查、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等，已经不可避免的成为当今社会最炙手可热的技术之一。1国外的大数据发展状况。美国在2012年就开始着手大数据，奥巴马政府投资近两亿美元开始推行大数据的研究与发展计划，本计划涉及美国国防部、美国卫生与公共服务部门等多个联邦部门和机构，意在通过提高从大型复杂的数据中提取知识的能力，进而加快科学和工程的开发，保障国家安全，而且奥巴马本人更是强调大数据会是之后的未来石油。美国的大数据产业已经创造了巨大的价值，比如：大数据使美国的

17、交通更加便利。通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题，日本总务省于2012年7月新发布“活跃ICT日本”新综合战略，今后日本的ICT战略方向备受关注。其中最为关注的是其大数据政策（从各种各样类型

18、的数据中，快速获得有价值信息的能力），日本正在针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题作出贡献。2013年6月，安倍内阁正式公布了新IT战略“创建最尖端IT国家宣言”。“宣言”全面阐述了20132020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。2国内的大数据发展状况。争夺新一轮技术革命制高点的战役已经打响，中国政府在美国提出大数据研究和发展计划后也批复了“十二五国家政务信息化建设工程规划”， 专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、

19、共享和智能的大数据的时代已经来临。2012年8月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息基础设施演进升级，增强信息产品供给能力，形成行业联盟，制定行业标准，构建大数据产业链，促进创新链与产业链有效嫁接。同时，构建大数据研究平台，整合创新资源，实施“专项计划”，突破关键技术。大力推进国家发改委和中科院基础研究大数据服务平台应用示范项目，广东率先启动大数据战略推动政府转型，北京正积极探索政府公布大数据供社会开发，上海也启动大数据研发三年行动计划。三、云计算和大数据技术在生产生活中的应用（一）两化融合德国“工业4.0”强调通过信息网络与物理生产系统的融合，即建设信息物理融合系统

20、（Cyber-Physical System，CPS）来改变当前的工业生产与服务模式。美国通用电器（General Electric Company）公司倡导的“工业互联网”，则强调通过智能机器间的连接并最终将人机连接，结合软件和大数据分析，来重构全球工业。事实上，无论工业4.0还是工业互联网，其主要特征都是智能和互联，而主旨都在于通过充分利用信息通讯技术，把产品、机器、资源和人有机结合在一起，推动工业向基于大数据分析与应用基础上的智能化转型。智能制造时代的到来，也意味着工业大数据时代的到来。工业大数据的应用，将成为未来提升制造业生产力、竞争力、创新能力的关键要素，也是目前全球工业转型必须面对

21、的重要课题。下面是几个工业大数据的应用实例：1产品创新的应用。福特公司是这方面的表率，他们将大数据技术应用到了福特福克斯电动车的产品创新和优化中，这款车成为了一款名副其实的“大数据电动车”。第一代福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中，司机持续地更新车辆的加速度、刹车、电池充电和位置信息。这对于司机很有用，但数据也传回福特工程师那里，以了解客户的驾驶习惯，包括如何、何时以及何处充电。即使车辆处于静止状态，它也会持续将车辆胎压和电池系统的数据传送给最近的智能电话。这种以客户为中心的大数据应用场景具有多方面的好处，因为大数据实现了宝贵的新型产品创新和协作方式。司机获得有用的最新信息，

22、而位于底特律的工程师汇总关于驾驶行为的信息，以了解客户，制订产品改进计划，并实施新产品创新。而且，电力公司和其他第三方供应商也可以分析数百万英里的驾驶数据，以决定在何处建立新的充电站，以及如何防止脆弱的电网超负荷运转。2产品故障诊断与预测。在波音的飞机上，发动机、燃油系统、液压和电力系统等数以百计的变量组成了在航状态，这些数据不到几微秒就被测量和发送一次。以波音737为例，发动机在飞行中每30分钟就能产生10TB（约为1013字节）数据。这些数据不仅仅是未来某个时间点能够分析的工程遥测数据，而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报，能有效实现飞机故障诊断和预测。3工业厂址

23、选择和优化。维斯塔斯风力系统，通过在IBM“烈焰风暴”超级计算机上运行IBM BigInsights软件，对气象报告、潮汐相位、地理空间与传感器数据、卫星图像、森林砍伐地图，以及用于精确安装定位的气象建模研究等进行分析，找出安装风力涡轮机和整个风电场最佳的地点。这些工作以往需要数周的分析工作，现在仅需要不足1小时便可完成。当前，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、无线射频辨识（RFID）、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM等技术在工业企业中得到广泛应用，尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用，工业企业也进入了互联网工

24、业的新的发展阶段，工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转，由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据，从数据类型看也多是非结构化数据，生产线的高速运转则对数据的实时性要求也更高。应对工业大数据，搞好云计算和大数据技术能够促进工业化和信息化的深度融合，帮助工业更快的转型，用更低的成本创造更多的价值。（二）智慧医疗根据IBM提供的数据，上海市卫生信息系统，每天生产1000万条数据、已建立起3000万电子健康档案、每天调阅10000万次，信息总量已达20亿条。据统计，到2020年，医疗数据将急剧增长到35ZB（约3.51022字节）,相当于2009年

25、数据量的44倍增长。随着大数据时代的到来，医疗行业的信息化也迎来自己的“大数据时代”。而如何将患者的被动性参与转向主动健康管理，从单一案例效果评估转向过程性、全程性的整体评估和体验；从病种数据管理扩展到健康数据管理，从关注争端和治疗技术跨到预防、护理和康复环节是未来医疗行业需要关注和解决的问题。而大数据，正是一条重要的道路。基于大数据技术，有朝一日，机器的诊疗准确率甚至可能超过人类历史上最有名的名医，智慧医疗将是大数据的下一站之一。1疾病诊疗。塞顿健康护理公司（Seton Healthcare）是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。沃森技术允许企业找到大量病人相关的临床医疗信

26、息，通过大数据处理，更好地分析病人的信息。在癌症治疗领域，目前需要一个月或更长时间才能制定出针对性的药物治疗方案，未来利用沃森技术的认知计算技术可以将周期缩短至一天，极大提高癌症患者的治愈率。2疾病预测。基于人们的搜索情况、购物行为预测大面积疫情爆发的可能性,最经典的“流感预测”便属于此类。如果来自某个区域的“流感”、“板蓝根”搜索需求越来越多,可以在一定程度上推测出该地存在流感的风险。在该领域,包括谷歌（Google）、百度、推特（Twitter）在内的互联网公司都在尝试利用自己平台的大数据优势做疾病预测的相关分析,甚至已经有相关产品推出。3可穿戴医疗设备。通过可穿戴医疗设备采集用户体征数据

27、，如心率、脉率、呼吸频率、体温、热消耗量、血压、血糖和血氧、激素和BMI指数，体脂含量，这些数值经过大数据技术交叉分析的结果可以用来分析用户现在体质状况，主要健康的风险评估，并结合数据可以给出几项关键生理活动：睡眠、饮食、运动和服药的个性化改善建议，让用户保持在一个稳定的身体健康状况。（三）电子商务“十二五”时期，我国电子商务行业发展迅猛，产业规模迅速扩大，电子商务信息、交易和技术等服务企业不断涌现。截止到2013年底，中国电子商务市场交易规模达10.2万亿，同比增长29.9%。其中，B2B电子商务市场交易额达8.2万亿元，同比增长31.2%。网络零售市场交易规模达18851亿元，同比增长42

28、.8%。电子商务在我国的经济体系中占据了越来越重要的地位，随着电子商务的迅猛发展，云计算和大数据技术在其中也得到了长足的应用。1个性化商品推荐。全球电子商务的创始者亚马逊（A）通过传统门店无法比拟的互联网手段，空前地获取了极其丰富的用户行为信息，并且进行深度分析与挖掘。用户行为信息就是用户在网站上发生的所有行为，如搜索、浏览、打分、点评、加入购物筐、取出购物筐、加入收藏列表、购买、使用减价券和退货等；甚至包括在第三方网站上的相关行为，如比价、看相关评测、参与讨论、社交媒体上的交流、与好友互动等。亚马逊通过对这些行为信息的分析和理解，制定对客户的贴心服务及个性化推荐。例如：当客户浏览了多款电视机

29、而没有做购买的行为时，在一定的周期内，把适合客户的品牌、价位和类型的另一款电视机促销的信息通过电子邮件主动发送给客户。这样的个性化推荐服务往往会起到非常好的效果，不仅可以提高客户购买的意愿，缩短购买的路径和时间，通常还可以在比较恰当的时机捕获客户的最佳购买冲动。2个性化营销。“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，通过从推特（Twitter）和脸谱（Facebook）上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户

30、进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。”Informatica（全球领先的独立企业数据集成软件提供商。）的大数据技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。3智慧物流。在以物联网为基础的智慧物流技术流程中，智能终端利用射频识别（RFID）技术、红外感应、激光扫描等传感技术获取商品的各种属性信息，再通过通信手段传递到智能数据中心对数据进行集中统计、分析、管理、共享、利用，从而为物流管理甚至是整体商业经营提供决策支持。大数据技术驱动的智慧物流系统极大地降低了物流成本，提高了企业利润，为企业生产、采购和销售系统的智能融合打下了

31、基础，提高了企业的综合竞争力，更能够使消费者节约成本，轻松、放心购物。（四）智慧城市智慧城市就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。具体说来，智慧城市体现在：智慧交通、智能电网、智慧食品系统、智慧药品系统、智慧环保、智慧水资源管理、智慧气象、智慧企业、智慧银行、智慧政府、智慧家庭、智慧社区、智慧学校、智慧建筑、智能楼宇、智慧油田、智慧农业等诸多方面。大数据就是智慧城市

32、的“大脑”。下面以智慧交通、智能电网举例：1智慧交通。百度地图是大数据智慧交通的典型应用。百度地图提供了丰富的公交换乘、驾车导航的查询功能，为用户提供最适合的路线规划。不仅知道要找的地点在哪，还可以知道如何前往。同时，百度地图还为用户提供了完备的地图功能（如搜索提示、视野内检索、全屏、测距等），便于更好的的使用地图，便捷的找到所求。比如：运用百度地图的语音实时路况提醒功能，可以规划出最佳的下班回家路线，减少道路拥堵的影响。2智能电网。智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给居民，当居民的太阳能有多余电的时候还可以买回来。通

33、过电网收集，每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2-3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。四、我国大数据发展的机遇和困境（一）大数据迎来大发展的机遇大数据的快速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2

34、013年增速将达到138%，达到11.2亿元，产业发展潜力非常巨大。1政府积极介入推动。2009年，联合国启动“全球脉动计划”，借大数据推动落后地区发展。2012年1月，世界经济论坛年会把“大数据、大影响”作为重要议题。美国从开放政府数据、开展关键技术研究和推动大数据应用三方面布局大数据产业。美国在开放政府上非常积极，通过Data.gov开放37万个数据集，并开放网站的API和源代码，提供上千个数据应用。除了推动本国政府数据开放，美国倡导发起全球开放政府数据运动，已有41个国家响应。美国政府还投资两亿美元促进大数据核心技术研究和应用，把大数据放在与集成电路、互联网同等重要的位臵，从国家层面推进

35、。2资本市场对大数据钟爱有加。2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特.斯坦福说：“投资大数据及其运用回报率最高”。大数据领域的企业并购热度也在上升，单笔平均并购金额方面，大数据超过云计算位居IT领域榜首，在总并购额上也位居第二。3人才需求巨大。据一家国际咨询公司，盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万49万，缺口14万19万人；需

36、要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。4各方积极参与。大数据的火爆，也带动了国内学术界、产业界和政府对大数据的热情。2011年以来，中国计算机学会、中国通信学会先后成立了大数据委员会，研究大数据中的科学与工程问题，科技部的中国云科技发展“十二五”专项规划和工信部的物联网“十二五”发展规划等都把大数据技术作为一项重点予以支持。其中工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。

37、而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。应用方面，中国三大通信运营商都在结合自身业务情况，积极推进大数据应用工作，并取得了较好的进展。电子商务企业阿里巴巴提出要做中国数据分析第一平台，通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截至目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。研发企业方面，我国能够处理大数据的企业并不是很多。北京永洪科技在这方面做的不错。永洪科技在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创新并拥有多项发明专利。推出的Z系列

38、产品在大数据的应用分析中在国际上也是领先的。大数据的热潮触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“要拿数据说话”等观念逐步深入人心，改变了以往不重视数据积累，不相信数据分析等认识。有了这种思维模式的改变，大数据的应用就有了希望。（二）数据落地面临的困难应该说，全球来看，对大数据认识、研究和应用还都处于初期阶段。特别是对我国来说，大数据真正落地，还需要迈过三道坎。1数据是否足够丰富和开放。丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还

39、存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第一道砍。2是否掌握强大的数据分析工具。

40、要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。3管理理念和运作方式能否适配数据化决策。大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。参考书目：.大数据技术与产业发展白皮书（2013）.大数据时代.正在到来的数据革命：大数据