“大数据”的认识与思考22213.docx

《“大数据”的认识与思考22213.docx》由会员分享，可在线阅读，更多相关《“大数据”的认识与思考22213.docx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、“大数据”的认识与思考 刘姝祎目录1“大数据”的时代背景41.1“大数据”的概念41.2“大数据”产生的背景41.3“大数据”的特征51.4“大数据”的发展阶段51.5“大数据”带来的机遇62“大数据”的关键技术92.1“大数据”的采集和预处理92.2“大数据”存储技术102.3“大数据”分析技术102.4“大数据”与云计算113大数据产业的应用123.1大数据产业123.2“大数据”在典型领域中的应用133.3智慧城市：立体的大数据生态系统143.3.1智慧城市的产生143.3.2全球智慧城市的实践153.3.3.中国智慧城市164问题与挑战184.1数据质量184.2数据安全184.3用户

2、隐私与便利性的冲突184.4庞大能耗184.5数据分析与管理人才紧缺194.6跟风现象较为严重194.7缺少技术创新水平较高的互联网公司195对大数据产业发展的建议205.1政府方面205.2企业方面215.3公众方面221“大数据”的时代背景1.1“大数据”的概念纽约时报在2012年宣布“大数据时代”已经降临，“大数据”成为了时下最火热的词汇。顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合”。Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。“大数据”的要义是尽可能

3、地收集众多可以相互叠加补充的信息，据以完成对“未来”的预测。这些数据可能有些混乱，甚至会出现纰漏，但数据量的“多“和时间的“即刻”可以弥补数据质量的瑕疵，“大数据”将以最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。1.2“大数据”产生的背景大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到 2000 年前后。当时互联网网页爆发式增长，每天新增约 700 万个网页，到 2000 年底全球网页数达到 40 亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存

4、储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS， Google File System)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始

5、尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011 年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。2012年3月，美国政府发布大数据研究和发展计划，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一计划，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。随后，英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上

6、日程。值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。1.3“大数据”的特征“大数据”具有4V的特点：一是数据容量巨大（Volume）。国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多（Variety）。相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。 三是数据价值密度低（Value）。举例而言，在一个连续监控三个小时的视频

7、中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度可实时性、可解释性、数据准确性稳定性，这三个维度是决定数据是否有价值的关键。 1.4“大数据”的发展阶段每种技术都有自己的生命周期，Gartner曾经指出新技术生命周期的5个阶段，即技术萌芽期（technology trigger）、期望膨胀期（Peak of Inflated Expectations）、泡沫化的谷底期 （Through of Di

8、sillusionment）、稳步爬升的光明期 （Slope of Enlightement），最后才能进入成熟使用期 （Plateau of Productivity）。如下图1-1所示图1-1大数据生命周期图而大数据正是出于期望膨胀期，预计通过近两年的发展，大数据将会在2016年达到泡沫化的低谷期，之后在5-10年的时间内经历稳步爬上的光明期，到2020年后将会到达实质的成熟使用期。1.5“大数据”带来的机遇（1）新一代信息技术融合应用新焦点对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据

9、伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。以大数据为结点，各项新一代信息技术应用产生的信息将不断汇集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。（2）信息产业持续高速增长的新引擎大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态将会不断涌现，大数据将为信息产业打开一个高增长的新市场。

10、在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。（3）用户提升竞争能力的新动力对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业的决策正在从“业务驱动”转变为“数据驱动”。在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞

11、争优势，从而成为行业的领导者。在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；在服务行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的服务；甚至在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等不可小觑的重要作用。（4）推动商业模式的创新对于海量数据而言，提供髙附加价值的数据分析服务，将数据封装为服务形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。对于政府和企业而言，至少可以实践4种商业模式的创新。第一是客户关系管理的创新，通过大数据分析可

12、以根据客户的属性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以增加新的客户，提高客户的忠诚度，降低客户流失率。第二是企业经营决策指导的创新。企业可以利用用户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。如，沃尔玛通过分析客户购买产品的种类组合，适时推出产品联合促销信息，以提升产品的销量。第三是个性化精准推荐。企业根据用户喜好推荐各类产品和业务，如淘宝根据分析客户的检索数据，适时向客户推送相关产品的广告信息。第四是创新社会管理。政府可以将大数据运用到交通、应对突发灾害、维稳等领域中。如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都可以通过分析得知，

13、通过同一条路上多个用户的手机位移速度，便可以判断当时的路况，为拥堵做出准确预警。2“大数据”的关键技术“大数据”已经不仅是数据大这一事实了，更重要的是要对大数据进行分析以获取更多智能、深入和有价值的信息。而随着“大数据”在越来越多的领域得到应用，“大数据”也变得越来越复杂，因此“大数据”处理技术在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。大数据应用分析结果需要经过数据采集、预处理、存储、分析和挖掘等多多个环节才能最终呈现出来。2.1“大数据”的采集和预处理在数据分析界有着一个“拇指法则”，即数据分析工作至少有70%80%的时间都花在搜集和准备数据上，而仅有20%30

14、%的时间花在分析本身上。随着新技术采集手段的出现，数据来源和数据类型变得丰富多彩，企业和机构采集数据首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集数据。按照数据所有者划分，企业数据采集源可以分成3类：一类是企业和机构的内部数据，如系统日志、生产经营数据等；一类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集；还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口（API）将所需信息从网页中采集出来。目前一些互联网企业和开源社区开发的海量数据采集工具，如Facebook的日志采集工具Scribe、淘宝的实时数据传输平台TimeTunn

15、el等，均已能够满足每秒数百MB的日志数据采集和传输需求。下面就物联网及社交网络这两个“大数据”的新型来源进行简单的介绍。（1）“大数据”与物联网物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物。遍布大街小巷的摄像头，是大家可以直观感受到的一种物联网形态。事实上，传感器几乎无处不在，现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。这些不同类型的传感器，无时无刻不在产生大量的数据，这些成为大数据的重要来源之一。妥善的利用这些数据可以监测大气的温度、压强、风力，监测桥梁、矿井的安全，监测飞机、汽车的行驶状态等。（2

16、）“大数据”与社交网络社交网络是互联网发展史上一个重要的里程碑。它把人类真实的人际关系完美地映射到互联网空间，并借助互联网的特性而大大升华。社交网络使得互联网甚至具备某些人类的特质，譬如“情绪”：人们分享各自的喜怒哀乐，并相互传染传播。社交网络为“大数据”带来一类最具活力的数据类型，人们的喜好和偏爱。由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或不完整的情况，大数据预处理过程可以通过数据提取、转换和加载等操作，对采集的数据进行初步的组织和数量，从而提高大数据分析质量和效率。2.2“大数据”存储技术大数据存储需要满足海量存储、安全存储和快速读取的要求。其中海量存储包含数据容量

17、和数据文件量两个方面，为保障系统存储容量能够以较低成本存储海量数据并能实现快速平滑扩展，分布式存储和存储虚拟化技术被广泛采用；为更好的对系统中海量文件进行有效管理，将数据传输和数据控制分离开的对象存储架构应用广泛。为了保障数据安全存储不丢失，大数据存储过程中会采用加密等安全技术，同时会对数据进行数次备份。为了支持数据的快速读取和并发访问，分布式存储和对象存储架构将会更有效。目前应用广泛的大数据海量文件存储技术主要有谷歌文件系统（GFS）和基于GFS发展的开源Hadoop分布式文件系统（HDFS）等。一些大型网站将 “数据”视为最核心的资产，他们甚至花费高昂的费用来保管这些数据，以便加快用户的访

18、问速度。谷歌公司购买了单独的水力发电站，为其庞大的数据中心提供充足的电力。2.3“大数据”分析技术当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接，挖掘到可应用的价值，是真正驾驭大数据的重要环节。大数据的分析技术，大致包括5个基本方法理论技术：（1） 可视化分析可视化分析能够直观的呈现大数据特点，简单明了易于接受。（2） 数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式能更加科学的呈现出数据本身具备的特点，而这些数据挖掘的算法能够快速的处理大数据。（3） 预测性分析能力大数据分析最重要的应用

19、领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。（4）语义引擎大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。（5）数据质量和数据管理大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理能够保证分析结果的真实和有价值。2.4“大数据”与云计算对于许多组织来说，“大数据”对存储容量的需求已经超出目前的存储能力。我们正处于PB级存储时代，而EB及存储时代也即将到来。大容量的存储不但要求系统具备在原有数据存储规格上进行扩展的能力，

20、还要简单快速的进行扩展。云计算就为“大数据”的诞生提供了集中采集数据和存储数据的基础。云计算的出现改变了数据的存储和访问方式，在云计算出现之前，数据大多分散保存在每个人的个人计算机中、每家企业的服务器中。云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心”，也即所谓的“云端”，用户通过浏览器或者专用应用程序来访问。一些大型的网站，通过提供基于“云”的服务，积累大量的数据，成为事实上的“数据中心”，这为“大数据”诞生奠定了基础。而云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持“大数据”存储和处理需求。这样的低成本硬件+低成本软件+低成本运维，更加经济和

21、实用，也使得“大数据”处理和利用成为可能。可以说云计算为“大数据”提供了存储空间和访问渠道，“大数据”则是云计算的灵魂和必然的发展方向。而近年来国内各地也兴起了建设云计算基地的风潮，客观上为“大数据”在我国的推广和应用准备了必备的储存空间和访问渠道。3大数据产业的应用3.1大数据产业“大数据”的应用能带来巨大的经济价值和社会价值，对于产业发展而言，“大数据”可以实现应用创新、降低行业内的生产成本并创造新的产业价值。咨询机构麦肯锡最早提出“大数据时代已经到来”，在2012年发布的大数据：创新、竞争和生产力的下一个领域文章上表明，在零售业、制造业、医疗卫生和公共部门，“大数据”可以加快产业规模的增

22、长速度，降低生产运营成本；对于企业而言，采用“大数据”可以提升企业的竞争力，改善企业的营销规划，客户定位，产品创新、工作流程优化、人力资源管理、物理管理和风险控制等多方面的能力。目前，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。对于“大数据”产业，政府与公共事业部门、行业企业、个人消费者是其的最终用户。在政府与公共事业领域，“大数据”可以应用到城市规划、公共安全、公共交通、舆情管理等社会管理和民生服务领域，带来效率提升、响应速度加快、服务水平提高、管理成本下降等诸多效益。对于行业企业，“大数据”可以

23、应用到产品研发设计、生产运作管理、供应链管理、客户关系管理、企业品牌营销等各个环节，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提高供应链的敏捷性和准确性、实现个性化精准营销，同时也促进IT技术的创新。对于个人消费者，通过“大数据”的应用服务将使信息变得更加泛在，从家庭生活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的生活品质。 总结以往，“大数据”的应用价值可以分为感知现在和预知未来两部分。（1） 感知现在 通过对历史数据和当前数据的融合，以及潜在模式挖掘，力求达到对事物对群体与社会发展当前状态进行更全面、更精确、更理性的认知。这种认知可以是宏观的，也可以

24、是微观的。宏观方面可以对PB级社会媒体数据、百亿级日志数据继续拧分析挖掘，掌握宏观现状，如环境指数，健康指数等。在微观方面可以利用PB级的日志数据和EB级的监控数据，挖掘潜在线索，如犯罪行为轨迹等。（2） 预测未来通过对“大数据”彼此之间的关联分析，演化态势和效应的判定与调控，揭示事物发展的演变规律，进而对是事物发展趋势进行预测。如基于twitter等网上公开数据的实时感知、动态获取与综合分析，结合仿真调控，预测大选结果；联合国“全球脉动”利用网络大数据预测失业率与疾病暴发等现象，利用数字化的早起预警信号来提前指导援助项目，以免某个脱贫地区重新陷入贫困。这些都说明了正确的大数据应用对于准确预测

25、事件发展趋势具有重大的价值，人们可以给予“大数据”更好的进行科学决策和事前准备，未来“大数据”预测技术将会更广泛的运用到人们的日常生活中，变革人们的生活。3.2“大数据”在典型领域中的应用当前“大数据”已经在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业有所应用并带来了巨大的产业价值。以下本文将举出实际案例以介绍“大数据”在各个领域的具体应用。在IT领域，一个典型的案例就是eBay通过数据分析技术可以精确计算出广告中的每一个关键字为公司带来的回报，通过对广告投放的优化，自2007年以来eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。在经济领域，大

26、数据在经济领域的应用可以通过这样一个有趣的案例进行说明，社交媒体检测平台DataSift检测了社交网络Facebook首次公开募股当天Twitter上的情感倾向与Facebook股价波动的关联。在Fcebook开盘前，Twitter上的情感逐渐转向负向，25分钟之后twitter的股价就开始下跌，当twitter上的情感转向正面时，Facebook的股价在8分钟后也开始回弹，最终当股市接近收盘，twitter上的情感转向负面时，10分钟口Facebook的股价又开始下跌，该机构得出结论，Twitter上每一次情感倾向的转向都会Facebook股价的波动高度关联。这证实以大数据预测未来股价走向的

27、典型案例。气象预测方面，一家美国公司把气象数据放在亚马逊的“云平台”上进行处理，以及时提供气象预报的方式，保证当地的农牧业主在特定的地区以及特定的季节不会遭受天气灾害，由此获得了丰厚的利润。智能交通方面，根据路网监控，火车票及飞机票的预定，以及网上地图查询记录，能够提前预测某个城市的出行人数的大致规模，再结合交通部门的其他信息，便可以预测出群体出行的态势，对其可能的出行时间、出行路线、出行方式等进行预测，从而为城市交通调度提供决策帮助。军事领域，美国“2049项目研究所”于2008年在华盛顿成立，2010年它利用网络上公开的数据和资料，分析和预测我国在军事和经济领域的安全问题，发布了一份名为中

28、国核弹头存放和使用系统的报告，称在陕西、江西、四川等地发现了中国的核武器基地，甚至还精确到了核基地所在的市县名称。2013年3月，他们还发布了一份关于中国无人机项目的研究报告，较全面的分析了中国无人机的研制、发展、装备以及作战部署情况。 以上都是“大数据”在一些实际领域的应用，未来“大数据”将会在更多的领域得到应用，决策行为将会基于数据分析做出，通过对数据的整理和分析，政府和企业能够预测个体下一步的需求，进而提供更加智能与高效率的管理和服务。3.3智慧城市：立体的大数据生态系统智慧城市是城镇化发展的高级阶段，是城市信息化的新形式，是现代城市发展的愿景。智慧城市在产生大数据的同时，“大数据”也支

29、撑着智慧城市的建设和发展，而智慧城市的衡量指标是由“大数据”体现的。“大数据”挖掘对智慧城市的经济发展和社会管理是无形的生产资料，“大数据”合理利用将创造巨大财富。在未来，大数据将成为维护城市运行的基本要素，智慧城市在“大数据”的支撑下，成为立体的大数据生态系统，促进城市的发展。3.3.1智慧城市的产生随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保险等的需求的也在不断膨胀。诸如高房价、堵车、雾霾等“城市病”也越来越多，传统的管理手段已变得捉襟见肘，而信息化可以说是抗击“城市病”的有效手段。伴随着网络帝国的崛起、移动技术的融合发展以及创新的民主化进程，知识社会环境中的智慧城市

30、是继智能城市之后信息化城市发展的高级形态。利用城市管理中产生的大量信息与数据，积极促进城市机构之间的实时沟通和协助，分析原因，制定对策，有效平衡社会、商业和环境发展需要，优化现有的可用资源，以最优化的方式为城市公民提供全面又超前的服务，积极提高公民的生活幸福感这种高效、智能且可持续的城市管理被称为智慧城市。可以说大数据是智慧城市实现智慧化的关键支撑，成为驱动智慧城市发展的动力。智慧城市采用以物联网、云计算、大数据等为核心的新一代信息技术，集成城市的组织（人）、业务（政务）、交通、通信、能源等城市运行中的各个核心系统，使整个城市成为以一种更有智慧的方式运行的宏大的智慧城市系统，对保障城市正常运行

31、的每个系统进行全面的监测、管理、预警和处置，快速、智能地响应城市管理者和市民的各种需求，提高城市运行效率，提高政府决策力。建设智慧城市是城市发展的新范式和新战略，是当今世界城市发展的趋势和特征。建设智慧城市对抗击“城市病”具有强烈的现实意义。首先智慧化运营通过运用来自城市多个部门的信息，进行数据聚集和规范化后，识别出相关的重要事件，以提升服务质量。其次，智慧化运营能够预测城市发展的问题与危机，最大限度降低对城市居民的影响。如通过可视化重要事件和警报、地理信息等数据，识别出模式和趋势，保证行动有依据，主动触发预设的预案以加快响应，减少服务中断概率，避免城市内大型事故扩大升级，减少灾害的影响。最后

32、，智慧城市可实现通过协调不同部门的资源，以提高更快、更有效的影响。“大数据”的智慧化帮助管理者跨部门决策、协调，提高公共服务交付效率，减少应对突发灾害的响应时间。3.3.2全球智慧城市的实践全球在智慧城市的实践中展现了各自不同的设计理念：美国在智慧城市建设方面选择智能电网进行突破，注重于商业机构的合作，利用UrbanSim等智能化的城市仿真系统对城市空间发展进行优化。在美国2009年的经济复苏计划中，有项高达110亿美元的投资，用于建设可安装各种控制设备的新一代智能电网。日本在2009年7月推出“智慧日本战略2015”，旨在将数字信息技术融入生活的方方面面，聚焦于电子化政府治理、医疗健康信息服

33、务、教育与人才培养3大公共事业。韩国政府于2004年提出了“U-韩国”发展战略，经过多年的实践，首尔、釜山等一些城市已进入“泛在城市”时代。“泛在城市”以“建设尖端信息城市，提高市民生活质量和城市竞争力”为目标，利用无线传感器网络，实现对城市设施、安全、交通、环境等方面的智能化管理和控制。根据国际数据公司预计，2011年，全球新型智慧城市信息技术的市场规模达到340亿美元，并将以每年超过18%的速度增长，到2014年将达到570亿美元。3.3.3.中国智慧城市2012年11月，住房和城乡建设部办公厅发布关于开展国家智慧城市试点工作的通知，将建设智慧城市作为贯彻党中央、国务院关于创新驱动发展、推

34、动新型城镇化、全面建成小康社会的重要举措，要求各地高度重视，抓住机遇，通过积极开展智慧城市建设，提升城市管理能力和服务水平，促进产业转型发展。截至2012年7月，中国共有150多个城市提出建设或正在建设智慧城市，其中，北京、上海、广州等城市是智慧城市创建进程的领跑者。总体上说，中国东部地区智慧城市建设重点在于以信息技术促进转变经济发展方式，提高社会管理水平，提升城市竞争力，塑造城市品牌。中西部地区智慧城市的建设更加注重对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加强招商引资。中国智慧城市建设分为前期基础设施建设、中期数据处理设施建设和后期的服务平台建设。就智慧城市的建设

35、内容来看，一方面是加强城市基础通信网络建设，提高通信网络带宽及覆盖率；另一方面是在一个云计算平台之上提供智慧应用服务，如智慧交通、智慧医疗等。相关的建设涉及通信设备制造企业、系统集成企业、数据采集分析企业、通信运营商和数据服务企业，对整个产业链将起到巨大的拉动作用。中国智慧城市建设有三种模式：一种是以物联网产业发展为驱动的建设模式，如天津、广州等；一种是以信息基础设施建设为先导的建设模式，如上海、南京等；一种是以社会服务与管理应用为突破口的建设模式，如北京、武汉等。在中国智慧城市建设中，应当注意以下几点：（1）要因城而异，不能照搬西方的模式。智慧城市建设目标的确立要符合城市当前的发展阶段，解决

36、居民最迫切需要解决的问题，走出中国智慧城市建设的差异化道路。（2）注重政府统筹，打破行业、地域壁垒，建立智慧城市大数据的共建共享机制。（3）大力推动智慧城市的创新应用，实现创新示范项目应用的落地。（4）完善智慧城市建设中大数据信息安全的基础建设及管理体制，从技术、管理和法律等多方面保证智慧城市建设的正常运行。4问题与挑战“大数据”对社会的好处是无穷无尽的，它在一定程度上解决可迫在眉睫的全球问题，如处理气候变化、根除疾病等，然而“大数据”在带来大知识、大发展、大价值的同时，也潜藏着巨大的风险。4.1数据质量 真实准确是数据的生命，组织如果没有能力获得真实数据，数据规模再大、数据分析技术再先进也是

37、徒劳。另外由于受到城乡差异、地域差异等的影响，社会上弱势群体的信息占有和表达处于弱势，这就造成了数据鸿沟的存在。而数据造假、数据鸿沟等问题在大数据时代依然存在，偏见和盲区存在于大数据中，大数据得出的结论并不是完全客观、准确的，它并不能提供价值判断，也不能完全取代人的经验和直觉。认清这个事实，能够帮助我们在运用大数据的过程中，更科学的解读数据。4.2数据安全数据安全在大数据时代也同样面临挑战。大数据发展的趋势往往与加大信息开放、设计新的信息收集设备以及为海量数据的庞大存续和分析需求提供支持的云计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化和外向型，对数据安全和知识产权构成更大风险。

38、4.3用户隐私与便利性的冲突“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私和便利性之间的冲突。研究表明，消费者受惠于海量数据：更低的价格、更符合消费者需要的商品，以及从改善健康状况到提高社会互动顺畅度等生活质量的提高。但同时，随着个人购买偏好、健康和财务情况的海量数据被收集，人们对隐私的担忧也在增大。这需要政府和企业从政策、技术和法律等多个方向进行思考和应对。4.4庞大能耗 向来被人们认为是绿色环保的信息产业其实是污染和耗能大户，调查结果发现，数据中心浪费的电力高达总能耗的90%以上。业内专家估计，全球范围内所有数据中心的总功率高达3000万千瓦，几乎等于30座核电站的发电

39、量。尽管现在已经有许多办法帮助数据中心降低能耗，但出于对风险的恐惧，多数公司不愿作出任何改变。目前，中国多个地区已经开始或计划兴建大型数据中心，在建设过程中应提前考虑能耗问题，以免重蹈覆辙。4.5数据分析与管理人才紧缺人才是大数据带来的挑战之一。研究表明，单单在美国，对拥有深厚的海量数据分析（包括机器学习和高级统计分析）技能人才的需求，可能超出目前预测供应量的50-60%。到2018年，需要新增多达14-19万名专家。此外，还需要150万名熟悉如何应用海量数据的管理者和分析员。企业和政府必须加大招聘和人才挽留力度，同时大力投入关键数据人员的教育和培训。4.6跟风现象较为严重目前大数据应用市场还

40、没有很大，要等到数据、技术和系统的准备有了一定的突破之后才会出现飞速的发展，但是从现在工业界发展的情境看来，很多企业出现了跟风上项目、跟风卖产品的现象。在现今“大数据”的发展情境看来，政府和企业要做到结合行业和产业的特点进行整体的规划，之后逐步实施，做到不慌张、不跟风也不要坐失良机。4.7缺少技术创新水平较高的互联网公司从全球来看，大数据技术创新水平分布极不均衡，如谷歌、Facebook、IBM公司的技术遥遥领先于我国企业，总体来说，国际形成了“原创技术-开源软件-商用产品”的技术创新链条，并以此为基础初步衍生了从存储和计算平台、数据分析软件到大数据云服务的产业生态。我国未来大数据的发展必然会

41、受到技术水平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数据产业发展的一大问题。5对大数据产业发展的建议展望未来，大数据发展的序幕刚刚拉起，冷静的思考是十分必要的，大数据在更多领域落地实施还是要经历一个较长期的过程，而在这个过程中离不开政府、企业和公民的共同努力。 5.1政府方面“大数据”是立足全局、面向未来的重大战略，将为中国创造社会经济创新发展的重要机遇，将引领公共管理与服务的变革。实施大数据战略，对于政府部门来说，不仅意味着要上马多少高新科技项目，更意味着要调整自身运作的机制，进行一次政府理念的创新，政府职能的转变、政府流程的再造。（1）政府要成为“大数据”的实践者

42、，积极推动大数据的全面落地，在领导意识、组织文化、组织结构和工作流程等各方面的整体优化，鼓励率先在政府部门和公共事务中推动“大数据”的应用，更好的增强服务能力，树立更加开放、透明、负责、高效的政府形象。（2）政府部门作为“大数据”的实践者应该建构一套数据系统，这个数据系统需要包括3个必备因素：天上有云（云平台）、地上有网（物联网、泛在网）、中间有数（数据）。所谓天上有云就是建立政府云平台，把离散在指挥中心、公安、交通等单位的信息资源，聚合成集预案库、知识库、专家库、案例库队伍库、地理信息库为一体的应急信息资源云，通过统一指挥调度，在各类突发事件的处理过程中为各级指挥人员提供决策支持。应用云平台

43、不仅能有效协调政府资源和行动，还能在政府部门之间共享数据服务，避免重复投资，提高计算资源利用率。共享和联动是云平台的关键词，也是让大数据真正落地实施的突破口。而做到地上有网的关键是消除信息孤岛。“大数据”的关键在于分享，可以说信息孤岛是制约“大数据”发展的一大障碍，各部门之间不愿公开、分享数据，造成数据之间的割裂，无法产生数据的深度价值。关于这一问题，政府部门一方面要进行纵向信息系统整合，自上而下进行统一的部署，在上下级部门之间利用多级网络和中心数据库，构建统一的信息平台；另一方面要实现横向电子政务信息系统整合，实现跨部门的政府信息资源共享和政务协同；最后还要改变现存的内部管理观念，实现性质体

44、制的改革和创新。在数据方面，除了采集更多的数据，更为关键的是利用现有的数据资源。政府部门想要让大数据全面落地要做到妥善利用数据，重视历史数据的价值，对不同来源的数据进行整合。同时政府在严格控制信息的基础上，促进商业化的基础信息交易的发展，做到数据公开，这样可以节省社会数据资源，提高数据的利用效率。做到这些需要政府政策的大力支持，进行整体设计，并分阶段的推行。（3）在保护数据信息方面，政府需要成为数据守护者，出台新的制衡机制，如成立第三方监督平台进行数据保护、实行企业问责制，即谁使用谁保护、呼吁公民参与监督等方法，重塑保护个人信息的法律和道德双重规范，加强监督和约束机制，提高信息保护透明度。（4

45、）全力支持国内“大数据”技术的创新，在国家高校、科研机构建立大数据人才培养机制，鼓励企业和科研机构参与到“大数据”技术的创新项目中，结合各界力量力争在“大数据”技术上得到突破性发展。（5）政府应该积极与市场的力量相结合，推动大数据产业联盟的发展，重点关注“大数据”领域早中期创业企业，关注这些企业的技术和商业模式的发展，发现、培育和扶持创造性的思想、创新的技术，促进未来大数据产业的发展。但是在发展的过程中，需要注意的是“大数据”产业联盟不能简单的等同于“大数据中心”，要防止过热发展而带来的风险，政府要做到“整体规划，稳步发展”。5.2企业方面2013年后，大数据的应用进入了实际上的操作阶段，对于

46、企业来说，公司策略的制定应该更加务实。以百度、阿里、腾讯等为首的互联网行业需要做到：(1)加大力度整合内部系统，构建内部数据仓库。（2）在国家政策的引导下，加大我国大数据技术的自主创新水平，实现技术突破，为大数据产业的蓬勃发展奠定基础。（3）积极应用大数据改善既有服务，利用大数据技术开拓互联网、金融等领域的跨界融合。（4）对于企业来说，如何使用“大数据”会成为未来“大数据”应用的焦点所在，企业应当为保存和管理数据承担责任，使用大数据的公司应该基于其对个人产生的影响，对涉及个人隐私数据的再利用行为进行正规评测，规避或者减轻潜在伤害。企业为公民的隐私保护负责，将会在一定程度上减少信息泄露的危险。5

47、.3公众方面 在大数据时代，公众在享有其带来的便利的同时，还在承担着信息泄露带来的危害的风险。作为“大数据”的来源方，公众应该时刻关注国家、企业的数据保护措施，积极参与数据保护计划。但这并不代表公众要抵制大数据的发展，广大公众需要做到理性思考，“大数据”现在正处于发展阶段，各国政府和企业已经开始重视隐私泄露问题，并在积极的寻求解决之道，相信在不久的将来会找到合理的制衡之法。公众需要正确看待大数据，积极的支持大数据的发展。总结本文所述，大数据产业推动我国创新技术的发展，而且，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。