大数据产业发展及应对措施.docx

《大数据产业发展及应对措施.docx》由会员分享，可在线阅读，更多相关《大数据产业发展及应对措施.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据产业发展及应对措施一、大数据产业的基本内容1。定义2008年秦皇岛开发区确定把大数据产业作为龙头产业发展，提出建设“中国数谷”的目标，并在全国范围内率先提出大数据产业的概念。大数据产业是指关于数据一系列服务的产业的总称。分为两个层次，一层是数据的采集、加工、存储、传播等相关的数据服务，另一层是进行这些数据服务的软、硬件研发部门和制造业.大数据产业是一种新型的现代服务业， 主要内容有以下三个方面：（1）数据内容业以信息为主要产品,可以关联到社会的各个领域,指从事数据的存储、采集、加工、传播等基本数据服务的产业群体,如数据存储部门（各档案室、情报部门、各大数据中心等）.(2）数据服务业指用专

2、业的知识和技能给顾客提供策略解决问题的服务。例如数据以及数据库的咨询、数据库建立以及升级、系统的创建和升级、增值网络服务等.数据服务业是专门以数据产品为社会服务的行业总称，是开发利用大数据资源并且实现其商业化、市场化、社会化的基础。（3）数据软、硬件制造业指从事数据相关的基础设备和软件的研发和制造的行业。大数据产业的概念从国际视角来看有狭义和广义之分.广义的大数据产业即信息产业，其主要是与数据相关的服务的硬件制造、软件研发、软硬件相结合的网络工程建设、数据采集加工和相关数据服务，即包括了从数据相关软硬件的制造到数据服务的总过程所涉及到的一切业务。狭义的大数据产业指数据采集、加工与相关服务业，即

3、对大量数据进行采集加工处理转化为顾客需要的数据产品的产业.一般情况下的大数据产业指狭义的数据产业。2.主要特征（1） 大数据产业相对工业产业来讲,占地面积小而且环保，不会产生空气以及液体污 染物，造成环境污染。例如钢铁、化工行业，生产过程中涉及到的原料辅料众多，且各个生产环节都可能会对环境造成或大或小的污染，其本身就是一个巨大的污染源，同时占地面积较大.显然大数据产业在积极响应节能绿色环保的国际新形势上更具优势。（2） 大数据产业需要大量的专业数据人才。据相关统计,在全球以40的数据增长速度和每两年数据总量就翻一倍的大数据时代形势下，新数据的加工利用能力的增长率却不到5。同时新产生的大量非结构

4、化的数据对技术水平和人才提出了更高的要求，需要不断的研究和创新技术来迎合大数据时代的需求。（3） 大数据产业几乎可以为各行业产生巨大的经济效益。据统计，欧洲零售商利用数据产品（消费者喜好、消费者购买欲望的具体时间等信息) 使利润得到60的增幅;制造业的装配成本在数据产业的服务下将会降低一半等等。目前利用大数据产业的相关服务为自己谋利的企业有很多，比如现行的网上购物平台，通过利用新老顾客或者潜在顾客对商品的点击率、评价、交易量等数据做分析,掌握消费者的消费心理和趋向，来提高交易总量.由此可见大数据将会给产生它的个体和组织带来价值。二、大数据产业的国内外发展现状1.国外发展现状美国是世界上第一个发

5、展大数据产业的国家，也是目前为止发展大数据产业比较成功的国家，现在美国的大数据产业链已经基本完整.美国的大数据产业的基本格局是纵向三个层次,横向两个层次。纵向即处于底层的一些开源项目以及基于这些开源项目的基础架构、分析和应用。横向就是基础架构、分析和应用.美国安全局和联邦调查局早在2007年秘密开启名叫“棱镜”的监控项目,其主要是用于数据收集、存储、分析，破解密码和打击恐怖分子。2012年3月,奥巴马当局宣布“大数据发展战略”。2013年5月，为提高大数据获取知识的能力,加强国家安全，奥巴马又宣布了“大数据的研究和发展计划。2013年11月，美国政府发布涉及科研部门、企业部门、各级政府部门等多

6、个大数据研究项目.美国国家卫生研究院、国家科学基金会等研究机构都参与其中，有人称这是美国大数据战略的升级版。英国最近虽然经济不景气，但是大数据产业也是其政府重点发展的科技领域.英国政府为了提高数据采集、存储、分析等能力并且吸引企业在数据产业方面的投资在基础设施方面投入大量资金， 促进大数据产业链的形成和发展以在数据革命中抢占先机.2013年，英国牛津大学成立首个应用大数据技术的医疗卫生研究中心。该研究中心通过搜集数据，对大量的医疗信息分析整合，准确地了解病人病患处，为新的治疗方法提供灵感，精准定位新药品的研制导向,大大区别于之前的摸索实验阶段，节约了药物研发成本。英国的医学研究和治疗由于大数据

7、的应用迎来革命性的改变.日本政府为了摆脱经济低迷的现状决定大力发展IT 产业，尤其是大数据产业.近几年不断推出IT 新改革战略、新信息通信技术战略等信息战略并且持续完善和升级。2012年7月，日本政府发布关于信息行业的“活跃ICT 日本”综合战略，重点旨在利用大数据产业的数据以及电子服务建立政府信息公共网站，提供各系统之间的信息交流平台，最终建立全国统一的政府信息服务系统；2013年继续推出了新 ICT 战略,实现了在网络上可以查看和重复使用行政信息，进一步保证政府信息的开放性。2013年6月，日本政府又发布了以大力发展大数据产业为核心的“创建最顶尖IT 国家的宣言，并声称要将其发展成果延伸到

8、国际。2。国内发展现状在学术界，关于大数据的相关委员会相继成立大数据专家委员会、中国通信学会大数据专家委员会（专门研究大数据应用和发展的学术咨询中心）.2012年11月30日以“大数据共享与开发”为主题的“Hadhoop 与大数据技术大会”在北京举行，对 Hadhoop 和大数据的关键技术进行了深入交流，就大数据产业的相关软硬件技术、发展现状以及未来的发展方向进行了探索.2013年12月5日，中国大数据技术大会（BigDataTechnologyConference2013） 在北京召开,大会内容贯穿了数据的全生命周期,从数据收集、存储、分析、处理到数据的开发与应用.在企业界，发展大数据产业最

9、有利的地理位置-北京中关村的大数据产业已现雏形。由宽带资本、用友软件、云基地、百度在线、阿里巴巴等与大数据密切相关的企业共同发起的中关村大数据产业联盟宣布成立，促进大数据产业生态环境的形成.在我国最先开始发展大数据产业的秦皇岛大数据产业基地于2008年动工。2012年8月，智慧城市北方基地落户秦皇岛数据产业基地。2013年11月3日武汉高科集团在“大数据产业研讨会”中表示将发挥大数据产业主力军和领导者的作用.2013年，中国三大移动运营商(中国移动、中国电信、中国联通）的南方数据中心在贵州省落户，为贵州省进行产业变革和升级打下了基础。2014 年3月1日，在北京中关村召开“贵州北京大数据产业发

10、展推介会”,贵州成为中国西部首个发展大数据产业的省份。在国家政府部门,大数据及大数据产业越来越受到重视，在3月份召开的中国两会上，以百度 CEO 李彦宏为首的大数据产业领头企业的企业家们作为人大代表就大数据产业提出了诸多相关建议，最让人兴奋且最接近民心的是要利用大数据分析方法治理大气污染 PM2。5。同时在两会期间，李克强总理也明确提出要为新兴产业建立良好的创新平台，在大数据方面要抓住机遇，抢占先机,从而带动其他产业发展和产业转型升级。三、大数据产业发展的必然性1.外因巨大的需求市场来源于需求，正是由于人们对大数据的旺盛需求,有了良好的市场氛围，才推动了大数据产业发展.市场需求主要来自以下几个

11、方面：(1）信息技术企业先前被动的接受信息的信息技术企业现在转变为主动挖掘数据、获得信息,为自己谋取更大利益.例如在线购物企业亚马逊、淘宝，通过数据分析得出顾客的喜好来决定商品的价格、类型以及适宜的促销时间，增加交易记录。电子商务平台 eBay 通过对在线广告的分析, 提供顾客喜好品牌的广告,提高广告的效率和顾客的购买率。同时以指数增长的大数据为信息行业的软硬件提出了更高的要求，信息行业必须加快发展速度，加强技术创新，为大数据时代所需要的各种数据分析软硬件的研发和创造做出努力，这是信息行业又一个大的发展机遇。（2)对数据依赖性较强的企业例如金融业(证券交易所、银行）等.它们需要数据的实时变更和

12、储备。再例如企业营销业务,不少企业的营销业务已经全部实现电子化，其电子运营系统一经瘫痪，公司业务将会全部停止，损失将是以千万/秒计算甚至是更大的单位来计算.对数据依赖极大的企业要求他们必须建立自己的数据存储中心，但仅仅这些并不足以满足它们快速增长的数据存储需求， 所以能够提供数据存储、数据灾备等数据服务的大数据产业显得迫切需要。(3)潜在的大数据应用用户比如医疗业、政府机构部门.目前部分医疗机构已经利用大数据的业务,比如远程医疗服务根据对平日患者的病例数据进行分析挖掘得出诊断方案,实现远程医疗服务。许多国家的政府部门已经加入了大数据产业的行列，实现政府信息公开化、政务电子化，为政府官员和普通大

13、众带来极大的便利，省去了之前繁冗复杂的程序。（4） 数据驱动型企业大数据时代的来临使得企业的决策方法有了新的思路，他们不再希望通过经验或者自我判断,或者是老套的样本收集分析得出的商业信息而做出决策，他们更希望运用相关的大数据技术做出更为科学准确的分析,加大决策的精准性.美国相关研究机构调研多家公司之后分析指出，采用“数据驱动型决策的企业可以带来显著的生产力提高（比其他因素带来的增长多提高5%6）.“数据驱动型”的新管理模式正在他们的企业中推广.2。内因（1)大数据本身所具有的价值大数据产业可以带来实实在在的效益。2013年美国总统选举，奥巴马通过依靠其数据分析团队分析群众对他的舆论和期望，由此

14、做出符合民意的演讲和宣言,并且用比对手更少的钱为他赢得这次选举；美国的警察可以通过对以往犯罪记录的分析,预测哪条街在哪个阶段容易发生什么样的犯罪行为从而提前部署警力做好准备；医院通过对网上搜索信息的频率预测流感的到来等等.大数据可以为各个领域带来价值医疗业、农业、金融业、制造业、媒体界、政治界等等.大数据所具有的价值是与生俱来的，但是我们得挖掘数据才能有效利用其中的价值,所以大数据产业的发展是科技发展社会的必然趋势。（2）人类对世界认知的渴望在人类社会发展的历程中，一般地人们主要靠搜集样本(只涉及到局部或者片面的数据） 通过假设推理去发现事物中存在的规律,有时甚至无法得到数据而纯属根据经验而去

15、进行研究.通过这种方法得到的结论往往不准确，甚至与真相完全背离。大数据时代的到来使人们有机会通过获取全面大量系统的数据,去寻找知识或者规律,可以使人们更加现实地靠近现象背后的真相。也可以说,人类对世界认知的渴望是大数据产业发展的本质原因。四、大数据产业的战略地位及应用1.大数据产业的战略地位 (1）国家级别的战略产业美国政府认为数据资源是继陆空海三大资源外的另一种重要的国家战略资源，已将大数据战略上升到国家层面，从2012年到现在为止提出了诸多促进大数据产业发展的宣言和计划. 英国在顶着经济低迷的巨大压力下还将大数据作为重点发展的科技领域，2013年投资1。89 亿英镑用来加强数据采集和分析，

16、以求在数据革命中抢占先机。同样日本政府也提出了大力发展 IT 业的发展计划，不断地对信息产业提出战略规划.世界各国也逐渐意识到大数据时代的到来，纷纷建立大数据产业。大数据产业已经发展成为了国家级别的战略产业。（2） 推动技术和知识创新模式的变革大数据时代的到来引发了探索知识模式的改变。大数据时代的海量数据给科研模式带来了一种新的发展方向,存在于事物之间的因果关系已经不再是科研人员进行深度研究的必要步骤和关键，现在只需从大数据中得出有意义的相互关系,也许我们从这些相互关系中不能准确知晓事物发生的原因，但是我们可以预测这件事将会发生,这个价值已经足够大。在企业界，一些精明的领导者们可以洞察出对大数

17、据的应用其实就是为了管理方式的变革。在学术界，著名的第四范式的科学研究阶段提出,即在人类经历了经验、理论、计算三个科学研究范式后进入第四范式数据探索.（3） 推动经济结构转型大数据产业的兴起加快了产业升级和经济结构转型的进程。随着大数据时代的到来，部分产业界已经逐渐把重点转向把传统产业和大数据产业相结合的发展模式。对于传统工业, 采用大数据处理方法进行新需求的探索和新材料的研发,既可降低研发成本，又能提高新产品研发的准确性；对于传统农业,利用大数据处理方法，可以培育新品种。大数据将会带来新一浪潮的生产力增长和消费者需求。计算机行业也从开始只关注运算速度转移到提高大数据的处理分析能力上来，变成真

18、正的信息行业.大数据时代的发展迫使软硬件的不断更新从而能够推进信息行业不断发展，这为信息产业提供了又一大的发展机遇。2。大数据产业的应用领域大数据产业可以为各个领域进行服务。在农业中应用。通过连接多个农业数据集网站进行数据搜集和专业的数据分析，美国农业部可以确定农作物最适宜的湿度、温度、土壤、光照时间来准确判断它们是否需要浇水、打药或者施肥。在军事领域中应用。据调查,美国反恐组织会对打网游的大数据进行分析获得情报，由于恐怖分子之间不能通过正常的手段进行沟通，网游中存在另一个世界，有真实的场景,所以恐怖分子可以利用虚拟的网游世界来传递信息和情报。在电视播放领域的应用。通过分析每天观众的播放行为（

19、前进、暂停、播放) 和评论，来预测观众对下期节目的期待,从而获得高收视率.其中2013年2月份的美剧纸牌屋就是利用网友评论的大数据分析最终取得了9。9的好评，在继第一季利用大数据取得较大利益之后，纸牌屋第二季在2014年2月14号开播,迅速吸引了来自世界各地的观众的点播，纸牌屋其制作商 Netflix 的股票更是一路飙升,创造了巨大的利益。在政治领域的应用.我们根据大数据绘制出对中国两会的关注程度图，其中分析结果表明对中国两会关注程度最大的地区是亚洲.“智慧城市”已经成为现代城市发展的方向，智慧城市的建设离不开大数据产业中强大的技术支撑.近些年日本政府推出了以医疗卫生电子化、教育人才电子化、各

20、级政府政务电子化为核心的“ijapan（智慧日本）战略2015。广东省2013年发布的城市建设规划中也提到在2020年基本建成智慧广东的目标.2014年3月6日，杭州召开“智慧城市建设”座谈会，提出发展智慧城市的目标。智慧城市不仅是云计算的深度应用，而且是大数据的综合应用，更是大数据产业的重点发展项目。五、大数据产业的发展趋势从大数据产业的技术层面上来讲主要有以下几个发展趋势：（1)以 HadoopMapReduce 为主的处理方式将与现有的批处理、流处理、图处理等其他数据处理方式并存,混合数据计算模式将成为主要处理手段。目前 Hadoop 已经成为一种比较流行的数据处理方式,要将Hadoop

21、MapReduce 不断改进，增强其数据处理功能和兼容性；（2）更大规模的数据处理与分析，对数据实时分析的需求越来越大；(3)基于数据分析的方法多种多样,数据分析检测系统将极大地被需要;（4)数据保密技术和方法越来越完善。大数据时代,数据以惊人的速度传播，数据泄露的几率也在不断增大，数据安全问题越来越被关注。从大数据产业生态系统来看，目前我国大数据产业主要是处于基础设备服务阶段，主要是进行数据存储和灾备的简单数据业务，未来大数据产业将会向以数据分析产品和规模数据服务系统的方向发展。在大数据产业发展到一定规模，数据分析能力有极大提高时，将会为企业界、政府提供规模系统数据服务平台， 最终形成完整的

22、大数据产业链。六、大数据产业发展面临的挑战及对策1.大数据产业面临的挑战(1)技术人才方面的挑战大数据时代的数据不仅仅是多，而且数据类型多种多样,大都是非结构或半结构化的数据，传统的数据处理技术及设备已经不能满足大数据发展的要求。对数据分析能力提出了挑战。而且数据的实时变化，要保证数据的有效性就必须加快数据分析和应用的能力.大数据时代,数据数量大但价值密度小。同时，大数据所体现出来的信息不一定是真实可靠的，人为因素的故意干涉会导致数据失真。大数据的发展使得数据的获取变得越来越容易,个人隐私以及安全问题变得日益棘手.面对大数据产生的各种问题，关键在于技术.这对技术提出了更高的要求，其根本是对人才

23、的需求。目前号称21世纪最性感的职业的“数据科学家”在此之前还没有成为一种真正的职业，由此可见需求之急、量之大。（2）信息壁垒的挑战大数据产业的发展要依托海量的数据，这些数据不仅需要自己搜集，同时要从别处获取. 各个行业的企业之间的部分信息也应该共享，提高资源利用率。尤其要打破政府部门的信息壁垒，政府部门是大数据应用的潜力较大的部门，掌握着大量的数据.美国日本等国政府在政府信息公开方面已经做出了表率，2009年至今美国政府承诺的开放政府数据库Data。gov 全面开放了涵盖农业、医疗、交通、教育、金融等50个门类的388529项原始数据。日本政府2013年的新ICT 战略实现行政信息全部公开化

24、。在数据开放方面，中国显然比其他国家落后很多.从企业来讲，主要是没有大数据的意识，认为数据是属于自己的，不愿意共享，徒有数据却不知如何把数据变成财富。在政府层面，我国政府大部分机关仍对数据封锁不放，外界看不到更利用不了有用信息。所以打破信息壁垒是数据产业发展的必要过程.2.大数据产业发展的对策（1)加强企校研三者之间的合作大学是人才的摇篮,大数据产业不仅需要专业的技术人才,而且需要具有经济分析能力和管理能力的人才。可以在大学建立大数据研究院，将大数据技术直接引入到大学的科学研究当中.加强学校、企业和各研究院之间的合作,充分利用三者的资源达到共赢最终促进大数据产业的发展.比如吸引企业对学校和研究

25、院大数据相关专业的投资、助学；安排学生到企业进行实地考察和研究；聘请企业或研究院的专家到学校兼职,传授最新的科研成果和知识给学生，培养出与社会和企业对口的专业人才.（2)配套发展相关教育培训产业除了与高校合作获取人才，也可以直接建立与大数据产业相关的教育培训产业，所谓“对症下药”.这样便于对企业现有员工知识和技能的不断更新和提升，以顺应时代和科技的快速发展。也可以直接从外部招生，针对大数据产业相关技能进行专业培训，缩短大学培养人才的周期来满足数据产业对人才的需求。（3)加强国际学术交流加强国际间的学术交流与沟通是加快数据产业技术创新和发展的基础.通过举办国际学术交流活动，加强技术交流。在学术论

26、文方面,各国关于大数据的最新研究和发现应该进行共享和交流。2008年，由美国杂志 Nature 提供的专刊提供了很好的交流平台,随后在2011 年 Science 推出专刊，不断加强大数据国际学术交流的机会和力度.（4)出台扶持政策发展大数据产业最关键且有效的途径是政府在大数据的应用方面应率先做出行动，将政府信息公开化。以美国为首的西方发达国家已经将数据产业的战略上升到了国家的高度，作为一种战略产业来发展，并且颁布了一系列关于数据产业发展的帮扶政策。我国目前还没有出台专门针对大数据产业的相关政策，缺乏大数据国家战略。同时政府应该打破信息壁垒, 为大数据产业的发展做出表率。例如我国测绘地理信息部门所掌握的地理信息，可以将关乎国家安全利益的一部分信息做保密处理，其他地理信息可以公布以增强数据资源的利用率. 政府不仅应该加强在政策上的引导和支持，为这一新兴产业提供良好的外部发展环境,同时也要加强资金扶持力度，为大数据产业的发展提供必要的物质保障。