大数据发展研究报告.pdf

《大数据发展研究报告.pdf》由会员分享，可在线阅读，更多相关《大数据发展研究报告.pdf（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 大数据发展白皮书（2015 版）二一五年四月 二一五年四月 大数据发展白皮书（2015 版）I 目 录 一、全球大数据发展状况.1（一）市场规模.1（二）市场结构.2（三）主要特点.3 1市场增速略有放缓，应用成为新的增长动力.3 2竞争态势愈加激烈，融资并购成为市场热点.3 3区域发展尚不均衡，信息化基础和数据资源是关键.3 4产业生态不断优化，基础设施建设更加合理.4 二、我国大数据发展状况.5（一）市场规模.5（二）市场结构.5 1初步形成三角形供给结构.5 2产业链结构发展不均衡.6（三）区域分布.6 1京津冀：产业链条初步健全，集聚效应开始显现.6 2长三角：开展布局城市增多，智慧

2、城市、云计算成重要支撑.7 3珠三角：政策扶持持续给力，产业发展进入良性循环.7 4中西部：鼎足之势初现端倪，渐成产业发展新增长极.8（四）主要特点.8 1规模增速略有提高，与全球增速差距仍较大.9 2互联网企业表现强势，国外企业进入我国市场.9 3区域产业聚集现雏形，合作协同发展成常态.9 4大数据基础研究受到重视，专业人才培养加速.10 三、创新进展.11（一）技术与产品创新.11 1Hadoop 持续升温，生态系统不断壮大.11 2创新体系日趋完善，新技术和新产品层出不穷.13 3技术创新驱动向应用创新驱动转变.15 II（二）发展模式创新.16 1与云计算紧密结合.16 2企业共同打造

3、生态.16 3商业模式创新缓慢.16 四、应用推广.17（一）重点应用.17 1政府数据资源丰富，应用需求旺盛.17 2公共服务涉及面广，应用场景多样.18 3企业级应用渐兴起，应用潜力巨大.20（二）应用特点.22 1各行业和各领域应用不断丰富.22 2社会价值和经济效益得以体现.22 3具有溢出效应的应用明显增多.22 4模式创新和业务拓展尚显不足.23 五、企业发展.24（一）总体发展状况.24（二）国外主要企业发展状况.24 1谷歌：大数据业务和应用多点开花.24 2IBM：大数据领域合作风生水起.25 3脸谱：大数据业务发展后劲十足.27（三）国内主要企业发展状况.28 1阿里巴巴：

4、转变大数据战略，面向全球开放数据.28 2百度：开放“大数据引擎”，推出多款软硬产品.30 3腾讯：积累丰富数据类型，大数据官网上线.31 六、产业投融资.33（一）国外投融资情况及特点.33 1单笔融资并购规模明显提升.33 2拥有成熟应用或核心技术的公司备受青睐.34 3投资主体呈多元化发展态势.36 大数据发展白皮书（2015 版）III（二）国内投融资情况及特点.36 1融资并购活动初步兴起.36 2行业应用成为投融资热点.36 3初创企业融资相对较难.38 七、政策环境.39（一）主要国家和地区政策.39 1美国：持续大力度支持，强化领先优势.39 2欧盟：多途径加强合作，提升资金支

5、持力度.39 3日本：第三方广泛参与，支持行业应用发展.40 4其他：数据开放先行，项目支持辅助.41（二）我国及地方产业政策.42 1相关领域政策频繁涉及大数据.42 2国家重点科技项目均有支持.43 3地方政策结合各自需求特色发展.44 八、主要问题.46（一）战略规划缺位拖慢产业发展速度.46（二）技术创新滞后阻碍产业发展进程.46（三）企业级应用需要逾越的障碍较多.46（四）信息安全和数据开放平衡体系亟待建立.47（五）人才供血不足影响产业持续发展.47 九、2015 年大数据发展展望.48（一）总体发展展望.48（二）创新态势展望.48 1开源依然是技术创新发展的基石.48 2技术和

6、产品在应用需求的推动下加速创新.49 3商业模式伴随连接层次的加深不断创新.49（三）应用态势展望.49 1政府应用逐步深入.49 2工业大数据应用将成为热门领域.50 IV 3部分行业应用逐步成熟.50 4应用模型迭代加速.50（四）市场竞争展望.51 1数据采集和跨界竞争越发白热化.51 2数据存储和交易呈现平台化竞争趋势.51 3数据分析和可视化呈现多样化、定制化竞争趋势.51（五）投融资态势展望.52 1创业企业不断涌现.52 2融资并购事件频发.52（六）政策态势展望.52 1国家战略有望出台.52 2各部委和地方政府加大扶持力度.53 3国家试点示范工作有望全面开展.53 4相关法

7、律法规制定颁布困难较大.53 十、2015 年我国大数据发展建议.54（一）抓紧关键技术的突破创新.54（二）推动政府数据资源开放共享.54（三）加快协调推进大数据应用.55（四）提升政府大数据管理水平.55（五）增强信息安全保障能力.55（六）加强法律法规和标准规范建设.56 附录.57 附录 1：研究对象与范畴.57 附录 2：大数据产业链各环节代表企业.58 大数据发展白皮书（2015 版）1 一、全球大数据发展状况（一）市场规模（一）市场规模 大数据解决方案不断成熟，各领域大数据应用全面展开，为大数据发展带来强劲动力。Wikibon 数据显示，2014 年全球大数据市场规模达到 285

8、 亿美元，同比增长 53.2%。大数据成为全球 IT 支出新的增长点。Gartner 数据显示，2014年数据中心系统支出达 1430 亿美元，比 2013 年增长 2.3%。大数据对全球 IT 开支的直接或间接推动将达 2320 亿美元，预计到 2018 年这一数据将增长三倍。图1 2011-2017年全球大数据市场规模 731181862853844535010%10%20%30%40%50%60%70%01002003004005006002011201220132014201520162017规模（亿美元）增速数据来源：Wikibon公司数据，2014.5 IDG 调查显示，2014

9、年大企业对与大数据有关的项目的平均开支为 800 万美元，70%的大企业和 56的中小企业已经部署或者正在计划部署与大数据有关的项目和计划。2（二）市场（二）市场结构 结构 2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据 35.4%、17.3%、14.7%、12.5%和 7.9%的市场份额。云服务的市场份额为 6.3%，基础软件占据 3.8%的市场份额，网络服务仅占据了 2%的市场份额。

10、图2 2011-2017年全球大数据细分领域市场规模及预测（单位：亿美元）20112011 20122012 20132013 20142014 20152015 20162016 20172017 云 3.6 6.2 11.9 18.2 25.2 30.5 36.5 行业解决方案 28 44.2 61.5 101 135 160 172 应用 5.2 9.9 16.9 34.5 52.9 66.5 77.5 非关系型数据库 0.7 1.3 2.9 5 8 10 12 关系型数据库 6.2 8.8 13.1 17.5 22.5 24.5 27 基础软件 1.4 4.4 8.3 10.8 12.

11、5 16 19 网络 1.5 2.3 4.2 6.5 8.5 10.1 11.5 存储 11 17.5 30.9 42 55 64 69.5 计算 15.3 22.9 36.5 49.2 64 71 76 数据来源：Wikibon公司数据，2014.5 01002003004005006002011201220132014201520162017大数据发展白皮书（2015 版）3 （三）主要特点（三）主要特点 1市场增速略有放缓，应用成为新的增长动力 1市场增速略有放缓，应用成为新的增长动力 2014，全球大数据市场规模实现 53.2%的增长，比 2013 年 57.6%的增速略有回落，但快速

12、增长态势不变，且远快于整个信息和通讯技术市场增长速度。从 Gartner 2014 年最新的技术成熟度曲线中可以看出，大数据作为新兴领域，已经进入应用发展阶段，基础设施建设带来的规模性高速增长出现逐步放缓的趋势，技术创新和商业模式创新推动各行业应用逐步成熟，应用创造的价值在市场规模中的比重日益增大，并成为新的增长动力。2竞争态势愈加激烈，融资并购成为市场热点 2竞争态势愈加激烈，融资并购成为市场热点 2014 年，全球新增大数据创业企业和开展大数据业务的企业数量急剧增加，产品和服务数量也随之增长，但还没有占据绝对主导地位的企业。市场结构趋向完全竞争，企业间竞争变得更加激烈，变化仍将持续。谷歌、

13、亚马逊、脸谱等互联网企业龙头和甲骨文、IBM、微软等传统 IT 巨头，通过投资并购的方式不断加强大数据领域布局，初步形成贯穿大数据产业链的业务闭环，并在各行业拓展应用。3区域发展尚不均衡，信息化基础和数据资源是关键 3区域发展尚不均衡，信息化基础和数据资源是关键 2014 年，全球大数据发展呈现两极分化的态势。欧美等发达国家拥有先发优势，处于产业发展领导地位，中国、日本、韩国、澳大利亚、新加坡等国家分别发挥各自在数据资源、行业应用、技术积累、政策扶持等方面的优势，紧紧跟随，并在个别领域处于领先。其他多数国家的大数据发展相对缓慢，还停留在概念炒作和基础设施建设阶段。在开源技术的支撑下，技术已不是

14、大数据发展的最大障碍，信息4 化基础和数据资源成为一个国家和地区大数据发展的关键要素。4产业生态不断优化，基础设施建设更加合理 4产业生态不断优化，基础设施建设更加合理 2014 年，Hadoop、Spark、Storm 等开源技术得到更广泛的认可和应用，大数据技术生态圈形成。同时，各国政府、企业和产业组织非常重视大数据产业生态建立和环境优化，不断地通过建设基础设施，制定法律法规、政策体系和数据标准，加强数据安全和隐私保护等方法完善大数据生态环境，进而提升国家对数据资源的掌控能力和核心竞争力。美国、日本、韩国、澳大利亚等国家加强数据中心、宽带网络、无线网络、大数据研发中心和实验基地等基础设施建

15、设。其中，美国政府为了提高数据中心的效率和推广大数据，将全国的数据中心进行整合，计划到2015年，联邦数据中心数量从2094个减少到1132，减少近 46%。大数据发展白皮书（2015 版）5 二、我国大数据发展状况（一）市场规模（一）市场规模 2014 年，我国大数据仍处于起步发展阶段，各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。易观国际数据显示，2014年，我国大数据市场规模达到75.7亿元，同比增长28.4%。图3 2011-2016年我国大数据市场规模 37.447.35975.798.9129.326.7%24.7%28.4%30.7%30.7%0%5%10%1

16、5%20%25%30%35%020406080100120140201120122013201420152016规模（亿元）增速 数据来源：易观国际数据，2015.1（二）市场结构（二）市场结构 1初步形成三角形供给结构 1初步形成三角形供给结构 2014 年我国大数据市场的供给结构初步形成，并与全球市场相似，呈现三角形结构，即以百度、阿里、腾讯为代表的互联网企业，以华为、联想、浪潮、曙光、用友等为代表的传统 IT 厂商，以亿赞普、拓尔思、海量数据、九次方等为代表的大数据企业。6 图4 2014年我国大数据市场供给结构图 数据来源：赛迪智库，2015.3 2产业链结构发展不均衡 2产业链结构发

17、展不均衡 我国在大数据产业链高端环节缺少成熟的产品和服务。面向海量数据的存储和计算服务较多，而前端环节数据采集和预处理，后端环节数据挖掘分析和可视化，及大数据整体解决方案等产品和服务匮乏。图5 2014年我国大数据产业链结构发展情况图 数据来源：赛迪智库，2015.3（三）区域分布（三）区域分布 1京津冀：产业链条初步健全，集聚效应开始显现 1京津冀：产业链条初步健全，集聚效应开始显现 2014 年，京津冀地区在数据获取、数据存储、数据分析、数据互联网企业（百度、阿里、腾讯）传统IT厂商（华为、浪潮、用友、联想、曙光）大数据企业（亿赞普、拓尔思、九次方、永洪科技）大数据整体解决方案/大数据行业

18、解决方案严重不足数据采集、预处理等产品和服务较缺乏数据存储、计算等服务供给丰富挖掘分析、可视化等产品和服务较缺乏大数据发展白皮书（2015 版）7 应用、数据安全等产业环节涌现出一批领先企业和初创企业，通过技术研发不断地推出大数据相关产品，实现了从硬件到软件，从产品到服务的产业链覆盖，协同效应初步显现。年初，北京牵头打造京津冀地区大数据走廊，区域协同发展格局和产业集聚效应开始显现。北航、清华和中科院等高校已成立大数据研究中心，设立大数据相关专业，加速大数据人才培养。在高校、科研机构和企业、专业机构通过联盟等多种方式加强联合，产业协同创新氛围初步形成。2长三角：开展布局城市增多，智慧城市、云计算

19、成重要支撑 2长三角：开展布局城市增多，智慧城市、云计算成重要支撑 2014 年，随着数据资源的丰富，大数据应用需求的不断提升，基础设施的不断完善，以及大数据与各行业的融合发展，上海市在大数据技术研发和应用推广方面取得了一定的成果。同年，南京依托智慧城市建设，与百度、阿里等企业深入合作，推动大数据在城市管理和民生服务领域应用发展。杭州利用较完善的基础设施优势、龙头企业带动和数据开放的扶持政策，使大数据发展与云计算有机结合，成为当地信息经济发展的新增力量。3珠三角：政策扶持持续给力，产业发展进入良性循环 3珠三角：政策扶持持续给力，产业发展进入良性循环 广东省在 2014 年 2 月成立全国第一

20、个大数据管理机构广东省大数据管理局，在年中确定了大数据应用示范工作，公布推荐示范项目名单，12 月份发布了 广东省大数据发展规划（2015-2020 年）征求意见稿。广东省依托“天河二号”超级计算机建设国家大数据研究中心，研发突破大数据关键核心技术；发挥腾讯等公司的带动作用推动互联网大数据应用；广东省地税局用大数据推动管理现代化转型，检察院依靠大数据捕捉线索，交通部门应用大数据进行交通管理。广东省大数据的政策环境、技术研发、龙头企业引领、行业应用等协同8 发展、互为支撑，推动产业进入良性循环。4中西部：鼎足之势初现端倪，渐成产业发展新增长极 4中西部：鼎足之势初现端倪，渐成产业发展新增长极 2

21、014 年初，贵州省出台贵州省大数据产业发展应用规划纲要（20142020 年）和关于加快大数据产业发展应用若干政策的意见，提出将大数据作为重点扶持的新支柱产业。贵安新区和贵阳市也出台相关政策措施。贵州省通过与国内其他园区、企业开展战略合作，积极引进大数据企业、互联网龙头、软件服务商，2014 年签约大数据及关联重点项目 150 余个，签约金额超过 1400 亿元，京东、中兴、华为、惠普、富士康、世纪互联等数据基地及相关项目已启动建设。三大运营商各自的数据中心建设一期工程在年底交工使用，大幅提升贵州省大数据基础设施建设和使用能力。2014 年，重庆已在中上游打下坚实基础，大数据产业呈现出了良好

22、的发展势头。2014 年，重庆市先后与阿里巴巴、九次方大数据、华硕云端和东华软件等公司开展战略合作，积极引进中兴、惠普、法国源讯、日本 NEC 跨国企业等国内外行业巨头数十余家。亿赞普、苏宁、方欣科技等 10 多家公司与仙桃数据谷签署了入驻协议。重庆市在民生服务、城市管理、行业应用及外包服务等重点领域开展大数据示范应用,以示范应用引领产业快速发展。2014 年，武汉市政府出台武汉市大数据产业发展行动计划（2014-2018）。光谷云村和左岭大数据产业园完成规划设计及主要招商引资工作，并启动相关基础设施建设，吸引一批企业入驻。武汉政府开放数据平台在年内建成，首批 33 部门 520 个数据集向公

23、众开放，2015 年实现公众查询、下载等服务功能。武汉大学成立大数据工程硕士专业，加速大数据人才培养。（四）主要特点（四）主要特点 大数据发展白皮书（2015 版）9 1规模增速略有提高，与全球增速差距仍较大 1规模增速略有提高，与全球增速差距仍较大 数据显示，2014 年我国大数据市场规模同比增长 28.4%，比 2013年 24.7%的增速回升 3.7 个百分点，但与全球 53.2%的增速仍有不小的差距。值得关注的是，全球大数据市场规模增速在未来几年呈现持续缓慢下降的趋势，而我国大数据市场规模增长速度在逐步提升。随着我国大数据快速发展，我国大数据市场规模在全球大数据市场规模中的比重将越来越

24、大，并最终与全球增速保持同步。2互联网企业表现强势，国外企业进入我国市场 2互联网企业表现强势，国外企业进入我国市场 2014 年，百度、阿里巴巴、腾讯、京东等互联网企业抓紧布局大数据领域，纷纷推出大数据产品和服务，抢占数据资源。传统 IT企业开始尝试涉足大数据领域，其产品和服务多是基于原有业务开展，未能撼动互联网公司的领先地位。初创企业受限于数据资源和商业模式，还要面对互联网企业的并购行为，竞争实力尚显不足。由于我国大数据领域的产业供给远小于市场需求，且已经出现的产品和服务在思路、内容、应用、效果等方面差异化程度不高，加之缺乏成熟的商业模式，导致大数据市场竞争不够充分。在国内企业考虑如何提升

25、服务能力的时候，国外企业已经在 2014 年悄然进入我国市场，未来，国内大数据市场竞争格局将会发生重大转变。3区域产业聚集现雏形，合作协同发展成常态 3区域产业聚集现雏形，合作协同发展成常态 2014 年，我国大数据产业集聚发展效应开始显现，出现京津冀区域、长三角地区、珠三角地区和中西部四个集聚发展区，各具发展特色。北京依托中关村在信息产业的领先优势，快速集聚和培养了一批大数据企业，继而迅速将集聚势能扩散到津冀地区，形成京津冀大数据走廊格局。长三角地区城市将大数据与当地智慧城市、云计算发10 展紧密结合，使大数据既有支撑又有的放矢，吸引了大批大数据企业。珠三角地区在产业管理和应用发展等方面率先

26、垂范，对企业扶持力度大，集聚效应明显。大数据产业链上下游企业合作意愿强烈，各集聚区间的合作步伐加快，产学研协同创新发展初见成效。4大数据基础研究受到重视，专业人才培养加速 4大数据基础研究受到重视，专业人才培养加速 2014 年，越来越多的高校成立大数据研究所、研究中心或实验室，不断加强大数据基础研究，并设立大数据专业，积极培养大数据相关人才。4 月 26 日，清华成立数据科学研究院，并宣布将推出多学科交叉培养的大数据硕士项目，9 月份，第一批大数据硕士学位研究生将正式开始培养。北京航空航天大学成立大数据科学与工程国际研究中心，作为布局大数据战略方向的另一重要举措，并创办了国内第一个“大数据科

27、学与应用”软件工程硕士专业。华东师范大学成立云计算与大数据研究中心、厦门大学成立大数据挖掘研究中心并出版大数据技术基础教材、广西大学成立复杂性科学与大数据技术研究所等。大数据发展白皮书（2015 版）11 三、创新进展（一）技术与产品创新（一）技术与产品创新 1Hadoop 持续升温，生态系统不断壮大 1Hadoop 持续升温，生态系统不断壮大 Hadoop 作为大数据处理通用技术架构最受欢迎的技术，2014 年依然是业界关注和应用的焦点，今年围绕 HDFS 和 Yarn 进行了四次版本更新。Gartner 研究表明，到 2015 年，65%的分析应用程序和先进分析工具都将基于 Hadoop

28、平台。表1 2014年Hadoop版本更新情况 时间时间 更新版本更新版本 更新内容更新内容 2 月 Hadoop 2.3.0 新特性包括支持 HDFS 的混合存储分级，可以集中管理 HDFS 内存里的缓存数据，通过 HDFS 中的 YARN 分布式缓存简化 MapReduce 分配及一些 Bug 修正。4 月 Hadoop 2.4.0 包括 HDFS 支持 ACL 权限控制机制、容易升级、支持 https 访问、支持ResourceManager 因故障挂掉重启后，可以恢复之前正在运行的应用程序(用户不需重新提交)、增加了 Yarn 共享信息存储模块 ATS 等。8 月 Hadoop 2.5

29、.0 新特性包括扩展文件属性、改进 HDFS 的 Web UI，提升 Yarn 共享信息存储模块 ATS 安全性，更丰富的 YARN REST API 等。11 月 Hadoop 2.6.0 增加了基于 HadoopKeyProvider API 编写的密钥管理服务器 Hadoop Key Management Server(KMS)、HDFS 实现了一个透明的，端到端的加密方式、长期存在的服务可以在 YARN 中运行、支持 Docker 容器中的本机应用程序等。数据来源：赛迪智库整理，2015.3 2014 年，Hadoop 的购买周期处于快速上升阶段，越来越的企业积极拥抱 Hadoop，但

30、大多数消费者还是倾向于采用专业厂商打包的一体化方案。目前，Hadoop 解决方案领导厂商有 Amazon Web Services、Cloudera、Hortonworks、IBM、MapR 科技、Pivotal 软件和 Teradata等。12 表2 2014年值得关注的Hadoop相关事件 企业企业 事件事件 Cloudera 英特尔以 7.4 亿美元收购 Cloudera18%的股份，宣布放弃自行研发的Hadoop 发行版，全力支持 Cloudera。与红帽联盟一起开发包括数据集成和应用开发工具，以及数据平台在内的软件解决方案。Hortonworks 惠普投资 5000 万美元与 Hor

31、tonworks 达成战略性合作关系，联手开发Hadoop，并在惠普的 Haven 大数据平台上运行。EMC 分拆公司 Pivotal 和 Hortonworks 合作，联手打造 Hadoop 标准管理工具 Apache Ambari。Teradata 收购数据咨询公司 Think Big Analytics，借此获得 Hadoop 业务能力。与 MapR 合作，获得 MapR 软件、专业服务及客户支持服务的经销权。甲骨文 最新推出的 SQL 扩展方案，实现一条 SQL 查询可从 Cloudera Hadoop 和Oracle NoSQL 数据库中调取数据。eBay 部署了两个 2 万节点的

32、Hadoop 集群，能处理 80PB 数据。Adobe 运用 SAP Data Service 将 Hadoop 数据加载到 SAP 内存数据库 HANA 上。资料来源：中国大数据网，2015.2 2014 年，参与 Apache Hadoop 开源社区贡献的企业越来越多，Hadoop 生态系统日渐壮大。据 Gartner 分析，2014 年 Hadoop 生态系统市场规模在 7700 万美元左右，到 2016 年将快速增长至 8.13 亿美元。表3 2014年Hadoop生态系统中值得关注的创业企业 企业企业 业务业务 Platfora 提供的大数据分析解决方案能够将 Hadoop 中的原始

33、数据转换成可互动的，基于内存计算的商业智能服务。Alpine Data Labs 提供基于 Hadoop 的数据分析平台。Altiscale 提供 Hadoop 即服务（HaaS）。Trifacta 基于 Hadoop 提供平台，帮助用户将复杂的原始数据转化成干净的结构化格式供分析使用。Splice Machine 提供面向大数据应用的，基于 Hadoop 的 SQL 兼容数据库。DataTorrent 提供基于 Hadoop 平台的实时流处理平台。大数据发展白皮书（2015 版）13 企业企业 业务业务 Qubole 基于“真正的自动扩展 Hadoop 集群”，提供大数据服务。Continu

34、uity 提供基于 Hadoop 的大数据应用托管平台。Xplenty 通过无需编写代码的 Hadoop 开发环境提供 Hadoop 处理服务，企业无需投资软硬件和专业人才就能使用大数据技术。Nuevora 基于三个关键大数据技术：Hadoop（大数据处理）、R（预测分析）和 Tableau（数据可视化），提供大数据分析应用。资料来源：oschina资料，2015.1 2创新体系日趋完善，新技术和新产品层出不穷 2创新体系日趋完善，新技术和新产品层出不穷 从创新主体看，2014 年，大数据技术创新已不再是互联网企业的独角戏，很多传统 IT 企业和初创企业纷纷投入其中。例如，华为、浪潮、曙光、微

35、软等都已开发自己的 Hadoop 产品，其中华为对 Hadoop的贡献超过了谷歌等互联网企业。一些国家的科研机构和社会组织也积极参与技术创新活动，美国国防部、欧盟委员会、中国科技部等政府部门对技术创新的支持力度较大。从创新机制看，大数据领域的产学研用协同创新机制基本形成，技术的产品化、产业化和迭代速度加快。Hadoop 在 2014 年更新了 4个版本，每个版本增加很多新的技术功能。很多企业在 2014 年发布或更新了大数据技术、产品和服务。据统计，2014 年市场出现的大数据新技术和新产品数量超过了前三年的总和。从创新结构看，2014 年出现的新技术涵盖了从数据采集到可视化的整个大数据生命周

36、期。新产品方面，软硬件同步发展。IDC 数据显示，与大数据相关的结构化数据管理、协同应用和数据访问、分析和交付等软件或解决方案预计将在未来 5 年内出现强劲增长，复合年增长率接近 9%。14 表4 2014年大数据主要技术和产品创新情况 名称名称 类型类型 内容内容 Spark 技术 版本更新至 1.2.0。其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。相比于 MapReduce，Spark 执行时间减少 66%，计算成本降低 40%。Storm 技术 不进行数据的收集和存储工作，直接通过网络实时的接受数据并实时处理数据，然后直接通过网络实时的传回结果。俄美 技术 俄美

37、科学家开发出最新大数据存储设备。该项技术将有助于在未来制造超微型电脑。IBM 技术 IBM 实验室声称已为大数据打破了一项速度纪录，其最新的信号转换芯片能以“非常低功率”将互联网速度提高到 200-400Gbps。通用电器 技术 通用电气向其客户推出 Pivotal 的大数据技术。Cloudera 技术 Cloudera Enterprise 5 包括 YARN,Hadoop 2.2 的高级资源管理技术,管理多种资源。Hortonworks 技术 在大数据产品 Data Platform 中增加了对 Apache Kafka 的支持，不过目前还处于技术预览模式。DataStax 技术 开发了基

38、于 Apache Cassandra 的 DataStax Enterprise(DSE)分布式的、NoSQL 数据库管理系统。SAS 技术 基于供应商的内存技术来开发 Hadoop 架构的交互分析程序环境，为试图管理、挖掘、抽取和分析 Hadoop 中大量数据卷的用户提供更多的性能动力。脸谱 开源 开源了能可视化监控数据中心能耗与用水效率的“公共仪表盘”（public dashboards）程序代码。谷歌 开源 发布开源容器集群管理系统 Kubernetes，构建于 Docker 上。LinkedIn 开源 开源大数据计算引擎 Cubert，并为此创建新的语言。Pivotal 产品 Pivo

39、tal 推出最新大数据套件 Pivotal Big Data Suite。Splice Machine 产品 发布 Hadoop 实时数据库，有助于业务避开 Hadoop 的批量分析限制，提供全功能的交易 SQL 数据库，以便进行实时分析。百度 产品 百度发布全球首个开放大数据引擎。阿里巴巴 产品 阿里云发布大数据产品ODPS。通过 ODPS 在线服务。ODPS 可在 6小时内处理 100PB 数据，相当于 1 亿部高清电影。ThoughtSpot 产品 发布了核心产品ThoughtSpot 关系型搜索一体机，向客户提供类似搜索引擎体验的大数据分析服务。大数据发展白皮书（2015 版）15 名

40、称名称 类型类型 内容内容 中证指数 产品 中证指数有限公司正式发布中证淘金大数据 100 指数。浪潮 产品 正式推出国内首款面向金融行业的大数据定制机浪潮云海金融大数据一体机。微软 产品 微软(亚洲)互联网工程院宣布，第二代智能聊天机器人“微软小冰”正式上线，用户可以登录微软小冰官网进行“领养”。MongoDB 产品 MongoDB 2.6 提供新的文本搜索功能，是操作大量数据卷和聚集数据的工具。Salesforce 分析工具 发布其大数据业务分析工具。甲骨文 分析工具 推出云端大数据分析工具 Oracle Analytics Cloud；发布甲骨文大数据一体机编码工具。Mortar 分析工

41、具 将 Spotify 开发的开源大数据工具 Luigi 搬上云端，在亚马逊云上提供复杂的，涉及大量工具和数据库的大数据流水线处理服务。Cray 分析工具 新推出的 Cray Urika-XA 系统预先集成了 Hadoop 和 Spark 开源框架。数据来源：赛迪智库整理，2015.3 3技术创新驱动向应用创新驱动转变 3技术创新驱动向应用创新驱动转变 2014 年，大数据领域由技术创新转驱动向应用创新驱动转变的趋势开始显现，很多技术和产品是在应用需求的引导下完成的创新和突破。在 Hadoop、Spark、Storm 等开源技术的影响下，大数据的技术壁垒越来越低，使得开展大数据业务的企业无需担

42、忧技术实现问题，而是将更多的精力和资源投入到对需求的挖掘、分析和满足上。面对各行业的特性需求和不同用户的个性化需求，企业不断地创新出新技术、新产品、新业态和新模式。16（二）发展模式创新（二）发展模式创新 1与云计算紧密结合 1与云计算紧密结合 2014 年，掌握云计算技术的企业在发展大数据业务时体现出的竞争优势尤为明显。随着数据规模的快速增长和大数据应用的增多，在云端提供大数据服务（DaaS）已成为行业共识。谷歌、亚马逊、甲骨文、阿里巴巴、百度、Cloudera 等企业都在依托自身的云计算能力推动大数据发展。不具备云服务能力的大数据初创企业，往往要通过租用云计算企业的平台资源，才能提供大数据

43、应用服务。2企业共同打造生态 2企业共同打造生态 2014 年，开源技术的发展推动以企业为核心的生态向以技术为核心的生态发展模式转变，各类型企业，甚至是竞争对手也都在为打造同一个生态而努力，竞争格局由零和博弈转向竞合互补。例如，谷歌、微软、脸谱等企业都在支持 Hadoop、Spark、Storm 等生态发展，同时也分别与众多企业合作打造大数据垂直生态。3商业模式创新缓慢 3商业模式创新缓慢 2014 年，大数据商业模式的创新还较多的出现在数据的存储、计算、分析和可视化等已相对成熟的环节，而令人期待的关系挖掘、沉淀价值利用、数据社交和跨界连接等模式尚未成熟。如利用数据关系挖掘，进行商业精准化服务

44、和辅助管理决策的商业模式还缺乏实践。大数据发展白皮书（2015 版）17 四、应用推广（一）重点应用（一）重点应用 1政府数据资源丰富，应用需求旺盛 1政府数据资源丰富，应用需求旺盛 2014 年，政府既是大数据发展的推动者，也是大数据应用的受益者。这一年，政府应用大数据更好地响应社会和经济指标变化，解决城市管理、安全管控、行政监管中的实际问题，预测判断事态走势等。对政府管理而言，大数据的价值在于提高决策科学化与管理精细化的水平。表5 政府管理领域大数据应用案例总结 背景内容背景内容 数据来源数据来源 作用效果作用效果 新加坡智慧交通应用 陆交局建立智能交通综合信息管理平台，开发公共交通手机客

45、户端软件。公共交通系统数据，客户端数据，交通摄像头数据等。预测交通流速和流量方面有高达 85%的准确率，能通过有效的引导和干预，显著提升高峰时段的车辆通行效率。马德里城市应急应用 建设智慧城市以确立其在欧洲公共服务管理方面的领先地位，提升应急管理能力。整合警察、消防、医疗、交通、天气等行业数据。大幅缩短救援时间，巡逻队、消防车、救护车能够在 8 分钟内到达 81%的突发事件现场。大数据构建枪联网 2014 年 8 月，美国密苏里州弗格森一名 18 岁男子在警察执法过程中遭到枪击导致身亡。民众对于警察执法权利产生了非常强的不信任。通过蓝牙将手枪与持枪者的智能手机连接在一起，不断上传手枪数据。手枪

46、监控者可以查看手枪的所在位置、手枪内是否有弹匣、手枪是否和警员分开，以及通过内置的传感模块提供的大致的射击方向。公安打击网络售假 淘宝联手上海、福建、浙江、湖南等地公安机关，运用大数据查获网售假冒运动鞋案件，涉案总价值 2150 余万元 淘宝数据和公安数据。各地警方共破案 5 起，捣毁犯罪团伙 1 个、捣毁销售、仓储窝点 7 处，现场缴获各类各类假冒“耐克”运动鞋 300 余双。缓解停车问题 SpotHero 是一个手机应用，能够根据用户的位置和目的地及路况，实时跟踪停车位数量变化。入网城市的可用车库或停车位，以及相对应的价格、时间、区间数据。能够实时监控华盛顿、纽约、芝加哥、巴尔的摩、波士顿

47、、密尔沃基和纽瓦克等七个城市的停车位。18 背景内容背景内容 数据来源数据来源 作用效果作用效果 证监会调查内幕交易 已调查内幕交易线索 375 起，立案 142 起，分别比以往同期增长了 21%、33%。交易数据、企业信息和历史内幕交易数据等。已将涉嫌利用“银润投资”、“圆城黄金”、“爱施德”、“焦作万方”等 43 家上市公司的内幕信息，从事非法交易的125名个人和3家机构移交公安机关。税务数据分析应用 增强对税务风险的监管和控制；对即将出现的风险点进行提示。登记、申报、缴款、集中度状况、增值税全部销售收入等数据。实现了对 45 家定点联系企业，近 5 万户分支机构实施税源监控、纳税评估。山

48、西省农业厅 建设山西省“畜牧兽医大数据系统平台”和“山西省省级畜牧兽医大数据中心”。农业厅数据、天气数据、畜牧兽医机构数据等。利用大数据增强全省重大动物疫病防控能力和畜产品质量安全监管能力。数据来源：赛迪智库整理，2015.3 通过案例可见，政府部门一方面掌握了大量的基础数据资源，另一方面，在城市管理、安全管控、行政监管等领域的应用需求旺盛。大数据带来的是从政务信息公开，到数据整合共享，它超越了传统行政思维模式，推动政府从“经验治理”转向“科学治理”。2公共服务涉及面广，应用场景多样 2公共服务涉及面广，应用场景多样 2014 年，大数据在公共服务中的交通、医疗、教育、预测服务等领域得到广泛应

49、用。随着第三方服务机构的参与，公众需求被不断挖掘，应用场景逐步丰富。表6 公共服务领域大数据应用案例总结 背景内容背景内容 数据来源数据来源 作用效果作用效果 英国NHS糖尿病管理 英国每年有高达 77 亿英镑用于处理糖尿病并发症。通过数据分析干预，大量的糖尿病所带来的并发症是可以避免的。通过移动终端收集患者的生活起居数据、生理变化数据、用药数据、饮食数据、运动数据和医生诊断数据等。对收集到的信息进行糖尿病风险等级评估，根据评估情况为每个患者制定适宜的个性化的糖尿病干预治疗方案。大数据发展白皮书（2015 版）19 背景内容背景内容 数据来源数据来源 作用效果作用效果 医疗平台Healthta

50、p 很多人已经开始选择使用移动智能终端进行医疗咨询，医疗健康行业的移动互 联 网 普 及 率 已 超 过10%。减肥，锻炼，睡眠，戒烟等患者上传的个人习惯数据和健康情况及病史；症状，病情，药物、检测等诊疗数据；就诊时的短信、视频数据等。根据患者信息，为其提供医生推荐、药物推荐等服务。减少用户就诊时间，提高医生和患者的匹配度。智能学习应用“优答”新东方和腾讯宣布成立合资公司“微学明日”。开发智能学习应用 APP“优答”。用户在优答上的学习行为，分析用户的学习效率、知识掌握薄弱的环节等，积累了每个用户的英学习数据。目前智能拍照扫题准确率达到 80%以上，响应速度在 10 秒以内。智能学习平台“行为